Quality engineer, de moderne tester. Marc Braeken en Edwin van Loon Workshop TestNet d.d. 11 september

Quality engineer, de moderne tester Marc Braeken en Edwin van Loon Workshop TestNet d.d. 11 september

Agenda Introductie Over APG en onszelf (MB / EL) Visie Kwaliteit en QA (EL) Rol QA lead (MB) Workshops (choose you own) 2

Over Edwin 22 jaar ervaring in Test/QA Rollen bij APG: QA lead VS MPG Overall QA lead Lead architect QA/testen QA missionaris Samenwonend, 1 zoon van 7 jaar Basgitarist 3

Over Marc 21 jaar ervaring in Test/QA Rollen bij APG: QA lead VS TL Test lead BRE teams Getrouwd, 2 kinderen van 14 jaar en 12 jaar MTB, Formule 1, Geocaching 4

Wie wij zijn 5 APG is een pensioenuitvoerder en duurzame lange termijn belegger De grootste van Nederland en de grootste van Europa Wij zetten alles op alles om voor elke ingelegde pensioeneuro de meeste waarde te bieden voor de mensen die via ons hun pensioen opbouwen. Maximale pensioenwaarde: Een goed rendement op beleggingen Een heel overzichtelijke en perfect werkende administratie Alles tegen zo laag mogelijke kosten Inzicht in de hoogte van je inkomen als je met pensioen gaat Inzicht in hoeveel je tegen die tijd nodig hebt

We werken voor het pensioen van mensen met prachtige beroepen Onderwijzers Ambtenaren Bouwvakkers Politieagenten Militairen Schoonmakers Glazenwassers Medisch specialisten Architecten Medewerkers van woningcorporaties Medewerkers van energiebedrijven Medewerkers van de sociale werkvoorziening 6

Niet rechtstreeks We helpen deze mensen niet rechtstreeks, maar uit naam en in opdracht van de volgende pensioenfondsen: 7

Feiten en cijfers APG We werken voor ruim 4,5 miljoen mensen in Nederland en 21.000 werkgevers 514 miljard euro pensioenvermogen onder beheer (juni 2019) Gemiddeld ca. 7% rendement per jaar over de afgelopen 20 jaar 3.140 werknemers Vestigingen in Heerlen, Amsterdam, New York en Hong Kong 8

Quality assurance Is het instrument om op een zo efficiënt mogelijke manier tot het benodigde kwaliteitsniveau te komen en op dit niveau te blijven. Scope testen Design Develop Test Prod Scope QA Preventief Detectief Correctief

Kwaliteit de mate waarin een product of dienst voldoet aan de eisen en behoeften van de klant. De tevredenheid van de klant is hierbij de belangrijkste graadmeter. Hoge klant tevredenheid

Kwaliteitspijlers Continu in control zijn: Om kwaliteit te leveren is het belangrijk dat een team continu grip heeft op product en proces kwaliteit. Dit gebeurt o.a. door het inrichten van quality gates Hoge klant tevredenheid Continu in control zijn

Quality Gates Op een gecontroleerde wijze het change management proces doorlopen Kwaliteitscriteria per quality gate Quality Quality Release Quality Intake Gate 1 Realisatie Gate 2 Gate 3 Productie voorbereiding Quality Gate 4 DoR (klaar voor realisatie) DoD (gerealiseerd) klaar voor release in productie Quality Gate 1 Quality Gate 2 Quality Gate 3 Quality Gate 4 Klaar voor realisatie: Gerealiseerd: Klaar voor release: In productie: Er is voldoende informatie beschikbaar rondom Story om realisatie te starten Het is duidelijk welke capaciteit benodigd is bij de realisatie en deze capaciteit is ook in voldoende mate beschikbaar Productrisico s zijn conform afspraak gemitigeerd QA en Testdoelen zijn behaald Oplossing is conform richtlijnen (code, documentatie, architectuur) gerealiseerd Eventuele afwijkingen zijn gedocumenteerd Regressie testdoelen zijn behaald Informatie t.b.v. release is beschikbaar Release voorbereiding is afgerond Accordering door PO s voor release Release staat juist en volledig in productie Autorisaties zijn aanwezig Productie omgeving is operationeel Release klaar voor gebruik

Kwaliteitspijlers Duurzame ontwikkeling: We ontwikkelen oplossingen op een duurzame manier, zodat de oplossing ook in de toekomst op een efficiënte en effectieve manier kan worden onderhouden en we daarnaast geen technische risico s lopen (waarmee de continuïteit van de dienstverlening in gevaar komt) Continu in control zijn Hoge klant tevredenheid Duurzame ontwikkeling

Duurzaamheid Borgen dat kwaliteit nu en in de toekomst op een efficiënte manier bereikt kan worden. Mogelijke belemmeringen (Quality Debt): Degradatie van productiviteit Verminderen van snelheid rondom oplossen van fouten en verhoging van kosten Verminderen van snelheid van uitvoeren reguliere taken (change en run) Verhoging van netto business risico (verlaging van kwaliteitsniveau) Quality debt = Technical debt + Operational (functional) debt Werk aan een applicatiesysteem Zichtbaar Onzichtbaar Operational Debt Positieve waarde Nieuwe features Architecture en structuur Technical Debt Negatieve waarde Defects Technical debt

Kwaliteitspijlers Efficiënte kwaliteitsborging: De maatregelen om te komen tot kwaliteit zijn effectief en efficiënt, waardoor we de kosten rondom kwaliteit weten te minimaliseren Continu in control zijn Hoge klant tevredenheid Efficiënte kwaliteitsborging Duurzame ontwikkeling

Balans vinden in kwaliteitskosten Underactive Active Overactive Cost of Quality Rejectable quality Rejectable quality Kwaliteitsverhogende maatregelen Foutherstel Totaal aan kwaliteitsmaatregelen # measures Minimum acceptable quality level Maximum satisfactional quality level Economic conformance level (optimal quality level)

Kwaliteitspijlers Voorspelbaar zijn: De kwaliteit van de producten die we opleveren en de processen die we doorlopen is voorspelbaar Voorspelbaar zijn Hoge klant tevredenheid Continu in control zijn Efficiënte kwaliteitsborging Duurzame ontwikkeling

Voorspelbaar zijn Minimaliseren van variaties in kwaliteit Kwaliteitsniveau kunnen voorspellen (inclusief aspecten die kwaliteit negatief of positief kunnen beïnvloeden) LSL Average USL Aantal metingen High 0 Variaties High

Kwaliteitspijlers Voorspelbaar zijn: We leren van het inzicht en verbeteren continu de kwaliteit van het proces en de product Continu verbeteren Voorspelbaar zijn Continu in control zijn Hoge klant tevredenheid Efficiënte kwaliteitsborging Duurzame ontwikkeling

Het fundament Continu inzicht: Continu Kwaliteit begint bij continu inzicht (dit is de basis verbeteren van alles) Voorspelbaar zijn Continu in control zijn Hoge klant tevredenheid Efficiënte kwaliteitsborging Duurzame ontwikkeling

Agenda Introductie Over APG en onszelf (EL / MB) Visie Kwaliteit en QA (EL) Rol QA lead (MB) Workshops (choose you own) 22

Testen binnen SAFe Test professional 23

Testen binnen SAFe Operationele ondersteuning op het gebied van testen 24

Testen binnen SAFe Test gerelateerde Community of Practices 25

Testen binnen SAFe Algemene diensten t.a.v. testen 26

Testen binnen SAFe Test (en QA) gerelateerde metrieken 27

SAFe 4.5 - large solution QA / Test lead (manager) 28

29 QA lead taken 50% FTE (rol binnen value stream) Verbetert/optimaliseert (of faciliteert bij het verbeteren) de werkwijze op het gebied van QA en testen binnen een value stream: Definieert (SMART) doelen rondom QA gerelateerd aan Beter, Sneller, Goedkoper of Tevredener Neemt regie over het definiëren van doelstellingen t.a.v. doelen Rapporteert periodiek aan VSM t.a.v. doelen Faciliteert teams binnen een value stream bij het zo efficiënt en effectief mogelijk uitvoeren van testen en QA (via test dojo, coaching, trainingen/workshops, etc.) Beheer centrale testomgevingen binnen value stream en borgt QA op overige test omgevingen Borgt dat de werkwijze voldoet aan de In control en Compliancy eisen (eerste lijn) Voert QA uit op value stream niveau (en is lid van het RMT en vertegenwoordigd QA in overleggen op value stream niveau (zoals PO sync. en Scrum of scrums)) Coördineert team/value stream overstijgende keten testen (of neemt de regie hierin). Is actief betrokken bij de ontwikkeling/optimalisatie van de capabilities op het gebied van QA en testen binnen APG. Is community of practice lead binnen BI&C van 1 of meerdere QA sub-capabilities Visie en governance, Test automatisering (E2E/Proces, Component, Unit), Business testen, QA (Continuous insight, Continuous control, Continuous improvement), Test data management, QA/Test management tooling, Test design, Risico management

Keuze menu workshops # Titel Samenvatting Duur Vorm 1 Quality stream mapping 2 Quality debt management De kwaliteitsstromen binnen change processen identificeren en verbeteren Definiëren van aanpak rondom het beheer van debt (technical en operational) 3 De QA mindset Beantwoorden van de vraag wat zijn de echte (unieke) eigenschappen van een test/qa engineer in een team 4 Continuous Insights Opzetten van een architectuur om continu inzicht te krijgen/hebben 5 QA in de praktijk Demo van dashboards, die vanuit QA perspectief binnen APG worden gebruikt 6 QA, ja ik wil Een interactieve presentatie, waarbij je handvatten krijgt om QA engineer te worden 7 Optimalisatie van QA maatregelen Grip krijgen op de totale kosten rondom kwaliteit en op zoek gaan naar de juiste balans in kwaliteitsmaatregelen 8 8 wastes of testing Verspillingen in het test proces identificeren 31 met Lean Gekozen menu items door deelnemers 50 min 30 min 20 min 30 min 20 min 20 min 50 min 30 min Praktijk casus uitwerken in groepjes van 3-6 personen praktijk casus uitwerken in groepjes 2-3 personen Klassicaal brainstormen over deze vraag In groep van 3-6 personen op zoek gaan naar toollandschap en data voor continu inzicht Klassicale demo Interactieve presentatie Praktijk casus uitwerken in groepjes van 3-6 personen praktijk casus uitwerken in groepjes 2-3 personen

QA, ja ik wil Een interactieve presentatie, waarbij je handvatten krijgt om QA engineer te worden 20 min: Interactieve presentatie # Stap Tijd 1 Interactieve presentatie 20 min

Quality Assurance: 3 pijlers leren van inzicht en continu verbeteren van proces en product kwaliteit grip op kwaliteit o.b.v. quality gates elimineren van verspillingen in proces (lean) minimaliseren van kosten rondom kwaliteit real time inzicht door metrieken (ondersteunend aan Continuous Improvement en aan Continuous Control)

Quality Assurance: competentie gebieden Proces kwaliteit Lean Six Sigma Data Science Architectuur Testing Non functionals Development (code kwaliteit) Productie monitoring Business/Info rmatie analyse IT Service management DevOps werken Agile werken

QA doel architectuur Dashboards (continu verbeteren) Dashboards (continuous control) EPIC s + testaanpak + acceptatie criteria EPIC s Features User stories Features Stories Defects Defects Acceptatie criteria (QA/test doelen) Test/QA results Quality Management Planning Quality Gate 1 (continuous integration) Quality Gate 2 Quality Gate 3 (continuous release) Quality Gate 4 Continuous Code and Test quality Unit (integration) test and build Test of changes Deployment Artifacts Deployment test data Automated Regression test execution (CI Server) Code/test inspection Test results Test results Environment and software and parameters Test data Regression test results

Dashboards (operationeel / continuous control) Jira: DoR dashboard Jira: Release dashboard Jira: DoD dashboard HP ALM: Test dashboards SonarQube: Code dashboard AppDynamics: Proactieve productie monitoring

37 Voorbeeld DI dashboard rondom kwaliteit

Quality Assurance: trainingen (voorbeelden) QA gebied Test Data science Architectuur Development IT Service management Training Die kennen jullie wel Data science met python, Data science foundation Risk and Cost Driven architecture Eltjo Poort JAVA bootcamp ITIL Proces management Scrum, Agile, Safe Continuous improvement Business & Information analysis Productie monitoring Lean, Six Sigma, Certified Agile Business Analyse AppDynamics Core APM Training

Beschrijf wat volgens jou de QA mindset is (en wat de overeenkomsten/verschillen met de Test mindset zijn) MINDSET

Anticipeert Is resultaat gedreven Is creatief Gebruikt zijn/haar talenten Onderzoekt Geniet Is eager Verkent Gebruikt tools Werkt samen Is een life style tester Is een bug hunter Heroverweegt Begeleid Test mindset Leert van fouten Stimuleert collega s om hun talent te gebuiken Is efficient en effectief Probeert fouten te voorkomen Elimineert verspilling Verbeter zijn/haar zwaktes Verbetert continu Coacht Is lean

Anticipeert Is resultaat gedreven Is creatief Gebruikt zijn/haar talenten Onderzoekt Geniet Is eager Verkent Gebruikt tools Werkt samen Is een life style tester Is een bug hunter Heroverweegt QA mindset Leert van fouten Begeleid Stimuleert collega s om hun talent te gebuiken Is efficient en effectief Probeert fouten te voorkomen Elimineert verspilling Verbeter zijn/haar zwaktes Verbetert continu Coacht Is lean

8 wastes of testing Verspillingen in het test proces identificeren met Lean 30 min: praktijk casus uitwerken in groepjes 2-3 personen # Stap Tijd 1 Introductie 10 min 2 Inventariseer verspillingen testen 10 min 6 Wrap up 10 min

Lean MUDA 8 type verspillingen Defects Transportation Overproduction Inventory Waiting Motion Non-utilized talent Excessive processing

Beschrijf een verspilling in je test proces (en bedenk een mogelijke oplossing) Defects Transportation Overproduction Inventory Waiting Motion Non-utilized talent Excessive processing

Lean MUDA 8 type verspillingen: voorbeelden Defects laat vinden in het proces Verstoringen in test proces Functionaliteiten testen op meerdere testomgevingen Meerdere testsoorten/teams Te veel documentatie Te veel testen Niet naar productie brengen van afgeronde Features/Stories Wachten met testspecificatie tot testbasis definitief is Wachten met testuitvoering tot test specificaties afgerond zijn Team verdeeld over meerdere locaties Overdracht Manueel uitvoeren regressie testen Pensioen specialisten formele test technieken laten toepassen Kwaliteitsmaatregelen zonder toegevoegde waarde Testen waarin geen defects gevonden worden

Contactgegevens Edwin van Loon QA lead VS (MPG) edwin.van.loon@apg.nl +31 612166347 edwinvanloon Marc Braeken QA lead VS (TL) marc.braeken@apg.nl +31 610628879 marcbraeken 46