Module 14: Testen. NAF Masterclass Enterprise Architectuur Module Testen

Transcriptie

1 Module 14: Testen NAF Masterclass Enterprise Architectuur Module Testen

2 Laurens Kremer Rollen Agile coach Vaktechnisch coördinator Verandermanager Projectmanager (gecertificeerd) Testmanager (gecertificeerd) Kwaliteitsmanager IT-auditor (gecertificeerd) Expertise Wendbaarheid / Agile Kwaliteitssystemen Testen en toetsen Project en programma bewaking Veranderingsmanagement Markten MKB, Overheid NAF Masterclass EA, Module Testen 2

3 Frieda Mol Rollen Vaktechnisch coördinator Testregisseur Testmanager Testcoördinator Tester Bouwer Analist Expertise Wendbaarheid / Agile Kwaliteitssystemen Testen en toetsen ICT allround Markten Overheid Reiswereld Financiële dienstverlening NAF Masterclass EA, Module Testen 3

4 Introductie ronde Wie ben je? Wat is je rol? Waarom volg je deze workshop? Wat zijn je verwachtingen? Inventarisatie ervaringen met testproces /- testdiscipline (samenwerken / verbinden) Zijn er specifieke onderwerpen die je wilt bespreken? NAF Masterclass EA, Module Testen 4

5 Opbouw Module De leerdoelen van deze module: Hoe kan de testfunctie de architect helpen en wat wordt daarin van de architect verwacht (samenwerken en verbinden). De architect: Weet wat het testproces voor hem betekent en wat er van hem wordt verwacht. Heeft een actueel beeld van het testvak Weet een vertaling te maken naar zijn eigen praktijk NAF Masterclass EA, Module Testen 5

6 Overzicht Modules Masterclass EA NAF Masterclass EA, Module Testen 6

7 Afspraken Notities op computer/tablet NAF Masterclass EA, Module Testen 7

8 Tijdsopbouw Start: Testen in het algemeen Eerste pauze Eten Testen & praktijkcase Belastingdienst tweede pauze Einde NAF Masterclass EA, Module Testen 8

9 Inleiding Bedrijfsprocessen en ketens worden complexer. Publiek- en private samenwerking komt steeds vaker voor. Tegelijk neemt de afhankelijkheid van ICT toe en worden de kansen op verstoringen en fouten groter. Er zijn dus een aantal issues op het raakvlak tussen de architectuur- en testfunctie. Sturing op basis van risico s is daarin voor beide vakgebieden van belang. Centrale thema voor de masterclass: hoe kan de testfunctie de architect helpen en wat wordt daarin van de architect verwacht (samenwerken en verbinden)? Het theoretische deel zal worden samengesteld op basis van Tmap Next NAF Masterclass EA, Module Testen 9

10 Testen in het nieuws 4 november :30 Autoweek De RDW gaat diesels van alle in Nederland leverbare merken testen op de aanwezigheid van sjoemelsoftware. Naar aanleiding van het inmiddels welbekende verhaal over de sjoemelsoftware van Volkswagen heeft de RDW besloten om ook diesels van 22 andere fabrikanten onder de loep te nemen, zo meldt de NOS. De tests zullen zes tot acht maanden in beslag nemen NAF Masterclass EA, Module Testen 10

11 Testen in het nieuws Testtoren voor ultrasnelle liften Laatst gewijzigd: :43 Ad Tissink Krimpen aan den IJssel - ThyssenKrupp Elevator bouwt in het Duitse Rottweil een 244 meter hoge toren voor het testen van de nieuwste generatie liften. Met de bouw ervan is 40 miljoen euro gemoeid. De toren krijgt twaalf schachten waarin de liftfabrikant naar hartelust gaat testen met nieuwe concepten en installatiemethodes van comfortabele snelle liften NAF Masterclass EA, Module Testen 11

12 Testen in het nieuws NIEUWS - 08 APRIL :02 REDACTIE EMERCE Kabelaar Ziggo is vandaag gestart met het testen van vast bellen via smartphone of tablet. Met behulp van Ziggo Bapp een ios- of Androidapp kunnen klanten ook in het buitenland bellen. Bapp is een bellen-applicatie geïnstalleerd op een smartphone of tablet (ios/android) die gebruikmaakt van de mobiele/draadloze internetverbinding (Wifi/3G/4G) voor bellen met de vaste telefoonlijn van Ziggo. Doel van de test is het onderzoeken van het gebruiksgemak en de praktische bruikbaarheid van de app. Ook zal de testers worden gevraagd naar mogelijke verbeterpunten van de app. Aan de test die twee maanden duurt kunnen maximaal drieduizend Ziggo-klanten deelnemen, deze worden via een persoonlijke uitgenodigd NAF Masterclass EA, Module Testen 12

13 Nut en noodzaak Hoe weet de architect dat datgene wat hij heeft ontworpen / gemodelleerd ook daadwerkelijk maakbaar en testbaar is (reality check)? Hoe weet de architect dat datgene wat hij heeft ontworpen / gemodelleerd ook daadwerkelijk is geleverd (reality matched)? Oefening: bespreek in groepjes van 3 of 4, feedback in de groep NAF Masterclass EA, Module Testen 13

14 Wat betekent Reality Checked? NAF Masterclass EA, Module Testen 14

15 Principe V-model Reality Check door Testen in voortraject V R A A G Voortraject Vraag/wens Reality Check Oplossing Testen & Accepteren A A N B O D Implementatie NAF Masterclass EA, Reality Check 15

16 Principe V-model Reality Check door Testen in voortraject V R A A G Voortraject Vraag/wens Reality Check Oplossing Testen & Accepteren Reality Check in het voortraject. Door bijv. oplossingen te valideren: Excel spreadsheets en berekeningen Simulaties Prototype bouwen en testen Kengetallen van implementaties gebruiken Etc NAF Masterclass EA, Reality Check 16

17 Het belang van testen Is per situatie verschillend. Wordt bepaald door: Intensiteit van gebruik Gevolgschade bij afbreuk Complexiteit van constructie Conform productlijst of maatwerk Wordt aangetoond door praktijk: er gaat nog veel mis, matige kwaliteit systemen/projecten halen eindstreep niet NAF Masterclass EA, Module Testen 17

18 Urgentie Steeds verdergaande automatisering heeft voor de klant het effect van transparantie en vraagt om een hogere kwaliteit. De oude legacy systemen moeten vervangen worden en tegelijk vraagt de business om nieuwe mogelijkheden. Beperkte ruimte voor innovatie. Wat is de bijdrage van het testproces hierin? NAF Masterclass EA, Module Testen 18

19 Oefening Pen Kwaliteit van deze Pen (schrijf 3 eisen op, pp en centraal verzamelen) En hoe test je die kwaliteit In duo als eind gebruiker In duo als producent NAF Masterclass EA, Module Testen 19

20 Testdefinities Een verzameling activiteiten die uitgevoerd wordt om een of meer kenmerken van een product, proces of dienst vast te stellen volgens een gespecificeerde procedure. [ISO/ IEC, 1991] Activiteiten zoals meten, onderzoeken, beproeven, keuren met kalibers van één of meer kenmerken van een product of dienst en het vergelijken van de uitkomsten met de gestelde eisen, om te bepalen of aan deze voorwaarde is voldaan. (Definitie volgens de standaard ISO 8402.) NAF Masterclass EA, Module Testen 20

21 Commerciële methoden TMap Next Test Management Approach : Sogeti: In veel Europese landen de standaard. Nieuwe versie : TMap HD: Human Driven. Een focus op testen in samenwerking met ontwikkelteam, focus op agile en value. Logica / CGI: Testframe: Testframe schrijft je letterlijk voor hoe je je test moet inrichten, dat heeft voordelen, maar ook nadelen. Risk & Requirement based Testing : Logica / CGI Time Partition Testing: Geautomatiseerde software of software-verificaties van embedded systems worden hiermee getest. TPT is een modelbasedtesting tool. SmarTEST van Valori >> actuele situatie is dat er geen goede Nederlandse testboeken zijn NAF Masterclass EA, Module Testen 21

22 Methoden incl. certificering ISTQB voorheen ISEB. Dit is een standaardisatie die door veel landen is erkend. Alle EU landen en veel andere Europese landen, samen met Canada, Australië hebben deze standaard omarmd. De Verenigde Staten hebben hun eigen standaardisatie, n.l. de IEEE. TMAP is een handboek dat is samengesteld door Sogeti NAF Masterclass EA, Module Testen 22

23 Essenties Tmap Next Standaard in Nederland BDTM Gestructureerd testproces Complete gereedschapskist Adaptief Nieuwste boek: Tmap HD NAF Masterclass EA, Module Testen 23

24 BDTM / Tmap Next Het V-model Statisch en dynamisch testen Testfasen, testactiviteiten, testproducten, testrollen Risico gebaseerd testen Testsoorten Recente ontwikkelingen NAF Masterclass EA, Module Testen 24

25 Principe V-model V R A A G A A N B O D Vraag/wens Oplossing Testen & Accepteren NAF Masterclass EA, Module Testen 25

26 Testsoorten Ontwikkeltesten: Unittest (UT) Unit-integratietest Systeem- en Acceptatietesten: Systeemtest (ST) Functionele Acceptatietest (FAT) Gebruikersacceptietest (GAT) Productieacceptatietest (PAT) NAF Masterclass EA, Module Testen 26

27 De kern van de zaak Als het bedrijfsprocesontwerp beschrijft waar het op te leveren product (bedrijfsproces) aan moet voldoen hoe stellen we dan concreet vast dat daaraan voldaan wordt? Wat voor informatie heb je daar voor nodig? Dit is de kern van testbaarheid NAF Masterclass EA, Module Testen 27

28 Actuele trends Testen sluit aan op de beweging naar Agile voortbrenging. Scrum Scaling Agile Nieuwe methoden/frameworks zetten testen centraal: SAFe, LeSS Extreme programming (acceptance)testdriven Devellopment NAF Masterclass EA, Module Testen 28

29 They Build It, They Test It Agile Teams and System Architects together must create and maintain test strategy and test environments Agile Teams Test architectural assumptions; ensure system testability This responsibility cannot be delegated to outside resources Otherwise the team cannot be empowered nor accountable for delivering a quality system System Architect System Team Designing for Testability is the key

30 Designing for Testability Systems that are Designed for Testability (DFT) can be more easily changed Joint responsibility of the System Architect and the Agile teams Fosters faster value delivery Example: maintaining clear separation of the UI from the rest of the system enhances direct testability of business logic and improves development velocity Enables shorter architectural runway and more flexible design strategies Sustained through every design decision

31 Wat doet een tester daar mee? NAF Masterclass EA, Module Testen 31

32 Start 1 B Boek of Plaat P 3 Testen vd mogelijke paden door proces 2 Betaalwijze R 5 Op voorraad A 4 N 9 OK? 7 J N 6 J 8 Einde NAF Masterclass EA, Module Testen 32

33 Testen vd mogelijke gegevens(waarden) Jachthaven Lengte Doel Nieuwwaarde < 20ft 20ft 60ft > 60ft Plezier Beroeps < Lading Gev. stoffen Passagiers Overig TG-1 TG-2 TG-3 TG-4 TG-5 TG-6 TG NAF Masterclass EA, Module Testen 33

34 Testen vd mogelijkheden in beslistabel verzamelen van alle relevante condities / beslispunten uitzoeken van alle relevante combinaties van beslissingen Testsituaties C1 duur >= 3 jaar C2 >= 100 belminuten C3 duur >= 2 jaar C4 telefoon aangeschaft R1 kosten := 30 euro X X X X X X X X R2 kosten := 2 euro X X X X X X X X R3 korting := 10% X X X X X X R4 Geen korting X X X X X X X X X X NAF Masterclass EA, Module Testen 34

35 Moet alles testbaar zijn? Wordt hier wel iets beschreven wat getest moet worden? Wat bijv. NIET getest kan worden beschrijving van huidige problemen die opgelost moeten worden beschrijving van mogelijke oplossingsrichtingen de transitie naar de gewenste situatie Wat bijv. WEL getest kan worden concrete beschrijving van de SOLL-situatie de gekozen oplossing eisen aan de te kiezen oplossing Als het elders in meer detail (en testbaar) beschreven is... verwijs daar dan naar! Wees duidelijk in dit onderscheid NAF Masterclass EA, Module Testen 35

36 Checks op testbaarheid Geeft mijn ontwerp voldoende aan...welke variaties (in proces; gegevens; beslissingen) getest moeten worden wat de gewenste uitkomst dan moet zijn hoe vastgesteld kan worden dat daar aan voldaan wordt (meetbaarheid) wat er voor nodig is om dat uit te proberen (omgeving), zoals triggers die het proces starten technische omgeving data de state waarin het systeem of proces zich moet bevinden overige informatie/kennis NAF Masterclass EA, Module Testen 36

37 EA en toetsen en testen Enterprise Architecture Model uit 1989 van het Amerikaanse National Institute of Standards and Technology (NIST) Hoe organiseer je de feedback en wat is de rol van testen daarin? Stelling: testen en toetsen zorgt voor de feedback loop. Reality Matched NAF Masterclass EA, Module Testen 37

38 Reality matched Plenaire discussie / bespreking. Doen jullie dit? Is dit beschreven? Waarom architectuur en test niet zonder elkaar kunnen. (groepjes van 4) NAF Masterclass EA, Module Testen 38

39 Wat kan je zelf doen? Zodra je beschreven hebt hoe het moet werken stel jezelf dan de vraag... Hoe zou ik vaststellen of dat zo werkt? En geeft mijn beschrijving dat voldoende aan? NAF Masterclass EA, Module Testen 39

40 Stelling/discussie Testen is een invulling van architectuur control!? Hoe zit het met: Prototyping Simulaties Walkthough NAF Masterclass EA, Module Testen 40

41 Testtrends Agile en Testen Integrale samenwerking met ketenpartners; Het testen vanuit gebruikersperspectief; Exploratory testing Vaker testen in productie: web applicaties / A&B testing Test-driven development Geautomatiseerd testen Focus op code kwaliteit Testen van non-functionals Security testing (IOT, Auto s e.d.) NAF Masterclass EA, Module Testen 41

42 Praktijk case Deel 1: VTA Belastingdienst en Testen VTA (Verbeterde Test Aanpak) & nieuwe ervaringen rond Agile

43 Typering Belastingdienst (2014) NAF Masterclass EA, Module Testen 43

44 Terugblik in de tijd Belastingdienst raakt aangiftes kwijt Woensdag 27 februari 2008 Mensen die voor 22 februari digitaal de belastingaangifte hebben ingevuld moeten deze opnieuw indienen. Door een technische fout zijn zo n aangiftes onbruikbaar geworden. De mensen die hun aangifte opnieuw moeten indienen krijgen binnenkort een brief waarin de Belastingdienst excuses maakt NAF Masterclass EA, Module Testen 44

45 Algemene Rekenkamer over 2012 Belastingdienst kan kwaliteit toepassing testmethode verder verbeteren De Belastingdienst heeft in 2012 veel werk verzet om het testen naar een hoger plan te tillen. Dit heeft erin geresulteerd dat alle onderdelen van de Belastingdienst gebruik hebben gemaakt van een gestructureerde testaanpak voor aanpassingen in ICT-systemen en de ontwikkeling van nieuwe systemen. Bevindingen Het testen wordt in grote lijnen goed beheerst en de kwaliteit van de testproducten zoals een risicoanalyse en testplannen is op een voldoende niveau. We merken het testen daarom niet langer aan als onvolkomenheid NAF Masterclass EA, Module Testen 45

46 NAF Masterclass EA, Module Testen 46

47 Vraag/wens Andere bedrijfsonderdelen Oplossin Requirements IV-vraag Ontwerp bedrijfsproces Realisatie (niet ICT) Test/ Acceptatie bedrijfsproces Implementatie Opdrachtverstrekking Preproductietest Opdrachtverstrekking IV-aanbod Ontwerp service Realisatie service Test/Acc. service MORAA-ICT-service MORAA-ICT-service MORAA-ICT-service Opdrachtverstrekking Voortbrengingsproces Levering appl. deelservice(s) Andere domeinen met eigen voortbrengingsproces Levering infra deelservice(s) Afstemming NAF Masterclass EA, Module Testen 47

48 Organogram IV keten NAF Masterclass EA, Module Testen 48

49 Actueel De Algemene Rekenkamer (ARK) heeft een ernstige onvolkomenheid geconstateerd binnen de Belastingdienst: De Belastingdienst heeft een groot aantal IT-systemen in gebruik die veelal sterk verouderd, achterstallig in onderhoud en verweven met elkaar zijn en die essentieel zijn voor het functioneren van de Belastingdienst. Het risico bestaat, dat storingen in de toekomst niet meer op tijd kunnen worden opgelost. Daarnaast staat de kwaliteit van de uitvoeringstoetsen onder druk, omdat het risico bestaat dat de gevolgen van een wetswijziging voor deze oude IT-systemen niet meer kan worden ingeschat. De Belastingdienst heeft een groot aantal IT-systemen in gebruik die veelal sterk verouderd zijn en die essentieel zijn voor het functioneren van de Belastingdienst. Deze ouderdom van systemen zorgt voor problemen in het IT-landschap, omdat: er geen overzicht van systemen, platforms, versies en programmeertalen is; deze systemen sinds de introductie zijn aangepast aan wetswijzigingen, zonder dat deze wijzigingen systematisch zijn bijgehouden. Hierdoor ontbreekt overzicht hierop; veel systemen onderling van elkaar afhankelijk zijn. Het overzicht van de systemen en de onderlinge afhankelijkheden zijn slecht gedocumenteerd. Daarnaast is de kennis hierover slechts aanwezig bij medewerkers die dicht tegen hun pensioendatum aanzitten; de legacy problematiek groter is dan bij het opstellen van de Brede Agenda is ingeschat NAF Masterclass EA, Module Testen 49

50 Actuele ontwikkelingen Herinrichting IV-organisatie - versie definitief 1.0: Voorspelbaar, wendbaar, robuust in continuïteit, sneller In sterke verbinding met de business In sterke verbinding met burger en bedrijf Multidisciplinaire teams; kortcyclisch werken Houd kaders vast, laat regels los Denken in ketens, korte ketens Kleine stappen, in vasthoudendheid, niet terugvallen in oude patronen Ruimte voor differentiatie >> Agile tenzij, voorkeur voor scrum in de teams, bij grotere trajecten SAFe NAF Masterclass EA, Module Testen 50

51 Scrum als besturing

52 Verschil waterval en agile - Kort cyclisch - Multidisciplinair - Transparant - Kortere feedback lus - Business driven - Mindset: effectief - Valkuilen agile

53 Specifiek voor Test - Producten als risicoanalyse, testplannen, testrapportage, vrijgaveadvies - Testen als competentie - Testautomatisering - Nadruk op andere testsoorten - Voorwaarden test - T-Shape model

54 wat blijft? - Requirements - Acceptatiecriteria - Risicoanalyse - Teststrategie - Alle testsoorten

55

56 Testen & bedrijfsproces Belastingplichtgen - Particulieren - Organisaties - Bedrijven Testsituaties Hebben te maken met belastingen. Op basis van een boekhouding. Per wetgeving zijn er situaties met functionele en fiscale in- en output. Er zijn meerdere functionele uitval, uitworp en interactie momenten in het bedrijfsproces. Heeft een fiscale aanslag tot effect. xxxxxxxxx xxxxxxx Keten bedrijfsproces IV Keten NAF Masterclass EA, Module Testen 56

57 Testen en risicomanagement Proces ontwerp Dienst / Product Risico assessment Wijziging in dienst / product Opdracht / release Maatregelen Opdracht/product Risico analyse MTP/DTP Testspecificaties Risk log Testbasis Regressie Regressie testset NAF Masterclass EA, Module Testen 57

58 Architectuur & test Binnen de belastingdienst werken de architect en de testmedewerkers samen met elkaar en ze toetsen elkaars producten. We hebben geleerd dat de rollen elkaar versterken en niet zonder elkaar kunnen. Wat nemen jullie mee naar je eigen situatie? Wat zou je anders willen gaan doen? Vanuit het perspectief samenwerken en verbinden NAF Masterclass EA, Module Testen 58

59 BD Visie Agile en Test Visie over testen blijft: Firsttime Right, risico gebaseerd, we gaan het wel anders vormgegeven Wat doen we dan anders: Minder planningsproducten PRA en teststrategie/aanpak opnemen in EPIC, Feature, Userstory en de productmanager / productowner wordt er mede verantwoordelijk voor. Zoveel mogelijk (geautomatiseerd) testen in de sprints, maandelijkse releases De rol van Testcoördinator en Testmanager veranderd NAF Masterclass EA, Module Testen 59

60 Competenties (T-shaped model) Testers zijn een integraal onderdeel van een team Samenwerking staat centraal Helpen in de ontwerp en realisatie Coach voor de ontwikkelaars die ook testen Juiste samenstelling (geautomatiseerde) regressie testset. Ondersteunen de business bij opstellen Epics, Features en Userstories. Exploratory testing Bouw of ontwerp Business kennis Test kennis Bouw of ontwerp 12 mei 2016

61 Keuzes en dilemma s Testen meer naar de linkerkant van het V-model bewegen. Focus op TDD, testdekking Combineren scrum en lineair, beide moeten met elkaar rekening houden. 30 jaar aan aan legacy: investeren we nu wel of niet in testautomatisering van de systemen die op lijst staan om te vervangen? Functiepunten of velocity? 12 mei 2016

62 Waar gaat de testrol heen? De testadviseur / business ondersteuner De scrum teammember De onderzoeker (explorer) De regressie specialist? De test automatiseerder 12 mei 2016

63 Terugblik Module Zijn de leerdoelen van deze module gehaald? De leerdoelen van deze module: Hoe kan de testfunctie de architect helpen en wat wordt daarin van de architect verwacht (samenwerken en verbinden). De architect: Weet wat het testproces voor hem betekend en wat er van hem wordt verwacht. Heeft een actueel beeld van het testvak Weet een vertaling te maken naar zijn eigen praktijk NAF Masterclass EA, Module Testen 63