Testen, een vak voor het leven! Gastcollege UU, 3 december 2012 Egbert Bouman, egbertbouman@valori.nl

Transcriptie

1 Testen, een vak voor het leven! Gastcollege UU, 3 december 2012 Egbert Bouman, egbertbouman@valori.nl 1

2 Even testen Wat is jullie beeld van softwaretesten? 2

3

4 Testanekdotes uit mijn praktijk Walrus OZB vaart met testparameters Test haalt telefooncentrale down Testteam Transavia annuleert echte vluchten Geslacht = Ja Project Schadeverzekeraar: 15 mln weg 6 pallets polisprints Heathrow terminal 5 Security 4

5 We do have a reputation Ron Tolido over IT types 5

6 Even testen 1 2

7 An excellent tester s attitude. Constructive maliciousness: Make things fail to make things better What s the difference? The developer The user The tester

8 Testers zijn ook maar mensen 8

9 Walrus class submarines Testing: a matter of survival

10 Traffic Aid Control Room System First release: - Way too slow. - Total crash upon heavy load. Bad Test? Wegenwacht out of business Performance tests: - 7 bottlenecks - Repaired and now OK

11 ING Bank datawarehouse Testing: strategic importance

12 Insurance companies Testing for survival

13 CRISC certified risk controller Business-IT Risk management in all it s respects 13

14 Over Valori Business IT optimization Test & Acceptatie Business Architecture & Requirements IT mgt & Value Chain Improvement 120+ top professionals > 23 jaar in business Top-200 klanten RABO, Achmea, Interpolis, ING, NIBC, ASR, SNS, Menzis, KPN, Randstad, Tweede Kamer, Prov. Utrecht, etc. Training partner (Valori Academy) Proces People Tools Proces Tools Syner gie People SmarTEST aanpak, EXIN-preferred

15 Complexiteit 15

16 Einstein maakte het simpel 16

17 Make it as simple as possible, but not simpler (Einstein) 17

18 Make IT as simple as possible, but not simpler (Valori) 18

19 Wat kun je testen aan een pen? 19

20 Wat is kwaliteit? Een relatie attribuut? Objectiveerbaar? 20

21

22 Verandering

23 Kwaliteit is meer dan een mooi systeem Kwaliteit Het resultaat voor de business, als het project er niet meer is. I P S 360º kwaliteits perspectief Informatie Gegevens in en naar het systeem Processen Organisatie en Processen Systemen Het opgeleverde informatiesysteem Een SmarTEST model. Zie boek en voor definities

24 Extended ISO-Model Functionality Reliability Usability Suitability Accuracy Interoperability Compliance Security Traceability Maturity Fault tolerance Recoverability Availability Degrability Understandability Learnability Operability Explicitness Customisability Attractivity Clarity Helpfulness User-friendliness Efficiency Maintainability Portability Time behaviour Resource behaviour Analysability Changeability Stability Testability Manageability Reusability Adaptability Installability Conformance Replaceability 24

25 FURPS Functionality Features, Mogelijkheden, Beveiliging Usability Human factors, Esthetische eigenschappen, Consistentie, Documentatie Reliability Faalfrequentie, Faalimpact, Recoverability, Predictability, Accuracy, Mean time to failure Performance Snelheid, Efficiëntie, Resourceverbruik, Throughput, Responsetijd Supportability Testbaarheid, Uitbreidbaarheid, Aanpasbaarheid, Onderhoudbaarheid, Compatibility, Configurability, Serviceability, Installeerbaarheid, Localizability, Portability 25

26 IT Governance en testen Veel IT-projecten falen Grip en inzicht essentieel: feitelijke stuurinformatie In control zijn vergt risicobeheersing Testen = strategisch instrument voor risicobeheersing Gebruikt zoals geleverd Gebruikt na wijziging 29% 2% 3% fundamenteel gewijzigd Nooit gebruikt Nooit afgemaakt 47% 19% Bron: ButlerBloor Computer Research 26

27 Met testen verdien je geld. Hoeveel? Zie voor het volledige NIST rapport (pas op: 500 bldz.) Veel, blijkbaar!! In Europa vergelijkbaar 27

28 De Kromme van Boehm Voorkomen is beter dan genezen 28

29 Een goede testaanpak. Planned: 1/10 Plan Analyse Realisatie Test Actual: Dead line Plan Analyse Realisatie Te st houdt testen uit de kreukelzone 29

30 Een goede testaanpak.. WAT testen? Vandaag HOE testen? WIE test? WANNEER testen? WAAR testen? WAARMEE testen? testobject, kwaliteitsaspecten, testbasis, acceptatiecriteria, risico s teststrategie, testscenario s testtechnieken testers, materiedeskundigen, ICT'ers, beheerders, leveranciers,.. planning, testfasering testomgevingen, werkplekken testtools, rekentools 30 geeft antwoord op o.a. deze vragen

31 Lots of books on testing

32 Methods for structured testing

33 You need a handy approach

34 The 5 conditions for smart testing 1. Think strategic 2. Make people important 3. Be adaptive 4. Target on risks 5. Create transparancy Strategic Men over Machine Adaptive Risk based Transparent Thats why: SmarTEST

35 2004: SmarTEST gelanceerd

36

37 !!!!!!!! No risk, No test

38 Geen risico, geen test 39

39 Testsoorten Ketentesten Gebaseerd op fasen Gebaseerd op te onderzoeken aspecten 40

40 Het W-model, het testmodel Requirements, acceptatiecriteria en risico s Bedrijfseisen, gebruikerseisen Exploitatietest Acceptatie test Systeem eisen Systeem- en ketentest Onderkant : ontwerp, bouw en test gecombineerd. Ontwerp, bouw en ontwikkeltesten Past bij moderne, agile ontwikkelmethoden zoals RUP, DSDM en SCRUM.

41 De oerversie: het V-model definitie studie accept. test functioneel ontwerp systeem test technisch ontwerp integratie test constructie unit test Maar het Waterval tijdperk is voorbij unit test integratie test systeem test accept. test 42

42 RAR en Scrum product backlog Business reqts Daily scrum Product owner Sprint = 30 dagen 43

43 Geautomatiseerd testen HP Quick Test Pro HP Loadrunner Rational FT Tosca Citratest Parasoft Selenium Fitnesse Jmeter SoapUI 44

44 Geautomatiseerd testen: twee werelden! Requirements, acceptatiecriteria en risico s Testtools voor eindgebruikers HP-QTP, Citratest?! Never the twain shall meet? Gebruikers testen Testtools voor techies Selenium, JMeter, TFS-tooling?! Ontwikkel testen 45

45 46

46 Ontwerpen van testen: vak apart 60 verschillende testontwerptechnieken Structuur van een testgeval 47

47 Hoe ziet een goede test eruit? Structuur van een goed testgeval: Uitgangssituatie Actie Resultaat Voorbeeld: grenswaarde test 18 jaar 48

48 Eyewitness How test parameters can sneak into life environment

49 Was testing forgotten here?

50 Aantal bevindingen Bevindingen Acceptatietest met testinspanning in FTE 's totaal lopende bevindingen deze week nieuw geconstateerd Testinspanning Week Testinspanning in FTE Gewogen totalen per week Status 4/9 16:00 Weging: Block=4, Major=2, Normal=1, Minor=0,5 Getallen zeggen weinig, het gaat om de trend Nieuw deze week Gesloten deze week Totaal nog open Trendlijn 3e orde Acceptatiegrens 51

51 Iedereen kan testen? Professionaliteit Communicatie Spelbreker durven zijn Kritisch vermogen 52

52 Het karakter van de tester Constructieve kwaadaardigheid: Make things fail to make things better Wat is het verschil? The developer The user The tester

53 Een goede tester: vier competenties Iedereen kan testen, hetzelfde geldt voor klompenmaken Takt, sensitiviteit, overtuigen, analyseren, presenteren, rapporteren Architectuur, programmeren, (internet)- technologie, ontwikkelmethodieken, Verzekeren, banken, telecom, overheid, zorg, omroepen, industrie, media, software engineering,

54 Spin in web TestOrganisatie TestManagement TestInfrastructuur Voorbereiding Beheer Testware Afronding Specificatie Uitvoering

55 Valori thema avonden Een begrip in Grip op IT! Depersonaliseren productiedata Creëren Maskeren Migreren Beheren Converteren Integreren Tools en toolsupport Geweest, o.a.: Grip op MicroSoft Dynamics De nieuwe generatie testtools Test Data Management Getting Things Done Solvency II Scrum en onafhankelijk testen Tools voor Test Management Stretch & Move (met KPN) Moderne systeemontwikkeling: RUP, agile Risicomanagement in de echte wereld Model Based Testen Politiek op de werkvloer Testen en auditing SOA en ketentesten Bevindingenbeheer en SmarTRACK Zorg en ICT Performance testen Usability revisited SEPA Datawarehousing en BI De Vrijgavekaart Datakwaliteit Wat bracht Eurostar Zorgverzekeraars Etcetera?? Requirements = Product Backlog?? Bedrijfseisen, gebruikerseisen Acceptatie test Systeem eisen Keten test?? SCRUM??

56 A great test support site with free tools

57 Conferenties EuroSTAR TestNet Nederlandse Testdag Dutch Testing Conference Belgium Testing Days Test Automation Day Agile Testing Days 58

58 Waarom testen zo leuk is Alle aspecten van IT komen aan bod People Process Tools Je mag overal wat van vinden Je ontwikkelt een breed perspectief Je zit snel op een goed niveau Junior testers voor de Raad van Bestuur! Het is de beste start in IT land Maar tester van wieg tot graf is geen probleem! Het is recessiebestendig 59

59 Wees slim, word een slimme tester! 60

60 61

61 62

62

63 Bedankt voor uw aandacht! BEDANKT VOOR UW AANDACHT Met dank aan verschillende vakbroeders en vooral aan alle bevlogen Valori consultants en test managers in de echte wereld 64