Testen, een vak voor het leven! Gastcollege UU, 3 december 2012 Egbert Bouman, egbertbouman@valori.nl 1
Even testen Wat is jullie beeld van softwaretesten? 2
Testanekdotes uit mijn praktijk Walrus OZB vaart met testparameters Test haalt telefooncentrale down Testteam Transavia annuleert echte vluchten Geslacht = Ja Project Schadeverzekeraar: 15 mln weg 6 pallets polisprints Heathrow terminal 5 Security 4
We do have a reputation Ron Tolido over IT types 5
Even testen 1 2
An excellent tester s attitude. Constructive maliciousness: Make things fail to make things better What s the difference? The developer The user The tester
Testers zijn ook maar mensen 8
Walrus class submarines Testing: a matter of survival
Traffic Aid Control Room System First release: - Way too slow. - Total crash upon heavy load. Bad Test? Wegenwacht out of business Performance tests: - 7 bottlenecks - Repaired and now OK
ING Bank datawarehouse Testing: strategic importance
Insurance companies Testing for survival
CRISC certified risk controller Business-IT Risk management in all it s respects 13
Over Valori Business IT optimization Test & Acceptatie Business Architecture & Requirements IT mgt & Value Chain Improvement 120+ top professionals > 23 jaar in business Top-200 klanten RABO, Achmea, Interpolis, ING, NIBC, ASR, SNS, Menzis, KPN, Randstad, Tweede Kamer, Prov. Utrecht, etc. Training partner (Valori Academy) www.valori.nl, www.smartest.nl Proces People Tools Proces Tools Syner gie People SmarTEST aanpak, EXIN-preferred
Complexiteit 15
Einstein maakte het simpel 16
Make it as simple as possible, but not simpler (Einstein) 17
Make IT as simple as possible, but not simpler (Valori) 18
Wat kun je testen aan een pen? 19
Wat is kwaliteit? Een relatie attribuut? Objectiveerbaar? 20
Verandering
Kwaliteit is meer dan een mooi systeem Kwaliteit Het resultaat voor de business, als het project er niet meer is. I P S 360º kwaliteits perspectief Informatie Gegevens in en naar het systeem Processen Organisatie en Processen Systemen Het opgeleverde informatiesysteem Een SmarTEST model. Zie boek en www.smartest.nl voor definities
Extended ISO-Model Functionality Reliability Usability Suitability Accuracy Interoperability Compliance Security Traceability Maturity Fault tolerance Recoverability Availability Degrability Understandability Learnability Operability Explicitness Customisability Attractivity Clarity Helpfulness User-friendliness Efficiency Maintainability Portability Time behaviour Resource behaviour Analysability Changeability Stability Testability Manageability Reusability Adaptability Installability Conformance Replaceability 24
FURPS Functionality Features, Mogelijkheden, Beveiliging Usability Human factors, Esthetische eigenschappen, Consistentie, Documentatie Reliability Faalfrequentie, Faalimpact, Recoverability, Predictability, Accuracy, Mean time to failure Performance Snelheid, Efficiëntie, Resourceverbruik, Throughput, Responsetijd Supportability Testbaarheid, Uitbreidbaarheid, Aanpasbaarheid, Onderhoudbaarheid, Compatibility, Configurability, Serviceability, Installeerbaarheid, Localizability, Portability 25
IT Governance en testen Veel IT-projecten falen Grip en inzicht essentieel: feitelijke stuurinformatie In control zijn vergt risicobeheersing Testen = strategisch instrument voor risicobeheersing Gebruikt zoals geleverd Gebruikt na wijziging 29% 2% 3% fundamenteel gewijzigd Nooit gebruikt Nooit afgemaakt 47% 19% Bron: ButlerBloor Computer Research 26
Met testen verdien je geld. Hoeveel? Zie www.nist.gov voor het volledige NIST rapport (pas op: 500 bldz.) Veel, blijkbaar!! In Europa vergelijkbaar 27
De Kromme van Boehm Voorkomen is beter dan genezen 28
Een goede testaanpak. Planned: 1/10 Plan Analyse Realisatie Test Actual: Dead line Plan Analyse Realisatie Te st houdt testen uit de kreukelzone 29
Een goede testaanpak.. WAT testen? Vandaag HOE testen? WIE test? WANNEER testen? WAAR testen? WAARMEE testen? testobject, kwaliteitsaspecten, testbasis, acceptatiecriteria, risico s teststrategie, testscenario s testtechnieken testers, materiedeskundigen, ICT'ers, beheerders, leveranciers,.. planning, testfasering testomgevingen, werkplekken testtools, rekentools 30 geeft antwoord op o.a. deze vragen
Lots of books on testing
Methods for structured testing
You need a handy approach
The 5 conditions for smart testing 1. Think strategic 2. Make people important 3. Be adaptive 4. Target on risks 5. Create transparancy Strategic Men over Machine Adaptive Risk based Transparent Thats why: SmarTEST
2004: SmarTEST gelanceerd
!!!!!!!! No risk, No test
Geen risico, geen test 39
Testsoorten Ketentesten Gebaseerd op fasen Gebaseerd op te onderzoeken aspecten 40
Het W-model, het testmodel Requirements, acceptatiecriteria en risico s Bedrijfseisen, gebruikerseisen Exploitatietest Acceptatie test Systeem eisen Systeem- en ketentest Onderkant : ontwerp, bouw en test gecombineerd. Ontwerp, bouw en ontwikkeltesten Past bij moderne, agile ontwikkelmethoden zoals RUP, DSDM en SCRUM.
De oerversie: het V-model definitie studie accept. test functioneel ontwerp systeem test technisch ontwerp integratie test constructie unit test Maar het Waterval tijdperk is voorbij unit test integratie test systeem test accept. test 42
RAR en Scrum product backlog Business reqts Daily scrum Product owner Sprint = 30 dagen 43
Geautomatiseerd testen HP Quick Test Pro HP Loadrunner Rational FT Tosca Citratest Parasoft Selenium Fitnesse Jmeter SoapUI 44
Geautomatiseerd testen: twee werelden! Requirements, acceptatiecriteria en risico s Testtools voor eindgebruikers HP-QTP, Citratest?! Never the twain shall meet? Gebruikers testen Testtools voor techies Selenium, JMeter, TFS-tooling?! Ontwikkel testen 45
46
Ontwerpen van testen: vak apart 60 verschillende testontwerptechnieken Structuur van een testgeval 47
Hoe ziet een goede test eruit? Structuur van een goed testgeval: Uitgangssituatie Actie Resultaat Voorbeeld: grenswaarde test 18 jaar 48
Eyewitness How test parameters can sneak into life environment
Was testing forgotten here?
Aantal bevindingen 70 60 50 40 30 20 10 0 4 8 6 5 8 Bevindingen Acceptatietest met testinspanning in FTE 's totaal lopende bevindingen deze week nieuw geconstateerd Testinspanning 7 20 19 24 12 32 9 35 10 42 14 47 8 42 9 41 13 44 8 41 11 39 19 38 13 43 14 37 7 32 32 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 120 Week 5 9 34 12 36 5 31 3 10 9 8 7 6 5 4 3 2 1 0 Testinspanning in FTE Gewogen totalen per week Status 4/9 16:00 Weging: Block=4, Major=2, Normal=1, Minor=0,5 Getallen zeggen weinig, het gaat om de trend. 100 80 60 40 Nieuw deze week Gesloten deze week Totaal nog open Trendlijn 3e orde 20 0 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 Acceptatiegrens 51
Iedereen kan testen? Professionaliteit Communicatie Spelbreker durven zijn Kritisch vermogen 52
Het karakter van de tester Constructieve kwaadaardigheid: Make things fail to make things better Wat is het verschil? The developer The user The tester
Een goede tester: vier competenties Iedereen kan testen, hetzelfde geldt voor klompenmaken Takt, sensitiviteit, overtuigen, analyseren, presenteren, rapporteren Architectuur, programmeren, (internet)- technologie, ontwikkelmethodieken, Verzekeren, banken, telecom, overheid, zorg, omroepen, industrie, media, software engineering,
Spin in web TestOrganisatie TestManagement TestInfrastructuur Voorbereiding Beheer Testware Afronding Specificatie Uitvoering
Valori thema avonden Een begrip in Grip op IT! Depersonaliseren productiedata Creëren Maskeren Migreren Beheren Converteren Integreren Tools en toolsupport Geweest, o.a.: Grip op MicroSoft Dynamics De nieuwe generatie testtools Test Data Management Getting Things Done Solvency II Scrum en onafhankelijk testen Tools voor Test Management Stretch & Move (met KPN) Moderne systeemontwikkeling: RUP, agile Risicomanagement in de echte wereld Model Based Testen Politiek op de werkvloer Testen en auditing SOA en ketentesten Bevindingenbeheer en SmarTRACK Zorg en ICT Performance testen Usability revisited SEPA Datawarehousing en BI De Vrijgavekaart Datakwaliteit Wat bracht Eurostar Zorgverzekeraars Etcetera?? Requirements = Product Backlog?? Bedrijfseisen, gebruikerseisen Acceptatie test Systeem eisen Keten test?? SCRUM??
A great test support site with free tools www.smartest.nl
Conferenties EuroSTAR TestNet Nederlandse Testdag Dutch Testing Conference Belgium Testing Days Test Automation Day Agile Testing Days 58
Waarom testen zo leuk is Alle aspecten van IT komen aan bod People Process Tools Je mag overal wat van vinden Je ontwikkelt een breed perspectief Je zit snel op een goed niveau Junior testers voor de Raad van Bestuur! Het is de beste start in IT land Maar tester van wieg tot graf is geen probleem! Het is recessiebestendig 59
Wees slim, word een slimme tester! 60
61
62
Bedankt voor uw aandacht! BEDANKT VOOR UW AANDACHT egbertbouman@valori.nl www.valori.nl www.smartest.nl www.echtewereld.nl Met dank aan verschillende vakbroeders en vooral aan alle bevlogen Valori consultants en test managers in de echte wereld 64