C.A.S.T. Make it as simple as possible, but not simpler. Make IT as simple as possible, but not simpler. Complexiteit. Einstein maakte het simpel

Transcriptie

1 Geautomatiseerd Testen Complexiteit Valori Meeting of Minds, 28 juni Einstein maakte het simpel Make it as simple as possible, but not simpler (Einstein) 3 4 Waar staat dit voor? Make IT as simple as possible, but not simpler (Valori) C.A.S.T. 5 6

2 Complexiteitsreductie 7 8 Definitie Geautomatiseerd Testen is het onbemenst uitvoeren van testen Testtools ondersteunen dit Uiteraard is er toolsupport op veel meer vlakken 9 10 Welke tools zet u allemaal in? Ik gebruik een bevindingen tool Ik gebruik een programma tje om testgevallen te maken Bv voor pair-wise testen Ik gebruik QTP Ik gebruik een simulator om berichten te genereren Typen tools Testuitvoering Simulatoren Berichten generatoren Performance meettools (data analysers) Testdata tools Bevindingen beheer tools Testspecificatie tools Testtechnieken tools Comparotors Rapportage tools Etc Testuitvoeringsondersteunende tools Testproces ondersteunende tools 11 12

3 Archetypen test automatisering Handmatige testuitvoering Record & Playback Tools HP QTP Selenium 17 18

4 Gestuctureerd en geparametriseerd Actiewoord Test 1 Test 2 Test 3 Test Who s making the tests? Toegankelijkheid van Testscripts 23 24

5 Testdrive (assist)? Regressie test Voordelen Nadelen Users doen testen TA-er verrijkt scripts Testscripting Business case Redenen om TA te doen De Cost gaet voor de Baet uit Uitvoering sneller en goedkoper (minder mensuren) Extra test mogelijkheden Technische noodzaak Logging en Controleerbaarheid Resultaten vergelijken Herhaalbaarheid Motivatie Testteam Aansluiten bij ontwikkelproces (agile, daily build, ect) Welke opbrengsten kun je hier halen Welke kosten blijf je hier houden? 29 30

6 Kosten TA Licentie kosten Ontwikkelkosten Onderhoudskosten Baten Het aantal keer dat je de geautomatiseerde test (ongewijzigd) kan herhalen Waarde van de mogelijkheden die TA biedt ten opzicht van handmatig testen Tools anno nu Wie kent ze allemaal? Tool landschap Ondanks het grote aanbod van tools, zijn er maar een paar grote spelers Juist kleine partijen leveren innovatieve oplossingen Het grote aanbod maakt kiezen moeilijk Het grote aanbod aan tools, levert juist veel mogelijkheden, maar je moet wel een doordacht framework opzetten Of is het anders? Straks meer! 35 36

7 Voorkeurtools anno 2011 Of een compleet gevuld framework HP Quick Test Pro (betaald, marktleider) IBM/Rational daler?! Compuware idem?! TestComplete (goedkoper, goed) Microsoft Visual Studio v10: IDE Selenium (+ Fitnesse): OS Jmeter Evt i.c.m. Badboy Straks meer Jenkins (frame), plus: + Apache Ant (scripted test) + TestING (test manager) + Selenium (Web test capture/playback) + Fitnesse (test design gebruikerstaal) + Mochito / Julito / HamCrest (validation) + Sonar (code analyse) Maar doe dit niet in een legacy omgeving! Tool selectie? Welke testen ga je doen? Unit testen Systeem testen GAT Keten test AGILE TRAD Gebruik een slectiehulpmiddel Afronding 41 42

8 Wat kom je tegen Ik weet niet wat er nu getest wordt Ik wil geen externen in huis halen Wijzingsbeheer niet geregeld Conclusies TA wint aan belang Goed implementeren blijft moeilijk Veel organisaties hebben nog onvoldoende kennis Kloof tussen traditionele tester en Ontwikkelaars t blijft testen Rapportage Risicoanalyse RAR lijst Bevindingen 45 Discussie Voorkeurtools anno 2011 HP Quick Test Pro blijft marktleider? TestComplete (goedkoper, goed)? Microsoft Visual Studio v10: IDE? Selenium (+ Fitnesse): OS?? Jmeter?? Evt i.c.m. Badboy?? Wat is uw voorkeurtool? 47 48

9 Discussie Agile Discussie Business case Binnen agile heeft TA meer kans van slagen omdat testen en ontwikkelen hand in hand gaan?! Expertise beschikbaar en mede daardoor is scripting in plaats van capture playback haalbaar?! Agile testen kan niet zonder testautomatisering?! Testautomatisering binnen agile leidt ertoe dat de backlog gevuld wordt met onderhoud en er weinig ruimte is voor nieuwe functionaliteit?! De businescase is moeilijk rond te krijgen, door randvoorwaarden die moeilijk in te vullen zijn, lopen de kosten op en komt het project vaak niet aan terugverdienen toe. De businescase is alleen rond te krijgen als de organisatie aan het roer staat. Voor Projecten is TA een kosten post. Terugverdienen gebeurd pas na het project. In de businescase worden stelselmatig een aantal items over het hoofd gezien, deze zijn SCRAPBOOK 51