Teststrategien. Pieter van den Hombergh. 20 februari Fontys Hogeschool voor Techniek en Logistiek Software Engineering

Transcriptie

1 Teststrategien Pieter van den Hombergh Fontys Hogeschool voor Techniek en Logistiek Software Engineering 20 februari 2014 HOM/FHTeL Teststrategien 20 februari /33

2 1 Acceptatietesten Belangen Inhoud Acceptatietest Uitvoeren van de tests points 2 Inspection and review Review plan debugging 3 4 Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning 5 HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

3 Hebben we wel het juiste gebouwd? Belangen Inhoud Acceptatietest Uitvoeren van de tests points Figuur : Communicatie tussen domeinafdeling en ontwikkeling Bij de communicatie tussen domeinafdeling en ontwikkeling vindt een overdracht van de ene in de andere vaktaal plaats. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

4 Wat is een acceptatietest? Belangen Inhoud Acceptatietest Uitvoeren van de tests points Bij oplevering van maatwerk-software vindt een acceptatietest plaats. Doel van de acceptatietest: Voldoet de software aan eisen en wensen van de opdrachtgever? Is de software geschikt is voor bedrijfsmatige ingebruikname? HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

5 Belangen Opdrachtgever Belangen Inhoud Acceptatietest Uitvoeren van de tests points Garantiebepalingen De leverancier kan de kosten van herstel in rekening brengen indien de fouten bij het uitvoeren van de overeengekomen acceptatietest hadden kunnen worden vastgesteld. Na acceptatie is leverancier op grond van deze overeenkomst niet gehouden tot het herstel van gebreken in de software. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

6 Belangen Softwareontwikkelaar Belangen Inhoud Acceptatietest Uitvoeren van de tests points Kwaliteit en efficiëntie: Door een grondige acceptatietest uit te voeren worden mogelijk kosten voor herstelwerk bespaard. De testperiode biedt een goede gelegenheid om de kwaliteit en de betrouwbaarheid van de software te verbeteren. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

7 De onderhandeling Acceptatietesten Belangen Inhoud Acceptatietest Uitvoeren van de tests points Onvolkomenheden zijn fouten en gebreken of het op andere wijze niet functioneren overeenkomstig de overeengekomen specificaties. Hoe preciezer die zijn, des te groter de kans dat de opdrachtgever onvolkomenheden kan vinden. De opdrachtgever zal toch zijn eisen zo nauwkeurig mogelijk willen omschrijven. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

8 Inhoud acceptatietest 1 Belangen Inhoud Acceptatietest Uitvoeren van de tests points De functionaliteit: alle aspecten van gedrag en resultaten volgens de overeengekomen specificaties. Robuustheid. Zinvol reageren op foute invoer, technische foutsituaties en gebruikersfouten. De conversieprocedure voor overzetten van gegevens op de nieuwe software. Koppelingen met uw andere informatiesystemen. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

9 Inhoud acceptatietest 2 Belangen Inhoud Acceptatietest Uitvoeren van de tests points De performance. De gebruiksvriendelijkheid. Voldoen aan kwaliteitsgaranties als overeengekomen. In de informatica algemeen aanvaarde uitgangspunten van kwaliteit en deugdelijkheid. De documentatie voor beheerders en gebruikers. De procedures voor handmatige werkzaamheden. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

10 Hoe de test uitvoeren? Belangen Inhoud Acceptatietest Uitvoeren van de tests points Richt tijdig de testomgeving in (hardware, software, documentatie, licenties en werkruimte). Bepaal wie de testen gaat(n) uitvoeren. Schrijf vooraf concrete test-scenario s. Mee beginnen zodra de functionele specificaties beschikbaar zijn. Zorg voor de tijdelijke administratieve organisatie in voor het verzamelen en administreren van testresultaten. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

11 Soorten V & V Acceptatietesten Belangen Inhoud Acceptatietest Uitvoeren van de tests points Software Inspections Requirements specification High level design Formal specification Detailed design Program Prototype Program testing Figuur : Static and dynamic verification and validation. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

12 Het verschil Acceptatietesten Inspection and review Review plan debugging Validation: maken we het juiste product? Is meer algemeen onderdeel. Maken we dat wat de klant wil? Verification: Maken we het product goed? Dynamisch testen is draaien van de software met testdata. V&V zijn statisch: inspecties en reviews tijdens alle fasen van het ontwikkelingsproces. Validatie testen: aantonen dat de software doet wat de klant wil. Zoals prestatie en betrouwbaarheid. Een scherpe grens is niet te trekken tussen al deze indelingen. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

13 Inspection and review Inspection and review Review plan debugging Inspectie en review zijn beide statische verificatie technieken, waardoor het systeem niet uitgevoerd hoeft te worden. Inspection is de preciezere variant. De zogenaamde Fagan inspectie volgt een strict protocol met verschillende rollen voor de deelnemers tijdens de inspectie. Reviewen is een minder strikte methode. Het dient evengoed volgens een plan met een doel te worden uitgevoerd. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

14 Doel van de review Acceptatietesten Inspection and review Review plan debugging Net als de andere test technieken, kan reviewen hooguit fouten vaststellen. De soort inhoudelijke fouten waarnaar gezocht moet worden zijn: 1 Onvolledigheid of missende informatie. 2 Inconsistentie of tegenspraken. 3 Onduidelijkheden of vaagheden. Door deze gebreken zijn er keuzes mogelijk in de vervolgstappen, waardoor de onzekerheid toeneemt. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

15 Inspection and review Review plan debugging Test results Specification Test cases Locate error Design error repair Repair error Retest Program Figuur : Debugging process. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

16 V-model Acceptatietesten Figuur : Uiteraard verwachten we dat coderen en testen hand in hand gaan. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

17 V-model als test en ontwikkelcyclus In moderne ontwikkelmethodology is het V-Model aan de winnende hand. Het V-model schrijft een overeenstemming voor tussen specificatie aan de linker zijde en verificatie/validatie aan de rechterzijde, op alle niveaus van de ontwikkeling Merk op dat de stappen aan beide kanten van de V steeds gepaard gaan met documenten. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

18 Inhoud testplan Acceptatietesten Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning Organisatie: beschrijving hoe de test is georganiseerd, waar liggen verantwoordelijkheden en wat zijn de gebruikte middelen. Communicatie en procedures: o.a. procedures rond herstel van fouten, versie beheer. : Overzicht van de test strategie, criteria voor acceptatie van de test en tot op welk nivo wordt er getest? HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

19 Inhoud testplan 2 Acceptatietesten Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning Test onderdelen: overzicht van de functies die getest gaan worden met hun prioriteiten. Test deliverables: beschrijving van de gebruikte producten: inputs, test-reporten, infrastructuur en voortgangsrapporten. Test activiteiten: installatie van de infrastructuur, schrijven van testscripts, de uitvoering van de test, de voortgangsmonitoringe en het maken van de testrapporten. Planning: de feitelijke planning van de software testactiviteiten en gebruikte middelen. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

20 Test scenario s Acceptatietesten Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning Zijn in essentie de concrete scenario s behorende bij een use-case. Soms bedoelt met testscenario s een testprogramma, d.w.z.: welke testen en in welke volgorde worden uitgevoerd. Men gebruikt ook zogenaamde test scripts als er bij een testprocedure met een softwaretool automatisch een aantal testen uitgevoerd moet worden. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

21 Test tools Acceptatietesten Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning Er zijn commerciële producten voor automatisch testen, maar er is ook ant in combinatie met JUnit. Een ander framework is Castor. Er is meer:.. ( JUnit, Cactus, Abbot (waar is Costello?), JUnitPerf, Jamelon, DbUnit, Mockrunner, dbmonster, The Grinder, XMLUnit, jfcunit, JTestCase, StrutsTestCase, jmock, EasyMock, MockEJB, MockCreator, SQLUnit, Marathon, TestNG, Surrogate Test framework, JTR Java Test Runner, TESTARE, MockLib, TagUnit, TestGen4J, UISpec4J, Jacareto, Jemmy, DDTUnit, Mocquer,Mockito zijn allemaal frameworks voor of ter ondersteuding van testen. En de lijst is zeker niet volledig! Groovy van IBM. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

22 Hoe vinden we testdata? Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning Men wil natuurlijk alles testen! Men kan niet alle waarden testen Er zijn nuttige technieken om een beperkte maar voor het testen complete verzameling van testdata te vinden Grenswaarden en extreme waarden. Bepalen van equivalentieklassen. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

23 Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning In- en output partitions invalid invalid invalid invalid valid valid valid valid valid valid valid valid system output output output output output output output output Figuur : De invoer en uitvoer kan men verdelen in verschillende klassen. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

24 Voorbeeld equivalence partitioning Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning a b c Er is hier sprake van 4 partities: 1 x < a 2 a x < b 3 b x < c 4 x c Partitie equivalentie veronderstelt dat elke waarde in de partitie op gelijk manier behandeld moet worden. Kies bijvoorbeeld een waarde uit het midden. Maar ook de grenzen verdienen aandacht: Test of de grenswaarden door het programma behandeld worden volgens de regels bij de juiste partitie. Hier hoort a bijvoorbeeld bij partitie 2. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

25 Clock12 interface Acceptatietesten Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning public interface Clock12 { void tick (); void settime ( boolean pm, int hrs, int min, int sec ); int gethour (); int getminutes (); int getseconds (); void sethour ( int hour ); void setminutes ( int minutes ); void setseconds ( int seconds ); boolean ispm (); void setpm ( boolean pm ); String gettime (); } HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

26 Equivalence classes Acceptatietesten Testen schrijven en plannen Test scenarios Test tools Equivalence partitioning Equivalenc classes : sethour : 1 hour < 0 invalid data 2 0 <= hour <12 valid data 3 12 <= hour <= 24 valid data 4 hour > 24 invalid data input : hour =16 -> hour =4 && PM = true -7 -> exception " hour not negative " 5 -> hour =5 && PM = false 57 -> exception " hour not greater than 24" etc. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

27 Met de kunnen systematisch blackbox test ontwerpen. Deze testontwerpmethode omvat vier stappen 1 Identificeer de aspecten van het testobject. Aspecten zijn de invloeden die effect hebben op het systeem. 2 Verdeel de invoer overeenkomstig de gevonden aspecten. 3 Specificeer de logische test cases. 4 Maak het test (script/scenario/plan). HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

28 CTM Stap 1 Acceptatietesten 1 Identificeer de aspecten van het testobject. Aspecten zijn de invloeden die effect hebben (of zouden moeten hebben) op het systeem. Dat omvat normale invoer maar ook de toestand waarin het systeem is, de volgorde van bediening, etc. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

29 CTM Stap 2 Acceptatietesten 2 Verdeel de invoer overeenkomstig de gevonden aspecten. Verdeel de invoer over partities of klassen, met betrekking tot de verschillende aspecten. Voor elke input in een partitie zal het systeem op een vergelijkbare manier reageren. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

30 CTM Stap 3 Acceptatietesten 3 Specificeer de logische test cases. Neem een element uit een partitie voor elk aspect. Combineer deze elementen en let daarbij ook op de onmogelijke combinaties. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

31 CTM Stap 4 Acceptatietesten 4 Maak het test (script/scenario/plan). Creëer de reële testgevallen. Definieer de acties binnen een test. Definieer de verificatiepunten vast. Bepaal de uitgangssituaties van de tests. Stel het volledige tests script samen. HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

32 Voorbeeld cruise control De aspecten HOM/FHTeL SEN1 Software Engineering 1 20 februari /33

33 Voorbeeld cruise control De gecombineerde tests HOM/FHTeL SEN1 Software Engineering 1 20 februari /33