STATUS. \fup\fup 1.0_NL\Disciplinen\D5\FUP-D5_Test.doc

Transcriptie

1 D5- Discipline Test Ontwikkelingsondersteuning - D5- DISCIPLINE TEST STATUS werkdocument voorgelegd ter acceptatie goedgekeurd X PUBLICATIE VAN HET DOCUMENT Starteam 1 2 \fup\fup 1.0_NL\Disciplinen\D5\FUP-D5_Test.doc 1 De documenten betreffende de methodologie FUP kunnen plaatselijk op uw harde schijf gedownload worden door middel van de toepassing Starteam - project FUP - functionaliteit "check out all". Bij deze operatie wordt de boomstructuur van Starteam op uw harde schijf c:\ gecopieerd. 2 De documenten betreffende de methodologie FUP worden eveneens gepubliceerd over XWIKI van de infrastructuur, menu SUPDEV, rubriek Methodologie FUP - Documenten NL en FR, op het adres Februari /23

2 D5- Discipline Test Ontwikkelingsondersteuning - LIJST MET WIJZIGINGEN Datum Auteur FUP Versie Aard 18 mei 2005 Unisys Creatie van het document 26 mei 2005 Unisys 0.2 Release Juli 2005 Unisys Wijzigingen na opmerkingen FOD Financiën Augustus 2005 Unisys Wijzigingen na opmerkingen FOD Financiën en kwaliteitscontrole November 2005 Unisys Wijzigingen na opmerkingen FOD Financiën November 2005 Unisys Herlezing SGA Diverse wijzigingen Februari 2007 Unisys Afstemming op teststrategie en testomgevingen REFERENTIES Februari /23

3 D5- Discipline Test Ontwikkelingsondersteuning - INHOUDSTAFEL 1. PRÉSENTATIE VAN HET DOCUMENT INTRODUCTIE TOT DE DISCIPLINE "TESTS" TOT WIE IS DIT DOCUMENT GERICHT? POSITIONERING TEN OPZICHTE VAN DE LEVENSCYCLUS TERMINOLOGIE SCHEMATISCHE BESCHRIJVING VAN DE BENADERING DE INPUTS DE OUTPUTS DE AANEENSCHAKELING VAN ACTIVITEITEN DE GEPRODUCEERDE ARTEFACTEN BESCHRIJVING VAN DE ACTIVITEITEN VOORBEREIDENDE ACTIVITEITEN Definiëren van criteria voor acceptatie van de toepassing (A1) Definiëren van teststrategie (A2) Invoeren van testomgevingen (A3) DEFINITIE EN UITVOERING VAN DE TESTS Definiëren van plan voor integratietests (via herhalingen) (A4) Specificeren van functionele tests Specificeren van niet-functionele tests Uitvoeren van tests Specificeren en uitvoeren van acceptatietests (A5) ACTIVITEITEN VOOR AFSLUITING VAN EEN TESTCAMPAGNE Creëren van een fiche met anomalieën (A6) Opmaken van Balans van Campagnes (A7) Realiseren van pilootfases (A8) VERANTWOORDELIJKHEDEN GEZIEN PER FUNCTIE DE ICT-PROJECTLEIDER DE BUSINESS-PROJECTLEIDER DE GEBRUIKERS EN DE FUNCTIONELE ANALIST DE TESTER DE OPVOLGBAARHEID...23 Februari /23

4 D5- Discipline Test Ontwikkelingsondersteuning - 1. PRÉSENTATIE VAN HET DOCUMENT 1.1. Introductie tot de discipline "Tests" Dit document presenteert een algemeen overzicht van de activiteiten van de discipline Tests van de FUP-methodologie. Het document antwoordt op de volgende vragen : Welke types van tests worden gedefinieerd in de loop van een project dat wordt gerealiseerd met FUP? Welke verschillende actoren zijn betrokken bij het proces? Wat zijn de belangrijkste artefacten die men moet hanteren in de benadering? 1.2. Tot wie is dit document gericht? Het richt zich tot de ICT-projectleider, de business-projectleider en de testers : Februari /23

5 D5- Discipline Test Ontwikkelingsondersteuning - 2. POSITIONERING TEN OPZICHTE VAN DE LEVENSCYCLUS Binnen de levenscyclus van FUP hebben we hieronder de «workflow» weergegeven van de belangrijkste activiteiten van de discipline Tests, die moeten worden gerealiseerd tijdens een ontwikkelingsproject. Het onderstaande schema geeft een overzicht van het belang van deze discipline in de loop van een project. Men stelt vast dat de testdiscipline begint in de aanvangsfase met de identificatie van de acceptatiecriteria, dan verdergaat in de uitwerkingsfase en uiteraard een steeds belangrijkere rol gaat spelen wanneer men vordert in de fases van constructie en overgang. Het is van belang aan te tonen dat diverse tests worden uitgevoerd op het einde van de uitwerkingsfase, zodra de eerste functionaliteiten van het systeem zijn geleverd. Februari /23

6 D5- Discipline Test Ontwikkelingsondersteuning - 3. TERMINOLOGIE Vooraleer de discipline Tests aan te vatten, willen we nog even het courante «vocabularium» in herinnering brengen dat men moet kennen wanneer men de problematiek van tests aankaart. Tester De tester definieert en organiseert de testcampagnes. - Hij stelt de testcases op met de steun van de gebruikers en de functionele analisten - Hij maakt de gegevensreeksen klaar - Hij voert de tests uit We merken op dat de tester ook kan toebehoren aan het projectteam! Anomalie Een anomalie stemt overeen met een negatief resultaat dat wordt vastgesteld tijdens de uitvoering van een testcase of een probleem dat men tegenkomt in de loop van de uitvoering van een test. Een anomalie kan het volgende beschrijven : - een niet-conformiteit ten opzichte van een vereiste (niet-naleving van een specificatie), of - een probleem buiten de geteste toepassing dat de normale uitvoering van de test verhindert. Testcampagne Een testcampagne stemt overeen met de uitvoering van de tests die zijn voorzien in het testdossier, dit ten opzichte van een versie van de toepassing die in ontwikkeling verkeert. Testcase De testcase is de specificatie van alle elementen die de controle van een bepaalde vereiste mogelijk maken. De testcase wordt gekenmerkt door : een doelstelling, pre-voorwaarden, testgegevens (proefreeksen), een gedetailleerde procedure van de te realiseren acties voor het uitvoeren van de test en het controleren van één of meer functionaliteiten/vereisten, een verwacht resultaat, post-voorwaarden en eventueel manipulaties na de tests (zie volgende definitie). Het gedeelte procedure van de testcase moet in detail beschrijven hoe de tester de tests concreet gaat uitvoeren. Men moet nauwkeurig zijn in de beschrijving van dit gedeelte. Manipulaties na test Sommige tests vergen de uitvoering van manipulaties om de gevolgen van de test na zijn uitvoering weg te werken. Naargelang het geval kan men bijvoorbeeld de volgende manipulaties terugvinden: - terugzetting tot nul van bepaalde velden die zijn toegevoegd in de database, - schoonmaak van gegevens die zijn toegevoegd aan sommige formulieren in de vensters van de toepassing, - schoonmaak van bestanden die zijn toegevoegd door de tests, en die niet langer nodig zijn, Testplan Het testplan bevat alle elementen die nodig zijn voor het opstarten van een testcampagne : de uit te voeren testcases, de doelstellingen, de planning, de middelen, Februari /23

7 D5- Discipline Test Ontwikkelingsondersteuning - Testdossier Het testdossier bevat de details van de testcases en de automatische scripts Testbalans Te leveren prestatie die alle opeenvolgende balansen bevat van de testcampagnes die werden gevoerd in de loop van een project. Via deze balans kan men weten welke campagnes werden gerealiseerd in welke omstandigheden en met welke resultaten. Men kan er ook zijn voordeel mee doen bij een volgende versie van de toepassing. Criticaliteit 3 Evaluatie van de gevoeligheid van de elementen van de toepassing (functionele of technische aspecten, interfaces, ) volgens één of meer criteria (frequentie van gebruik van het element, frequentie van voorkomen van anomalieën inzake element in kwestie, impact van de nieuwe functionaliteiten, ). Testinspanningen Prioriteiten inzake tests, toegekend aan de elementen van de toepassing (functionele of technische aspecten, interfaces, ) in functie van de vereisten, de criticaliteit en de geïdentificeerde risico s. Gegevensreeks Gegevens, vastgelegd in tabellen door de tester of geleverd door de FOD op basis van reële gegevens. Met de gegevensreeks kan men één of meer testcases laten verlopen. Testomgeving Geheel van materialen, programma s, parameters en gegevens, noodzakelijk voor de uitvoering van een testcampagne. Gebruikersgroep In de tool Mercury Quality Center personen die hetzelfde profiel hebben (tester, projectleider, verantwoordelijke voor tests,...). Teststrategie Document met de krachtlijnen van de teststrategie; de algemene doelstellingen, de middelen om deze waar te maken en de door te voeren organisatie. Dit omvat : - de organisatie van de verschillende testfases, - de verschillende types van tests die zullen worden gerealiseerd - de te leveren documenten, - de organisatie van de tests (omgeving, tools, middelen). Eenheidstest Operatie onder de verantwoordelijkheid van de ontwikkelaar, bestaande uit het laten plaatsvinden van een geheel van tests om zich te vergewissen van de kwaliteit en de conformiteit van elke component die werd ontwikkeld. Integratietests Geheel van tests waarmee men zich kan verzekeren van de kwaliteit van het ontwikkelde systeem ten aanzien van de vooropgestelde vereisten, de conformiteit ervan met de analyse en de integratie ervan in de externe componenten. 3 Deze terminologie wordt niet noodzakelijk gebruikt in de projecten bij de FOD Financiën, maar ze maakt deel uit van de risicoanalyse Februari /23

8 D5- Discipline Test Ontwikkelingsondersteuning - ICT-operator Acceptatietests Contractuele operatie tijdens dewelke de toepassing wordt onderworpen aan een reeks van controles en waarvan het succes of de mislukking de acceptatie of de weigering van de toepassing bepaalt. Het is dus in de loop van deze activiteit dat de FOD Financiën kan nagaan of een toepassing die werd geleverd, overeenstemt ( «conform is») met de vereisten en de specificaties zoals deze werden bepaald in de verschillende modellen (lijst met vereisten, model voor analyse, model voor conceptie). Functionele tests Geheel van tests waarmee men de overeenstemming van de toepassing met de functionele vereisten, beschreven in de lijst met vereisten, kan nagaan. Tests van niet-regressie Tests waarmee men kan nagaan of wijzigingen die zijn aangebracht aan het systeem, geen onvoorziene gevolgen hebben die het gedrag van het eerder gevalideerde systeem zouden kunnen aantasten. Ze hebben betrekking op de uitvoering van tests die reeds achter de rug zijn, om te verzekeren dat het systeem nog steeds voldoet aan de gespecificeerde vereisten. Tests van soliditeit Hiermee kan men het gedrag van de toepassing controleren in het licht van een belasting vanwege «abnormale» waarden of externe configuraties, zoals : o o o o o o o o waarden buiten de limieten en op de grens van de invoergegevens, overschrijdingen van de capaciteitsnormen of de normen inzake het ritme van de belasting, initialisatie in abnormale omstandigheden, in een gedeeltelijk beschadigde omgeving, capaciteit voor hervatting na incident, maximaal aantal aangesloten terminals, database bevolkt met maximum van gegevens enz. Installatietests Geheel van tests waarmee men zich kan verzekeren van de betrouwbaarheid van de procedures voor de installatie van een nieuwe versie van het systeem. Prestatietests Hiermee kan men nagaan of de vereisten inzake prestaties en capaciteiten van de toepassing om een bepaalde belasting aan te kunnen, worden gerespecteerd. De prestatietests bestaan vaak uit het meten van de responstijden, het nagaan van de bekwaamheid van een toepassing om een bepaald volume van transacties te ondersteunen, enz. Veiligheidstests De veiligheidstests concentreren zich op de controle van de mechanismen van het type SSO, de toegang tot de gegevens, enz. Februari /23

9 D5- Discipline Test Ontwikkelingsondersteuning - 4. SCHEMATISCHE BESCHRIJVING VAN DE BENADERING De volgende figuur toont de inputs, de outputs en de activiteiten van de discipline Tests De inputs Bij wijze van input kunnen de deelnemers aan de discipline steunen op: Het model van de gebruikscases De vereisten De bijkomende vereisten De master-teststrategie voor het beschrijven van de globale teststrategie die wordt gehanteerd voor de projecten bij de FOD Financiën o Dit document wordt geleverd door de FOD Financiën ; het beschrijft de globale teststrategie van de bij de FOD Financiën gerealiseerde projecten o Beschrijft de testomgevingen o Beschrijft de testtools en de procedure voor het beheer van de anomalieën (de cyclus voor de verwerking van anomalieën) Dit document legt het verband met het document inzake de procedure voor levering van de FOD Financiën en de verschillende types testomgevingen. Februari /23

10 D5- Discipline Test Ontwikkelingsondersteuning De outputs De verschillende artefacten die worden geproduceerd door de discipline, zijn: De acceptatiecriteria (O51) De teststrategie (O52) voor het beschrijven van de gehanteerde strategie voor een specifiek project o Dit document is uitgewerkt voor elk project op basis van de master-teststrategie ; het zet deze strategie om in testacties die zijn verspreid over de verschillende fases van het project, en definieert de verschillende testfases (eenheidstests en integratietests, acceptatie, pilootfase, enz.) die zullen worden gerealiseerd in de loop van het project. o Definieert de types van tests die zullen worden gerealiseerd in de loop van het project en de doelstellingen van de tests die zijn uit te voeren voor elke herhaling. o Definieert de noodzakelijke middelen voor de uitvoering van de strategie en de agenda voor de kwalificatie. o De eerste versie van de teststrategie moet worden gefinaliseerd bij het begin van de uitwerkingsfase (JE-M) De testdossiers (O53) o Bevat de details van de testcases, gedefinieerd op basis van de (functionele en technische) specificaties en de vereisten. o Dit document wordt geproduceerd voor elke herhaling of elke testcampagne. De testbalans (O54) voor de beschrijving van de ontmoete anomalieën en de globale resultaten, en het meten van de kwaliteit van wat werd geleverd. o o De rapporten over anomalieën die de beschrijving bevatten van de opgespoorde anomalieën ten aanzien van de testcases en de vereisten. De globale testresultaten die: In de vorm van syntheses of boordtabellen de resultaten bevatten die afkomstig zijn van de testcampagnes (het aantal uitgevoerde tests, het aantal anomalieën, hun mate van ernst, de effectief gerealiseerde reikwijdte van de tests, de gerealiseerde en niet-gerealiseerde tests, enz.. Een kwalitatief advies over de toepassing bevatten Een belangrijk element vormen in de beslissing om over te stappen naar de volgende herhaling/fase in de ontwikkelingscyclus. De identificatie mogelijk maken van de terreinen van vordering die men in acht kan nemen in de volgende testfases De balans van het prototype (O54) Dit is de testbalans die specifiek wordt toegepast op het prototype, als dat er is. Februari /23

11 D5- Discipline Test Ontwikkelingsondersteuning De aaneenschakeling van activiteiten Het volgende diagram toont de aaneenschakeling van de activiteiten die worden ondernomen in het kader van de discipline Tests. Deze activiteiten worden vervolgens in detail beschreven in hoofdstuk Erreur! Source du renvoi introuvable. Beschrijving van de activiteiten : Februari /23

12 D5- Discipline Test Ontwikkelingsondersteuning De geproduceerde artefacten In de onderstaande tabel hebben we een lijst opgemaakt met de volgens ons onontbeerlijke artefacten; we hebben ze georganiseerd op hiërarchische wijze. Februari /23

13 D5- Discipline Test Ontwikkelingsondersteuning - 5. BESCHRIJVING VAN DE ACTIVITEITEN We herinneren er vooraf aan dat de eenheidstests geen deel uitmaken van de discipline Tests: ze maken deel uit van de discipline Implementering, omdat ze onlosmakelijk verbonden zijn met de constructie van de code die ze controleren. Laten we nu de belangrijkste activiteiten van het testproces in detail bekijken Voorbereidende activiteiten Definiëren van criteria voor acceptatie van de toepassing (A1) Doelstelling De acceptatiecriteria zullen worden gedefinieerd in de loop van de aanvangsfase en verfijnd bij het opstarten van het project in de uitwerkingsfase. Methode De acceptatiecriteria zijn in het algemeen gebaseerd op: de vereisten de bijkomende vereisten vereisten betreffende de geleverde documentatie,... Verantwoordelijke functie ICT- en business-projectleiders Geproduceerd artefact Acceptatiecriteria Februari /23

14 D5- Discipline Test Ontwikkelingsondersteuning Definiëren van teststrategie (A2) Doelstelling De teststrategie wordt ingeleid zodra de eerste elementen van de context van het project zijn verzameld, dat wil zeggen ofwel in de aanvangsfase, ofwel later in de uitwerkingsfase van het project (tussen de IJkpunten JI-0 en JE-M). Ze moet in elk geval ten laatste op het einde van de uitwerkingsfase worden geleverd VOOR het opstarten van de industrialisering van de ontwikkelingen. Methode Ze zal worden afgeleid op basis van de master-teststrategie met integratie van de specifieke elementen van het project. Ze zal vervolgens worden vervolledigd naarmate van de beschikbaarheid van verdere informatie (risico s, criticaliteit) die uiteraard altijd kan evolueren in de loop van een project; dit document wordt dus het hele project lang gehandhaafd. De teststrategie moet de volgende punten aanpakken: De testinspanning doelgericht maken en er de eigenlijke teststrategie uit distilleren: hoe kan men een toepassing optimaal en zo efficiënt mogelijk testen. Dan identificeren van de acties die moeten worden uitgevoerd tijdens de hele levenscyclus van het project (definiëren van de testfases, ) Identificeren van de risico s van het project en de criticaliteit van de elementen die zullen worden ontwikkeld Definiëren van de testomgevingen, Preciseren van de rollen en de verantwoordelijkheden van de betrokkenen. Als men de realisatie van prestatietests beoogt voor het project, zal de teststrategie een hoofdstuk moeten bevatten over de te hanteren strategie op het vlak van de tests van belasting. Om een goede teststrategie uit te werken, is het noodzakelijk om een goede kennis te hebben van de functionele en technische vereisten van de toepassing, alsook van de risico s; een kennisname van de lijst met risico s wordt dus noodzakelijk geacht. Verantwoordelijke functie ICT-projectleider Opgelet : het feit dat de projectleider verantwoordelijk is, wil niet zeggen dat hij als enige actief is op dit niveau. Nemen eveneens deel aan deze activiteit: de business-projectleider, de architect, de functionele analisten,... Geproduceerd artefact Teststrategie Februari /23

15 D5- Discipline Test Ontwikkelingsondersteuning Invoeren van testomgevingen (A3) Doelstelling Deze activiteit start bij het begin van de uitwerkingsfase, na de consolidatieherhaling, en zet zich verder tot de acceptatietests en de pilootfase, als er een pilootfase is voorzien in de teststrategie. Ze besaat uit het voorbereiden van de hardware- en softwareomgevingen (testomgevingen), de noodzakelijke gegevensreeksen voor de uitvoering van de tests, en de Mercury Test-tool om de uitvoering van de tests te kunnen volgen en de anomalieën te kunnen registreren. Men bereidt in deze activiteit ook de organisatie van de levering voor (packaging, referenties, procedure voor installatie van de toepassing, enz.) Indien dit een toegang behelst tot externe systemen, moet men de toegang tot en de installatie van testversies van deze systemen vragen voor de verschillende omgevingen, enz. Het aantal en het type van de testomgevingen wordt gedefinieerd in de master-teststrategie en eventueel aangepast in de specifieke teststrategie voor het project. Het is ook mogelijk dat de actoren contact moeten opnemen met ICT Operation om de invoering van de omgeving te finaliseren. Verantwoordelijke functie ICT-projectleider of tester Februari /23

16 D5- Discipline Test Ontwikkelingsondersteuning Definitie en uitvoering van de tests Definiëren van plan voor integratietests (via herhalingen) (A4) Het is belangrijk eraan te herinneren dat deze activiteit bij elke herhaling wordt herhaald. De integratietests zijn gespecificeerd door het projectteam. Ze bestaan uit het verzekeren van de totale dekking van de toepassing, zowel functioneel als nietfunctioneel Specificeren van functionele tests Doelstelling De functionele tests maken het mogelijk om te valideren dat de toepassing conform is met de functionele vereisten. Methode De tester specificeert de tests. Eventueel kan een gebruiker of iemand van de business de rol van tester spelen om meer specifieke businessaspecten of aspecten inzake het «gebruiksgemak» te valideren. De testcases moeten gedetailleerd specificeren wat er moet worden getest, met welke inputs, voor welk resultaat en onder welke voorwaarden. Om de functionele tests op te stellen, vertrekt men van de gebruikscases en de scenario s en van de maquette van de gebruikersinterface. In de discipline Tests wordt een geheel van testcases gegenereerd op basis van de gebruikscases; hiermee kan men de conformiteit met de functionele vereisten nagaan. Verantwoordelijke functie Tester Geproduceerd artefact Testcase Specificeren van niet-functionele tests Doelstelling Er kan ook een ander geheel van tests worden gegenereerd, ditmaal om de conformiteit van de toepassing na te gaan ten opzichte van de niet-functionele vereisten (technisch, ergonomie, veiligheid, enz.). Het is ook op dit niveau dat de uit te voeren tests van de belasting worden gedefinieerd, dit op basis van het gemiddelde gedrag van de gebruikers (eventueel gerangschikt per groep, waarbij elke groep zijn gemiddelde gedrag heeft) en de spreiding van de belasting over een bepaalde tijdsspanne. Methode Dit type van testcases wordt uitgewerkt op basis van de bijkomende specificaties. Verantwoordelijke functie Tester Geproduceerd artefact Testcase Februari /23

17 D5- Discipline Test Ontwikkelingsondersteuning Uitvoeren van tests Doelstelling Deze activiteit bestaat uit het laten verlopen van de testcases in overeenstemming met het testdossier, het registreren van de resultaten en de opvolging in het geval van anomalieën, en het produceren van een testbalans. Hetzelfde plan voor de integratietests speelt zich in verschillende omgevingen volgens de aard van de doelstellingen: In de packaging-omgeving, onder de verantwoordelijkheid van de leverancier, gaat men over tot het eerste niveau van de test na de assemblage van de verschillende ontwikkelde componenten die uitsluitend aan een eenheidstest werden onderworpen. Wanneer de packaging-tests overtuigend zijn, speelt hetzelfde testplan zich af in verschillende integratieomgevingen, onder de verantwoordelijkheid van de FOD ; dit om de conformiteit van het systeem na te gaan ten opzichte van de interne normen en de externe componenten en toepassingen (CCFF, RDC, ). Methode Naargelang de aard van de anomalie, haar ernst en de eventuele impact van de uit te voeren correctie, zal men beslissen over de herhaling waarin de correctie moet worden opgenomen. Het einde van elke test wordt geconcretiseerd door de toekenning van een resultaat; hieronder hebben we de meest voorkomende resultaten opgesomd! Test met succes uitgevoerd Testresultaat niet correct (de test is tot het einde gegaan, maar de uitgevoerde controles in de loop van de test waren niet correct) Test niet voltooid (de test is niet tot het einde uitgevoerd) Niet uitgevoerd Voor elk incorrect resultaat wordt een anomaliefiche uitgewerkt; vervolgens wordt de procedure voor het beheer van anomalieën toegepast. Verantwoordelijke functie Tester, RDC(voor DB-aspecten) Geproduceerd artefact Testdossier Februari /23

18 D5- Discipline Test Ontwikkelingsondersteuning Specificeren en uitvoeren van acceptatietests (A5) Doelstelling De acceptatietests worden gerealiseerd door de partij die het systeem in ontvangst neemt wanneer het systeem in zijn totaliteit kan worden geleverd. Ze bestrijken alle aspecten van de vereisten: de functionele en de niet-functionele aspecten. Dit omvat dus de : 1. functionele tests 2. niet-functionele tests 3. installatietests 4. veiligheidstests 5. prestatietests Het doel is niet alle tests die het projectteam tijdens deze tests heeft uitgevoerd, nog eens over te doen, maar een subgeheel van tests uit te voeren. Het gaat om het valideren van het systeem vanuit een business-oogpunt. Methode De tests worden gerealiseerd in een omgeving die de productieomgeving weerspiegelt (haar configuratie en haar omstandigheden). Het gaat dus om een specifieke omgeving die de acceptatieomgeving van de FOD Financiën vormt. Voorafgaandelijke voorwaarden : o o o o De specificaties van de acceptatietests zijn compleet Het testdossier, gerealiseerd door het projectteam, is beschikbaar samen met zijn testbalans De omgevingen, de tools, de testmiddelen en de voorzieningen zijn beschikbaar De acceptatiecriteria zijn bepaald tussen de FOD Financiën en de leverancier, en ze worden nageleefd Rol van het projectteam o o o o Eventueel assistentie verlenen bij de uitvoering van de tests De diagnose uitvoeren bij anomalieën Elke discrepantie signaleren Nota nemen van de bijkomende tests die zouden moeten worden gerealiseerd om een complete testdekking te verkrijgen ten aanzien van de vereisten. Februari /23

19 D5- Discipline Test Ontwikkelingsondersteuning - Rol van de FOD Financiën o De FOD Financiën is verantwoordelijk voor de fase van de acceptatietests o Hij bepaalt op basis van het dossier met de acceptatietests en in functie van het verworven vertrouwen tijdens de constructeur-tests, de lijst met uit te voeren tests o Hij voert de tests uit o Hij stelt de lijst met anomalieën op en legt deze voor aan de leverancier o Hij maakt de balans van deze testgroep op Verantwoordelijke functie Business-projectleider Geproduceerd artefact Acceptatierapport Februari /23

20 D5- Discipline Test Ontwikkelingsondersteuning Activiteiten voor afsluiting van een testcampagne Creëren van een fiche met anomalieën (A6) Doelstelling Als de uitkomst van de uitvoering van een test "niet OK" is of als de in een testcase beschreven procedure foutief is, als er zich een werkingsprobleem heeft voorgedaan of als er zich hinder heeft voorgedaan tijdens de uitvoering of simpelweg als men een observatie wenst uit te voeren, dan opent men in al die gevallen een fiche voor anomalieën en beschrijft men het probleem. Methode Er is een workflow die exact definieert hoe men een anomalie moet openen, aan wie ze moet worden toegekend, welk niveau van ernst eraan moet worden toegekend, enz. Dit is gespecificeerd in de masterteststrategie. Vervolgens worden al deze anomalieën geanalyseerd door het projectteam; ze worden gecorrigeerd in een nieuwe herhaling en de correcties worden opnieuw getest. Verantwoordelijke functie Tester Geproduceerd artefact Fiche met anomalieën Opmaken van Balans van Campagnes (A7) Voor elke testcampagne die werd uitgevoerd, stelt men een balans op die dit omvat: De mate van dekking De mate van succes Een boordtabel met het aantal anomalieën en hun niveau van ernst Een kwalitatief advies over de toepassing Men kan ook een globale balans opmaken van het geheel van de testfases die werden gerealiseerd via een consolidatie van alle balansen. Verantwoordelijke functie Tester Geproduceerd artefact Testbalans Februari /23

21 D5- Discipline Test Ontwikkelingsondersteuning Realiseren van pilootfases (A8) Doelstelling De pilootfases (de zogenaamde «experimenten») worden vaak behartigd door de gebruikers. Ze omvatten voornamelijk : 1. functionele tests 2. tests van het type «gebruiksgemak» voor het valideren van alle aspecten van de gebruikersinterface in een reële productiesituatie Methode De pilootfases dienen voor het testen van de toepassing in de productieomgeving, alsook het testen van de exploitatie van de toepassing in de productieomgeving. Rol van het projectteam o o Assisteren bij de uitvoering en de exploitatie Helpen bij de diagnose Rol van de FOD Financiën o o o o Is verantwoordelijk voor deze testgroep Definieert de tests en voert ze uit Stelt lijst met anomalieën op en legt deze voor aan het projectteam Maakt balans op van deze testfase Verantwoordelijke functie Business-projectleider Februari /23

22 D5- Discipline Test Ontwikkelingsondersteuning - 6. VERANTWOORDELIJKHEDEN GEZIEN PER FUNCTIE Dit hoofdstuk heeft tot doel voor elke actor, verantwoordelijk op een bepaald testniveau, de activiteiten en artefacten te tonen waarvoor hij verantwoordelijk is De ICT-projectleider - Werkt de teststrategie uit in overleg met de «business-projectleider» en met de functionele analist en de architect van het project. - Is verantwoordelijk voor de toepassing van de teststrategie die werd gedefinieerd voor het project, en dit voor alle kwalificatiefases De business-projectleider Neemt deel aan de uitwerking van de teststrategie met formulering van vereisten, en kondigt de acceptatie van de toepassing af De gebruikers en de functionele analist - Stellen de testcases op of assisteren bij de opmaak van de testcases. - Nemen deel aan of assisteren bij de uitvoering van de tests - Helpen bij de analyse van de testresultaten. - Nemen eventueel deel aan de opmaak van de testbalansen De tester Als hij een functie als verantwoordelijke heeft : - Stuurt de verschillende testfases en produceert de testbalans op het einde van de testfase. - Identificeert de middelen. - Evalueert de noodzakelijke dekking van de tests en definieert de uit te voeren tests voor niet-regressie. - Voert de teststrategie uit. In elk geval : - Bouwt de testcases met de gebruikers en/of de functionele analist. - Laat de in het testdossier voorziene tests doorgaan. - Analyseert en interpreteert de resultaten. - Registreert de verkregen resultaten. - Vult de fiches met anomalieën in. Februari /23

23 D5- Discipline Test Ontwikkelingsondersteuning - 7. DE OPVOLGBAARHEID Hoe ziet men op pragmatische wijze de opvolgbaarheid in het testproces? Er vallen twee voorschriften waar te nemen: Men moet de testcases opvolgen ten aanzien van de vereisten. Men moet de testresultaten opvolgen ten aanzien van de testcases. Als men deze twee grote aanbevelingen goed in acht neemt, dan is men in staat om heel precies de reikwijdte van de tests te kennen ten opzichte van de vereisten van de toepassing. Men weet dus welke delen van de toepassing werden getest en welke nog niet. Men voldoet aan de doelstelling van volledigheid van de tests ten opzichte van de vereisten. Men voldoet aan de doelstelling van handhaving van de toepassing, omdat men in staat is een analyse te realiseren van de impact van een wijziging van de vereisten, en aldus makkelijk de tests voor niet-regressie te bepalen. Februari /23