Test en acceptatieprotocol

Transcriptie

1 Bijlage J Test en acceptatieprotocol Test en acceptatieprotocol Versie oktober 2015 Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand en/of openbaar gemaakt in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën, opnamen of op enige andere manier zonder voorafgaande schriftelijke toestemming van de uitgever.

2 Inhoudsopgave 1 Opzet PoC Eisen en Wensen leidend Actieve rol leverancier Testsoorten IT Intake Functionele Acceptatietest (FAT) Gebruikers Acceptatie Test (GAT) Activiteiten Uitgangspunten voor de Planning Exit- en Vrijgavecriteria Templates & Tools Bevindingen Deliverables Acceptatieprotocol en formulier Pilot... 9 versie 1.0 pagina 2 van 9

3 1 Opzet PoC Onderdeel van de aanbestedingsprocedure is het uitvoeren van een Proof of Concept (PoC). In de PoC worden de door de, als eerste geselecteerde, Inschrijver aangeboden producten en diensten getest en geaccepteerd. Indien de PoC uitwijst dat niet aan alle eisen is voldaan, zal de Inschrijver worden afgewezen en kiest Hogeschool Windesheim voor de volgende Inschrijver in rij. Dit laat onverlet het recht van Hogeschool Windesheim schadevergoeding te eisen indien hiertoe gronden aanwezig zijn. Dezelfde procedure zal dan nogmaals worden gevolgd teneinde een geslaagde PoC te kunnen afronden. Op verzoek van de opdrachtgever levert en installeert de inschrijver één machine per ingeschreven type, alsmede de aangeboden uitbreidingen op die machines, binnen 5 werkdagen op een door Hogeschool Windesheim aangegeven locatie ten behoeve van de PoC. De geleverde afdrukapparaten dienen volledig te voldoen binnen de Hogeschool Windesheim infrastructuur en aan de technisch en functionele Eisen vermelde criteria. Tevens installeert de leverancier alle benodigde drivers en de Follow-Me software en betaalsysteem. Voor deze werkzaamheden kunnen op geen enkele wijze kosten in rekening worden gebracht aan Hogeschool Windesheim. De geplande doorlooptijd voor de Proof of Concept is gelijk aan de planning in Negometrix. Deze start na voorlopige gunning en zal pas worden afgerond na een volledige acceptatie en decharge en maakt onderdeel uit van de Pre-award fase. Hogeschool Windesheim behoudt zich het recht voor om op ieder gewenst moment de PoC stop te zetten of af te breken. Inschrijver dient er rekening mee te houden dat de representatieve testomgeving, hardware en software, beschikbaar moet zijn gedurende de contractperiode voor de uitvoering van functionele en technische tests. 2 Eisen en Wensen leidend Test en acceptatie houdt in dat de geleverde infrastructuurcomponenten en diensten afzonderlijk en in hun onderlinge samenhang worden getoetst op het voldoen aan de Eisen en Wensen van de aanbesteding. De gunning en leverancierskeuze is gebaseerd op een onderbouwde verwachting dat de gekozen leverancier hieraan kan voldoen. Test en acceptatie zijn bedoeld om aan te tonen dat de leverancier daadwerkelijk voldoet aan de in de RFP geformuleerde Eisen en Wensen. Het resultaat van het proces is een testrapportage waarin voor elke relevante Eis of Wens is aangegeven of en hoe aan de verwachtingen is voldaan. Het geheel moet een voldoende mate van voldoen aan te zien geven, zoals gedefinieerd onder Vrijgavecriteria. Dit wordt gebaseerd op feitelijke waarnemingen, deels door testen, maar waar mogelijk ook door reviews en expertbeoordelingen. versie 1.0 pagina 3 van 9

4 3 Actieve rol leverancier Leverancier verbindt zich een constructief partner te zijn, recht te doen aan voortschrijdend inzicht en resultaatgericht samen te zullen werken bij onvoorziene omstandigheden. De houding en opstelling van (medewerkers van) leverancier tijdens de uitvoering van de PoC zullen meegewogen worden in het oordeel over het slagen van de test. Een essentieel element in de aanpak is dat de leverancier gezamenlijk met medewerkers van Hogeschool Windesheim aantoont dat de aangeboden producten conform de gestelde Eisen en Wensen functioneren in de context van de Hogeschool Windesheim infrastructuur en de Hogeschool Windesheim applicaties. Hogeschool Windesheim voert de regie over de uit te voeren testen. De tests worden uitgevoerd door medewerkers van Hogeschool Windesheim. De leverancier is on-site beschikbaar en schept de randvoorwaarden voor de uit te voeren testen (binnen zijn verantwoordelijkheidsgebied) en ondersteunt bij het uitvoeren van de tests. 4 Testsoorten Het test- en acceptatieproces kent drie fasen, testsoorten genoemd. 4.1 IT Intake Een statische test waarin vastgesteld wordt of de levering compleet en conform de aanbieding is: Leveringsomvang Inhoud Certificaten Unit-testrapporten van de leverancier Rolverdeling: Leverancier toont aan, Hogeschool Windesheim verifieert. 4.2 Functionele Acceptatietest (FAT) Dit is het zwaartepunt van de testactiviteiten. Hogeschool Windesheim toont samen met de leverancier aan dat de Producten en diensten van de leverancier in de keten: Correct functioneren Correct interfacen met andere ketencomponenten Aan de Eisen en Wensen van de aanbesteding voldoen. Hierbij wordt ook een volledige ketentest uitgevoerd. Rolverdeling: Hogeschool Windesheim stelt op basis van de aanbesteding FAT scenario s op en voert deze uit. De leverancier verifieert de testscenario s, schept de randvoorwaarden voor de testuitvoer en is on-site beschikbaar voor ondersteuning bij de testuitvoer en het oplossen van bevindingen. versie 1.0 pagina 4 van 9

5 4.3 Gebruikers Acceptatie Test (GAT) Hogeschool Windesheim gebruikers (key users) en beheerders accepteren en bevestigen dat zij ermee kunnen werken. In deze test kunnen ook Hogeschool Windesheim -implementatie en procesaspecten worden getest die geen verantwoordelijkheid zijn van de leverancier en geen onderdeel zijn van de Eisen en Wensen van de aanbesteding. Rolverdeling: Hogeschool Windesheim selecteert relevante testscenario s en voert deze uit. De leverancier schept de randvoorwaarden voor de testuitvoer en is on-site beschikbaar voor ondersteuning bij de testuitvoer en het oplossen van bevindingen. Onder deze drie testsoorten worden waar nodig specifieke testen uitgevoerd voor een bepaald (kwaliteits)aspect of doelgroep, zoals bijvoorbeeld: Kwaliteit/leesbaarheid van de afdrukken Daadwerkelijke enkel- en dubbelzijdige printsnelheid, ook bij PDF printing. 4.4 Activiteiten De leverancier: Levert 'gebruiksklaar' op; Schept de randvoorwaarden voor de testuitvoer en richt hiervoor een functioneel en technisch representatieve Acceptatietest-omgeving in Levert technische support tijdens testuitvoering voor alle testsoorten Ondersteunt bij het uitvoeren van de tests Herstelt bevindingen conform de in dit document genoemde oplostijden Meet en analyseert eventuele performance bottlenecks met adequate tooling en lost deze op Analyseert de geregistreerde bevindingen (dagelijks, tijdens testuitvoering) voor alle testsoorten HOGESCHOOL WINDESHEIM: Richt de testruimte in conform de opgave van de leverancier en stelt de benodigde serverruimte ter beschikking. Voert de regie over Test- en Acceptatie Stelt de testspecificaties op voor de FAT en GAT Voert de FAT en GAT uit Registreert alle bevindingen 4.5 Uitgangspunten voor de Planning Hogeschool Windesheim zal een Projectplan voor de testperiode opstellen, met tijdschatting en teststrategie voor de uitvoeringsfase. In dit plan worden alle activiteiten uitgewerkt in een resourceclaim voor alle partijen, met name voor de Hogeschool Windesheim -interne afdelingen. versie 1.0 pagina 5 van 9

6 Na voorlopige gunning zal de planning in overleg met de gekozen leverancier verder worden uitgewerkt in een strokenplanning met precieze data en overdrachts /vrijgave momenten. Ten aanzien van analyse en herstel van testbevindingen gelden de volgende principe-afspraken Bevinding Analysetijd (werkdagen) Hersteltijd (werkdagen) Urgent = showstopper 1 1 Hoog = ernstige bevinding 1 2 Gemiddeld = storende bevinding 2 5 Laag = cosmetische bevinding 5 10 Een belangrijk aspect van de planning is flexibiliteit. In de praktijk zullen sommige onderdelen eerder dan andere getest kunnen worden. Dat betekent bijvoorbeeld dat onderdelen van de GAT al uitgevoerd zullen worden terwijl de FAT nog niet volledig is gecompleteerd. Uitgangspunt: zodra een component of aspect gereed is voor test wordt die test zo snel mogelijk uitgevoerd. 4.6 Exit- en Vrijgavecriteria Voor elke testsoort gelden de volgende exit criteria: Alle voor deze testsoort geplande testen zijn uitgevoerd: o Alle geselecteerde Eisen en Wensen zijn van een oordeel voorzien o Alle geplande testscenario s zijn uitgevoerd. Eventueel resterende testen betreffen slechts laagrisico aspecten. o Na de FAT: alle leveranciers Eisen en Wensen gedekt, er zijn geen showstoppers of ernstige bevindingen zonder workaround o Na de GAT: idem, plus aanvullende Hogeschool Windesheim testen, uitgezonderd in goed overleg voor Test in Productie geselecteerde items Het aantal niet opgeloste bevindingen ligt onder de afgesproken Vrijgavecriteria; Alle niet opgeloste bevindingen zijn geregistreerd en staan onder actief beheer; Workarounds, noodoplossingen en (geaccepteerde) beperkingen zijn beschreven en gecommuniceerd; Testrapport opgeleverd, eventueel met wederzijds overeengekomen to be done paragrafen versie 1.0 pagina 6 van 9

7 Een zekere mate van niet voldoen aan is acceptabel: niet elke bevinding is een showstopper. De mate van niet voldoen aan is vastgelegd in zogenaamde vrijgavecriteria. Om te voorkomen dat een stuwmeer van bevindingen wordt meegenomen naar de volgende testfase gelden voor elke overgang IT -> FAT -> GAT de volgende criteria: 0 showstoppers Maximaal 2 ernstige bevindingen, mits workarounds beschikbaar Maximaal 5 storende bevindingen Maximaal 15 cosmetische bevindingen. Ook voor finale vrijgave / acceptatie en décharge voor de leverancier is een zekere mate van niet voldoen aan acceptabel. Hier gelden de volgende vrijgavecriteria voor vrijgave. Voor voorwaardelijke vrijgave geldt: wel groen licht voor productie, maar er is nog significant restwerk en daarom nog geen décharge voor de GAT: Onvoorwaardelijke Vrijgave Voorwaardelijke Vrijgave Showstoppers 0 0 Ernstige bevindingen 0 0 (zonder workaround) Storende bevindingen 3 5 Cosmetische bevindingen Templates & Tools De testen zullen worden gedocumenteerd in de vorm van testscenario's. De testuitvoer en de bevindingen zullen worden geregistreerd in een nog te selecteren testmanagementtool. De leverancier zal hiervoor geautoriseerd worden en een toelichting krijgen over het gebruik van de tool. 4.8 Bevindingen Alle partijen (projectmedewerkers, gebruikers, leveranciers) zullen van adequate autorisaties worden voorzien en registreren hun informatie en acties in de bevindingenbeheer tool. 2 a 3 keer per week zal een bevindingenoverleg plaatsvinden, zodat er weinig ruimte is voor misinterpretaties en onduidelijkheden. In het interne bevindingenoverleg wordt de classificatie van de bevindingen (urgent, hoog, gemiddeld, laag) vastgesteld op basis van de door de tester verschafte informatie. Richtlijnen voor het toekennen van de classificatie: versie 1.0 pagina 7 van 9

8 Ernstclassificatie Richtlijn / Handreiking voor classificatie Urgent Bedrijfsproces functioneert niet want een essentiële infrastructuurcomponent werkt niet en er is geen work around beschikbaar. Blokkerend voor testvoortgang. Hoog Niet acceptabel in de operationele situatie, want ernstige hinder. Of: er is een risico op onvolledige / verminkte output. Niet blokkerend voor testvoortgang. Gemiddeld Idem als showstopper of ernstig, maar er is een work around beschikbaar. Of, er is een storing maar het bedrijfsproces komt niet in gevaar. Laag Beperkte hinder voor gebruikers, geen risico op onvolledige of verminkte output. De testrapportages zullen voor wat betreft aantallen, ernst-classificatie en behandelstatus van bevindingen gebaseerd zijn op de in de bevindingenbeheertool opgenomen meldingen. 4.9 Deliverables Per testsoort wordt het volgende opgeleverd: Herhaalbare testcases overdraagbare documentatie voor de beheerorganisatie o Testscenario s o Testdata Ingerichte Test omgeving, i.s.m. beheerorganisatie o Software o Inrichting o Autorisaties o Beheerdocument Dossier testbevindingen o Alle bevindingen in een bevindingenbeheer tool onder actief beheer Testrapporten Managementsamenvatting van de testresultaten o Verschillende aggregatieniveaus, naar gelang informatiebehoefte management o Tussentijds: wekelijks geactualiseerde Vrijgavekaart o Eindrapport FAT: met advies Vrijgave voor GAT o Eindrapport GAT: met advies Vrijgave voor Productie 4.10 Acceptatieprotocol en formulier Voor aftekening en acceptatie is een formulier beschikbaar. Dit formulier wordt na acceptatie als decharge document beschikbaar gesteld aan de leverancier. De formele decharge wordt verleend in een stuurgroep vergadering van alle stakeholders. Afwijkingen van de in 1.7 beschreven Exit- en Vrijgavecriteria dienen met de leverancier te worden overlegd en door de stuurgroep te worden geaccordeerd. versie 1.0 pagina 8 van 9

9 4.11 Pilot Het ligt in de bedoeling van Hogeschool Windesheim om aansluitend aan de PoC een Operationele Pilot uit te voeren. Hierbij zullen gebruikers en beheerders in de definitieve productie-omgeving die aspecten testen die in de testomgevingen niet getest konden worden. Ook wordt de overgang van acceptatieomgeving naar productieomgeving gecontroleerd. Met de leverancier zullen na definitieve gunning nadere afspraken gemaakt worden over de aard en omvang van de Pilot en de rolverdeling tijdens de uitvoering. versie 1.0 pagina 9 van 9