PRORAIL PoC Protocol MFP s en grootformaatprinters

Transcriptie

1 PRORAIL PoC Protocol MFP s en grootformaatprinters

2 Inhoudsopgave 1 Opzet Proof of Concept Eisen en Wensen leidend Actieve rol leverancier Testsoorten IT Intake Functionele Acceptatietest (FAT) Gebruikers Acceptatie Test (GAT) Activiteiten Uitgangspunten voor de Planning Exit- en Vrijgavecriteria Templates & Tools Bevindingen Deliverables Acceptatieprotocol en formulier... 7 versie 1.0 pagina 2 van 7

3 1 Opzet Proof of Concept Onderdeel van de aanbestedingsprocedure is het uitvoeren van een Proof of Concept (PoC). In de PoC worden de door de, als eerste geselecteerde, Inschrijver aangeboden producten en diensten getest en al dan niet geaccepteerd. De PoC bestaat, naast/na de oplevering van de acceptatie- en productieomgeving, uit drie hoofdonderdelen: 1. Intake 2. Functionele Acceptatie Test 3. Gebruikers Acceptatie Test Deze testen zullen op de Acceptatie omgeving uitgevoerd worden. Alleen daar waar noodzakelijk zal er op de Productieomgeving getest worden. Op de verschillende testonderdelen wordt vanaf hoofdstuk 4 nader ingegaan. Op verzoek van de opdrachtgever levert en installeert de inschrijver één machine per aangeboden type, alsmede de aangeboden uitbreidingen op die machines, binnen 10 werkdagen op maximaal drie door PRORAIL aangegeven locatie(s) ten behoeve van de PoC. De geleverde afdrukapparaten dienen volledig te voldoen binnen de PRORAIL ICT infrastructuur en aan de technisch en functionele Eisen vermelde criteria. Tevens zorgt de leverancier voor de installatie van alle benodigde drivers en de (Follow-Me) software. Voor deze werkzaamheden kunnen op geen enkele wijze kosten in rekening worden gebracht aan PRORAIL. De geplande doorlooptijd voor de Proof of Concept is maximaal vier maanden 1. Deze start nadat de leverancier is geselecteerd en zal pas worden afgerond na een volledige acceptatie en decharge en maakt onderdeel uit van de Pre-award fase. PRORAIL behoudt zich het recht voor om op ieder gewenst moment de PoC stop te zetten of af te breken. Inschrijver dient er rekening mee te houden dat de representatieve testomgeving, hardware en software, beschikbaar moet zijn gedurende de contractperiode voor de uitvoering van functionele en technische tests. Onder representatief wordt verstaan: 1. De in de PoC gebruikte software(versies) inclusief de instellingen dienen gelijk te zijn aan de software(versies) die in de productieomgeving ingezet gaan worden. 2. De in de PoC gebruikte hardware inclusief de instellingen dienen gelijk te zijn aan de typen hardware die daadwerkelijk uitgerold gaat worden. 2 Eisen en Wensen leidend Test en acceptatie houdt in dat de geleverde infrastructuurcomponenten en diensten afzonderlijk en in hun onderlinge samenhang worden getoetst op het voldoen aan de Eisen en Wensen van de aanbesteding. De leverancierskeuze is gebaseerd op een onderbouwde verwachting dat de gekozen leverancier hieraan kan voldoen. Test en acceptatie zijn bedoeld om aan te tonen dat de leverancier daadwerkelijk voldoet aan de in de aanbesteding geformuleerde Eisen en Wensen. Het resultaat van het proces is een testrapportage waarin voor elke relevante Eis of Wens is aangegeven of en hoe aan de verwachtingen is voldaan. Het geheel moet een voldoende mate van voldoen aan te zien geven, zoals gedefinieerd onder Exit- en vrijgavecriteria. Dit wordt gebaseerd op feitelijke waarnemingen, deels door testen, maar waar mogelijk ook door reviews en expertbeoordelingen. 1 Onder voorbehoud van wijzigingen in de projectplanning. versie 1.0 pagina 3 van 7

4 3 Actieve rol leverancier Leverancier verbindt zich een constructief partner te zijn, recht te doen aan voortschrijdend inzicht en resultaatgericht samen te zullen werken bij onvoorziene omstandigheden. De houding en opstelling van (medewerkers van) leverancier tijdens de uitvoering van de PoC zullen meegewogen worden in het oordeel over het slagen van de test. Een essentieel element in de aanpak is dat de leverancier gezamenlijk met medewerkers van PRORAIL en, waar nodig, de huidige KWN leverancier aantoont dat de aangeboden producten conform de gestelde Eisen en Wensen functioneren in de context van de PRORAIL IT infrastructuur en de PRORAIL applicaties. PRORAIL voert de regie over de uit te voeren testen. De tests worden uitgevoerd door medewerkers van PRORAIL. De leverancier is on-site beschikbaar en schept de randvoorwaarden voor de uit te voeren testen (binnen zijn verantwoordelijkheidsgebied) en ondersteunt bij het opstellen van het testplan en het uitvoeren van de tests. 4 Testsoorten Het test- en acceptatieproces kent drie fasen, testsoorten genoemd. De drie fasen dienen allen afgerond te worden binnen de gestelde PoC termijn. 4.1 IT Intake Een statische test waarin vastgesteld wordt of de levering compleet en conform de aanbieding is: Leveringsomvang Inhoud Certificaten Unit-testrapporten van de leverancier Rolverdeling: Leverancier toont aan, PRORAIL verifieert. 4.2 Functionele Acceptatietest (FAT) Dit is het zwaartepunt van de testactiviteiten. De leverancier toont samen met PRORAIL aan dat: correct functioneren van alle PFSK producten en diensten; er correct afgedrukt kan worden van alle applicaties; alle ketencomponenten correct met elkaar communiceren; de Failover-functionaliteit correct functioneert; Aan de Eisen en Wensen van de aanbesteding wordt voldaan. Bovenstaande testen worden uitgevoerd op de Acceptatie omgeving en waar nodig ook op de Productieomgeving. Rolverdeling: PRORAIL stelt op basis van de aanbesteding FAT scenario s op en voert deze uit. De leverancier verifieert de testscenario s, schept de randvoorwaarden voor de testuitvoer en is on-site beschikbaar voor ondersteuning bij de testuitvoer en het oplossen van bevindingen. 4.3 Gebruikers Acceptatie Test (GAT) PRORAIL gebruikers (key users) en beheerders accepteren en bevestigen dat zij ermee kunnen werken. In deze test kunnen ook PRORAIL-implementatie en procesaspecten worden versie 1.0 pagina 4 van 7

5 getest die geen verantwoordelijkheid zijn van de leverancier en geen onderdeel zijn van de Eisen en Wensen van de aanbesteding. Rolverdeling: PRORAIL selecteert relevante testscenario s en voert deze uit. De leverancier schept de randvoorwaarden voor de testuitvoer en is on-site beschikbaar voor ondersteuning bij de testuitvoer en het oplossen van bevindingen. Onder deze drie testsoorten worden waar nodig specifieke testen uitgevoerd voor een bepaald (kwaliteits)aspect of doelgroep, zoals bijvoorbeeld: Kwaliteit/leesbaarheid van de afdrukken Daadwerkelijke enkel- en dubbelzijdige printsnelheid, ook bij PDF printing. 4.4 Activiteiten De leverancier: Levert 'gebruiksklaar' op; Schept de randvoorwaarden voor de testuitvoer en richt hiervoor een functioneel en technisch representatieve Acceptatietest-omgeving in; Levert technische support op locatie tijdens testuitvoering voor alle testsoorten; Ondersteunt bij het opstellen van het testplan en is fysiek aanwezig bij het uitvoeren van de tests; Herstelt bevindingen conform de in dit document genoemde oplostijden; Meet en analyseert eventuele performance bottlenecks met adequate tooling en lost deze op; Analyseert de geregistreerde bevindingen (dagelijks, tijdens testuitvoering) voor alle testsoorten. PRORAIL: Voert de regie over Test- en Acceptatie; Stelt de testspecificaties op voor de FAT en GAT; Voert mede de FAT en GAT uit; Registreert alle bevindingen in de daarvoor door PRORAIL ter beschikking gestelde tooling; Geeft akkoord/niet akkoord op de afzonderlijke onderdelen van de FAT, GAT en geeft vrijgave voor de volgende fasen. 4.5 Uitgangspunten voor de Planning PRORAIL zal een Projectplan voor de testperiode opstellen, met tijdschatting en teststrategie voor de uitvoeringsfase. In dit plan worden alle activiteiten uitgewerkt in een resourceclaim voor alle partijen. Nadat de leverancier is geselecteerd zal de planning in overleg met de gekozen leverancier verder worden uitgewerkt in een strokenplanning met precieze data en overdrachts- c.q. vrijgavemomenten. Ten aanzien van analyse en herstel van testbevindingen gelden de volgende principe-afspraken Bevinding Analysetijd (werkdagen) Hersteltijd (werkdagen) Urgent = showstopper 1 1 Hoog = ernstige bevinding 1 2 Gemiddeld = storende bevinding 2 5 versie 1.0 pagina 5 van 7

6 Laag = cosmetische bevinding 5 10 Een belangrijk aspect van de planning is flexibiliteit. In de praktijk zullen sommige onderdelen eerder dan andere getest kunnen worden. Dat betekent bijvoorbeeld dat onderdelen van de GAT al uitgevoerd zullen worden terwijl de FAT nog niet volledig is gecompleteerd. Uitgangspunt: zodra een component of aspect gereed is voor test wordt die test zo snel mogelijk uitgevoerd. 4.6 Exit- en Vrijgavecriteria Voor elke testsoort gelden de volgende exit criteria: Alle voor deze testsoort geplande testen zijn uitgevoerd: o Alle geselecteerde Eisen en Wensen zijn van een oordeel voorzien; o Alle geplande testscenario s zijn uitgevoerd. Eventueel resterende testen betreffen slechts laagrisico o Na de FAT: alle Eisen en Wensen gedekt, er zijn geen showstoppers of ernstige bevindingen zonder workaround. o Na de GAT: idem. Het aantal niet opgeloste bevindingen ligt onder de afgesproken Vrijgavecriteria; Alle niet opgeloste bevindingen zijn geregistreerd en staan onder actief beheer; Workarounds, noodoplossingen en (geaccepteerde) beperkingen zijn beschreven en gecommuniceerd; Testrapport opgeleverd, eventueel met wederzijds overeengekomen to be done paragrafen Een zekere mate van niet voldoen aan is acceptabel: niet elke bevinding is een showstopper. De mate van niet voldoen aan is vastgelegd in zogenaamde Exit- en vrijgavecriteria. Om te voorkomen dat een stuwmeer van bevindingen wordt meegenomen naar de volgende testfase gelden voor elke overgang IT -> FAT -> GAT de volgende criteria: 0 showstoppers Maximaal 2 ernstige bevindingen, mits workarounds beschikbaar Maximaal 5 storende bevindingen Maximaal 15 cosmetische bevindingen. Ook voor finale vrijgave / acceptatie en décharge voor de leverancier is een zekere mate van niet voldoen aan acceptabel. Hier gelden de volgende vrijgavecriteria voor vrijgave. Voor voorwaardelijke vrijgave geldt: 1. wel groen licht voor productie, maar er is nog significant restwerk en daarom nog geen décharge voor de GAT. 2. Leverancier en PRORAIL hebben een datum vastgesteld waarop de storende en cosmetische bevindingen opgelost. Onvoorwaardelijke Vrijgave Voorwaardelijke Vrijgave Showstoppers 0 0 Ernstige bevindingen 0 0 (zonder workaround) Storende bevindingen 3 5 Cosmetische bevindingen 5 20 versie 1.0 pagina 6 van 7

7 4.7 Templates & Tools De testen zullen worden gedocumenteerd in de vorm van testscenario's. De testuitvoer en de bevindingen zullen worden geregistreerd in een nog te selecteren testmanagementtool. 4.8 Bevindingen Alle partijen (projectmedewerkers, gebruikers, leveranciers) zullen van adequate autorisaties worden voorzien en registreren hun informatie en acties in de bevindingenbeheer tool. Twee keer per week zal een bevindingenoverleg plaatsvinden, zodat er weinig ruimte is voor misinterpretaties en onduidelijkheden. In het interne bevindingenoverleg wordt de classificatie van de bevindingen (urgent, hoog, gemiddeld, laag) vastgesteld op basis van de door de tester verschafte informatie. Richtlijnen voor het toekennen van de classificatie: Ernst classificatie Richtlijn / Handreiking voor classificatie Urgent Bedrijfsproces functioneert niet want een essentiële infrastructuurcomponent werkt niet en er is geen workaround beschikbaar. Blokkerend voor testvoortgang. Hoog Niet acceptabel in de operationele situatie, want ernstige hinder. Of: er is een risico op onvolledige / verminkte output. Niet blokkerend voor testvoortgang. Gemiddeld Idem als showstopper of ernstig, maar er is een workaround beschikbaar. Of, er is een storing maar het bedrijfsproces komt niet in gevaar. Laag Beperkte hinder voor gebruikers, geen risico op onvolledige of verminkte output. De testrapportages zullen voor wat betreft aantallen, ernst-classificatie en behandelstatus van bevindingen gebaseerd zijn op de in de bevindingenbeheertool opgenomen meldingen. 4.9 Deliverables Per testsoort wordt het volgende opgeleverd: Herhaalbare testcases Worden aangeleverd door beheerorganisaties. o Testscenario s o Testdata Ingerichte Test (FAT / GAT) omgeving Wordt opgeleverd door PRORAIL, KPN en Printdienstleverancier. o Software o Inrichting o Autorisaties o Beheerdocument Dossier testbevindingen Wordt opgesteld door PRORAIL. o Alle bevindingen in een bevindingenbeheer tool onder actief beheer Testrapporten Managementsamenvatting van de testresultaten o Verschillende aggregatieniveaus, naar gelang informatiebehoefte management o Tussentijds: wekelijks geactualiseerde Vrijgavekaart o Eindrapport FAT: met advies Vrijgave voor GAT o Eindrapport GAT: met advies Vrijgave voor Productie 4.10 Acceptatieprotocol en formulier Voor aftekening en acceptatie is een formulier beschikbaar. Dit formulier wordt na acceptatie als decharge document beschikbaar gesteld aan de leverancier. De formele decharge wordt verleend in een stuurgroep vergadering van alle stakeholders. Afwijkingen van de in 4.6 beschreven Exit- en Vrijgavecriteria dienen met de leverancier te worden overlegd en door de stuurgroep te worden geaccordeerd. versie 1.0 pagina 7 van 7