VIAA. Informatie Sessie Storage en Infrastructuur

Transcriptie

1 VIAA Informatie Sessie Storage en Infrastructuur

2 AGENDA q Introductie q Wie is wie q VIAA historiek en link met iminds q Over VIAA q The big picture q Scope archiefsysteem q Architectuur systeem q Overzicht betrokken bestekken q Timing en Planning bestekken q Informatie sessie storage en infrastructuur q Overzicht dossier q Antwoorden op de vragen q Closing remarks Slide 2

3 WIE IS WIE? Slide 3

4 IMINDS EN VIAA iminds Software research instelling sinds Projecten voor meerdere sectoren (media, e-health,...) Enkele grote projecten in de archiefwereld: Archipel, Bom-Vlaanderen, Vlaanderen in Beeld VIAA Ontstaan n.a.v. de gedetecteerde nood in eerdere projecten Tot 2014: opgericht binnen de schoot van iminds. Slide 4

5 VIAA - SERVICES Digitaliseren uur aan materiaal in kaart gebracht Eerste focus: audiovisueel materiaal Prioretisering ifv waarde en risico op verlies Archiveren Preservatie van het gedigitaliseerde materiaal Managen van de content (metadatering, reporting) Toekomst: Intake bestaande archieven Intake born-digital materiaal Interactie Hergebruik mogelijk maken. Doelgroepen: onderwijs, research, grote publiek Slide 5

6 ARCHIEF SYSTEEM Slide 6

7 ARCHIEF SYSTEEM Scope Intake van de content (gedigitaliseerd, born-digital,...) Main focus: audiovisueel. Longer term (Q3 2014): documents, foto s,... Management van de content Annotatering, collectiebeheer, reporting,... Preservatie van de content Lange termijn bewaring (think: forever) Voorkeur voor open standaarden, exit strategy, generieke, makkelijk te vervangen componenten. (cfr. leidende principes in bestek). Slide 7

8 ARCHIEF SYSTEEM Stakeholders VIAA voorziet: services voor klanten VIAA krijgt: licentie op de content voor interactie projecten Content providers (35+ op dit moment) Broadcasters Erfgoed instellingen (musea, bibliotheken,...) In getallen uur te digitaliseren. Max instroom: 3 PB/jaar Na 10 jaar: 30 PB Slide 8

9 ARCHIEF SYSTEEM Slide 9

10 BESTEKKEN Housing Data center capaciteit (m2, koeling, power) Storage en infrastructuur Aankoop storage componenten Aankoop server hardware & LAN/SAN fabric Installatie on site (in rack plaatsen & turnkey) Software en integratie Aankoop media asset management systeem (evt HSM) Integratie luik: filesystemen, hypervisors, OS, software Configuratie software component, workflows, etc. Slide 10

11 23.11: start oplevering : eerste files op systeem TIMING BESTEKKEN Jun. Jul. Aug. Sept. Okt. Nov. Dec. Jan : Q&A sessies Enuncia'ef 02.09: offertes ontvangen offertes Eval : beslissing freeze 03.08: bestekken publiek 09.10: gunning Levering + install hardware Integra(e + config Enuncia'ef 23.09: communica'e Kandidaturen offertes Eval. Q&A sessie 17.10: offertes ontvangen 6.11: beslissing freeze 23.11

12 INFORMATIE SESSIE Overview bestek infra & storage Q&A sessie (+/- 15 vragen) Vraag + antwoorden Slides komen ook op e-procurement + extra documenten (bijgewerkte templates) Extra kleine vragen of verduidelijkingen: vraag gerust Worden toegevoegd in slides en via eprocurement verspreid in de loop van vandaag Slide 12

13 INFRASTRUCTUUR OVERZICHT Slide 13

14 INFRASTRUCTUUR COMPONENTEN PRIMAIRE*SITE SERVERS SECUNDAIRE*SITE OPSLAG*GENERIEK*IT OPSLAG*GENERIEK*IT OPSLAG*BUFFER/WERKRUIMTE OPSLAG*BUFFER/WERKRUIMTE ARCHIEF*LOW* COST ARCHIEF*LOW* LATENCY ARCHIEF ARCHIEF INGEST TEST* REPLICATIE SERVERS ARCHIEF*LOW* COST ARCHIEF*LOW* LATENCY ARCHIEF ARCHIEF BACKUP TEST* TEST* TEST* FABRIC FABRIC Slide 14

15 INFRASTRUCTUUR OVERZICHT DB1server MAM LAN$FABRIC TRANSPORT1 SERVER STORAGE MGMT $SAN$FABRIC ARCHEF1LOW1 LATENCY1(0.51PB) BUFFER WERKRUIMTE OPSLAG1 GENERIEK1IT1 ARCHIEF1LOW1 COST1(151PB) ARCHIEF TEST1 TEST1 ARCHIEF INGEST Slide 15

16 ALGEMENE VEREISTEN Software Defined Infrastructure : maximale flexibiliteit voor de leverancier van de software modulair, flexibel sterk gestandardiseerde componenten schaalbare oplossing, vermijden van vendor lock-in. Geïntegreerde oplossing onderlinge compatibiliteit bedrijfszekerheid optimale perfomantie Enterprise grade hardware, software en diensten redundant, betrouwbaar, schaalbaar, onderhoudsvriendelijk beheer (vanop afstand) en mogelijkheid tot monitoring vaardige technici, gedegen project aanpak, kennisdeling, teamwork Totale kost Slide 16

17 ARCHIEFOPSLAG Twee onafhankelijke systemen Low Cost Archief Low Latency Archief Kompact en ecologisch Lange termijn vermijden van lock in exit strategie strategie voor media rotatie Bescherming tegen dataverlies voortdurende controle op integriteit van media automatische remediëring rapportering over media integriteit mature technologie Slide 17

18 ARCHIEFOPSLAG: LOW COST Indien gebaseerd op tape voorkeur voor LTO technologie monitoring en rapportering van de kwaliteit van de media en de drives is belangrijk Partioneerbaar Archief Test omgeving Ingest Buffer Indien gebaseerd op disk: zie low latency opslag Slide 18

19 ARCHIEFOPSLAG: LOW LATENCY Betrouwbaar Geschikt als finale archiefbestemming (zonder backup) Is geen buffer of cache bovenop het low cost archief. Geautomatiseerd Beheer Media Migratie Herstel van redundantie na media-fouten Schaalbaar en Flexibel Geschikt voor grote en kleine objecten Horizontaal schaalbaar met minimale herconfiguratie Dynamisch toevoegen en herconfigureren van policies Low latency en streaming (naar een beperkt aantal gebruikers) Slide 19

20 ALGEMENE OPSLAG On line buffer Centrale werkruimte LAN free houden van bulk data transport Vermijden dat grote bestanden verschillende keren worden gekopieerd. FC attached Gebruikt door de transport servers Performantie Storage management laag niet in scope Software defined storage HSM? Parallel filesysteem? Generieke IT storage Brede ondersteuning voor OS en virtualisatie Slide 20

21 SERVERS EN FABRIC Servers Transport Server: connectiviteit, bandbreedte Generieke IT server: virtualisatie Fabric In lijn met vereisten voor performantie LAN (10Gb en 1Gb) en SAN Wel doordacht ontwerp is belangrijk integratie Fabric Servers Opslag. Slide 21

22 VRAGEN & ANTWOORDEN Slide 22

23 Bijlage 1. Op p19 staat: "Indien de low-cost opslagoplossing gebruikt maakt van disk, dan dient ze te voldoen aan alle eisen van het low latency opslagsysteem". Betekent dit dat een disk gebaseerde low cost cost oplossing geen hogere latency en/of lagere snelheid mag hebben dan de low latency storage? Een disk gebaseerde low cost opslag moet aan de vereisten voor een low latency opslag voldoen voor wat betreft durability, eenvoud van beheer, schaalbaarheid etc. Maar langere toegangstijden zijn wel aanvaardbaar voor de low cost opslag, ook als deze disk gebaseerd is. Slide 23

24 Met de oplossingen die we gepresenteerd hebben aan iminds, vroegen we ons af in welke mate we op alle loten moeten antwoorden. De verschillende offerteaanvragen staan los van elkaar en worden los van elkaar geëvalueerd. Het staat elke leverancier vrij van op één of meerdere offerteaanvragen te antwoorden. Slide 24

25 Bijlage Als software vereiste van de low latency opslag wordt het beheer van de capaciteit vereist. Is dit inclusief quota mangement? De mogelijkheid tot het instellen van Quota is geen geen stricte vereiste voor de low latency opslag. Slide 25

26 Bijlage De buffer storage oplossing dient via FC aanspreekbaar te zijn. Echter wordt verder in deze paragraaf vermeld dat er een filesysteem bovenop geplaatst zal worden. Is een oplossing die een native filesysteem aanbiedt met hoge schaalbaarheid en performantie ook aanvaardbaar? Om maximale flexibiliteit te bieden aan de leverancier van de opdracht 'MAM systeem en intergratiediensten' wordt alleen FC attached block storage toegelaten. De "storage management laag" is onderdeel van die laatste opdracht. Of er al dan niet een filesysteem zal bovenop geplaatst worden zal bepaald worden door de leverancier die opdracht. Slide 26

27 Bijlage 3 gedetailleerde prijsopgave : - Onderscheid eenmalige kosten () en Aankoop Systemen? - List price (4 years) vs. listprice 1 year onder aankoop systemen - Is een data mover gelijk aan een transport server? - prijs voor generieke IT servers niet opgenomen in de meetstaat? - prijs voor Netwerk niet werd opgenomen in de meetstaat? - DRP support: in welk prijs onderdeel moet de aanbieder de 2 mandagen support voor de DRP testen plaatsen? Zie update prijstabel: Ipv Aankoop Systemen staat nu Onderhoud Systemen De term Data Mover is vervangen door Transport Server Lijn toegevoegd voor DRP support Slide 27

28 bijlage 3 gedetailleerde prijsopgave Bedoelt men met maximale configuratie de theoretisch maximaal configuratie van de aangeboden oplossing? Of bedoelt men met maximale configuratie eigenlijk de titels minimaal uitbreidbaar tot? Met 'Maximale configuratie' in bijlage 3 wordt bedoeld "minimaal uitbreidbaar tot", zie de bijgewerkte prijstabel Slide 28

29 Bijlage1. In de architectuurtekening op pag 14 blijkt dat de SAN verbinding niet gekoppeld is aan het low latency archief alsook de online buffer werkruimte. Toch spreekt men in de specificatie over een oplossing die aanspreekbaar dient te zijn via FC protocol. Kan u dit toelichten? De online buffer werkruimte moet inderdaad op de FC-SAN gekoppeld worden. Die koppeling ontbreekt op de tekening. Het low latency archief wordt in principe via het LAN benaderd. Slide 29

30 - Bijlage1. p. 23 Daarbij moet men ervan uitgaan dat de online buffer zal aangesproken worden via een schaalbaar parallel filesysteem of een andere technologie... Wil dit zeggen dat het parallel filesysteem niet in deze opdracht omvat is? - Bijlage 1. p. 23 Online Buffer Opslag: De buffer opslag moet het FC protocol ondersteunen, maakt het leveren van het parallel file-systeem (SW licenties,... ) deel uit van deze opdracht? - Bijlage 1. p. 23 Online Buffer Opslag: Is er reeds een keuze gemaakt voor parallel file-systeem? Maakt dit deel uit van een andere opdracht? Het eventuele parallel filesysteem is geen onderdeel van deze opdracht. De leverancier van de opdracht 'Aankoop MAM systeem en integratiediensten' zal een parallel filesysteem leveren indien nodig. Slide 30

31 Bijlage 1. Software voor de bewaking van de goede werking, in het bijzonder proactieve integriteitsbewaking van tape en disk.": Moet de leverancier van dit lastenboek integriteitbewaking doen van tapes. Dit gebeurt vaak ook al door de MAM applicatie. Moet de leverancier een extra systeem voorzien met het risico dat de tapes dubbel zoveel gelezen zullen worden? In scope is een systeem voor proactive kwaliteitscontrole en rapportering van tapes en drives vroegtijdige detectie, identificatie van media en drives met een potentieel verlies aan betrouwbaarheid. rapportering over statistieken in relatie met media en drive integriteit. eventuele ondersteuning voor een controle op integriteit op een hoger niveau Slide 31

32 - Bijlage 1. p 10: Wat wordt bedoelt met storage management laag? Is dit de HSM oplossing? - Bijlage 1. p10: Is er reeds een keuze gemaakt voor deze storage management laag? Maakt dit deel uit van een andere opdracht? - Bijlage 1, pag.4, 1.4: Er is verwarring mogelijk inzake het al dan niet aanbieden van HSM binnen de scope van het bestek Storage en Infrastructuur (cfr., Architectuur, schema) De Storage managment laag maakt deel uit van de opdracht 'MAM systeem en intergratiediensten'. Deze kan bijvoorbeeld bestaan uit een HSM systeem eventueel in kombinatie met een parallel filesysteem. Wat de storage management laag betreft is er nog geen keuze gemaakt. Slide 32

33 Overzichtsdocument p. 16, Definitieve oplevering en acceptatie, wordt de maximale tijdsduur van de acceptatietesten en de bijhorende goedkeuring door iminds niet vastgelegd. Pas achteraf kan de definitieve oplevering op verzoek van de leverancier worden afgekondigd. Dit brengt rechtsonzekerheid voor de inschrijver. Kan iminds/viaa de procedure toelichten? VIAA is gebonden aan een stricte planning en heeft er dus alle baat bij om de implementatie zo snel mogelijk te laten verlopen. De acceptatietesten zullen in principe afgerond worden binnen de 14 dagen na oplevering, tenzij er tijdens de testen ernstige gebreken worden vastgesteld. Slide 33

34 Bijlage 1. p Voor hoeveel mensen dient opleiding voorzien te worden? De opleiding is voor kleine groep: grootte-orde 2 a 3 personen. Slide 34

35 CLOSING REMARKS Indienen van de offertes MOET digitaal gebeuren via het e-procurement systeem! Planning: zie offerte aanvraag Presentatie van de offertes Nog steeds op de data zoals vermeld in de offertevraag iminds/viaa stuurt een slot toe daags na indiening Thanks! Slide 35