Digitale opslag Door Jeffrey van der Hoeven

Transcriptie

1 Digitale opslag Door Jeffrey van der Hoeven

2

3 Cumulatieve prognoses van Beeld&Geluid, KB, Nationaal Archief en KNAW tezamen.

4 Wat is 1 Petabyte aan data? 1800m 1,5 miljoen CD-ROM s 828m 443m 324m Eiffeltoren Empire State Building Burj Khalifa Dubai

5 NCDD netwerk voor duurzame toegankelijkheid CCDD AVA_net Gemeentes Gemeentearchieve n ACDD

6 Iedereen heeft opslag nodig

7 Biedt de cloud de oplossing?

8 Een meer alledaags beeld

9 Huidige situatie Zoveel organisaties, zoveel storage oplossingen Grote verschillen in gekozen oplossing (in house, outsourced, partnerships, cloud storage) Verschillende kwaliteitseisen Juridische gevolgen vaak onbekend (waar is mijn data? Van wie?) Focus ligt op korte termijn toegang Daardoor: Inefficiënt gebruik van middelen (geld, opslag, mensen) Groter risico op verlies van data, over lange termijn Juridische consequenties

10 Doelstelling werkgroep Storage The WG Storage will deliver a report with concrete recommendations to the NCDD Board on how storage of digital objects in the Dutch public domain can be organized as effectively and efficiently as possible while meeting quality requirements to be defined by the WG (based on the experience of WG members). The recommendations will be based on currently running pilot projects in the various domains, as well as scenarios based on future demand.

11 Leden van de werkgroep Storage Jeffrey van der Hoeven Rutger Kramer Ruud Yap Sandra Linssen Ernst van Velzen Astrid Verheusen Walter Swagemakers Anne Gant Henk Alkemade Benjamin Dekkers Gaby Wijers Wiel Seuskens Tine Sierink Koninklijke Bibliotheek DANS Nationaal Archief Nationaal Archief BenG Koninklijke Bibliotheek EYE Filminstituut EYE Filminstituut RCE RCE NIMK NIMK KNAW Cultuur/erfgoed Media Overheid/archieven Wetenschap

12 In scope Nationale focus Voorzieningen voor lange termijn opslag Toepasbaar voor digitale collecties in alle vier de publieke domeinen (wetenschap, overheid, cultuur, media) Voor collecties varierend in omvang en soort Voor een periode van 10 jaar

13 Buiten scope Elke organisatie behoudt haar eigen verantwoordelijkheid Geen diensten voor toegang Geen diensten voor duurzaamheid Geen concurrentie met bestaande (commerciële) infrastructuren

14 Plan van aanpak Inventariseer huidige oplossingen Maak een schatting van de verwachte groei Bepaal kostenbepalende factoren (TCO) Stel kwaliteitseisen op (legal regime, flexibility, risks in scope, hierarchical storage management, security, etc.) Verken verschillende oplossingen: Shared backup & recovery facilities; Private storage cloud; Shared service centre; Monitor storage pilots bij deelnemers Geef aanbevelingen en visie (periode van 10 jaar)

15 Eerste inzichten opslag Differentiatie in opslag (tiers) Goud Zilver Staal Brons Zeer snel Snel Duurzaam Traag Databases Websites Archief Back up

16 Eerste inzichten kosten Opslag Brons (back up) Staal (duurzaam) Zilver (snel) Goud (zeer snel) Kosten factor* 1 x 1,3 x 2,7 x 7,0 x * Kostenfactoren gebaseerd op KB ervaring.

17 Eerste inzichten in the cloud Cloud storage services Voorbeeld Business Process as a service Software as a service Platform as a service Infrastructure as a service Duurzaam archiveren (incl collectiebeheer) Data validatie, controle Managed storage cloud Backup, vloerruimte, netwerk

18 Oplossingsrichtingen Scenario A: Shared Conditioned Space Samenwerking van 2 of meer organisaties waarbij bestaande faciliteiten (storage systems, floor space, power, communication lines) worden gedeeld voor backup & recovery. Scenario B: Private Storage Cloud Op verzoek en in geval van overcapaciteit kunnen opslag en rekenkracht gedeeld. Dit is incidenteel. Samenbrengen van alle overcapaciteit en dit automatisch beschikbaar stellen middels individuele overeenkomsten direct tussen elkaar. Scenario C: Shared Service Centre Management, diensten en onderhoud voor opslag onderbrengen in een aparte organisatie: the Shared Service Centre (SSC). De opslag wordt door de deelnemende organisaties ter beschikking gesteld.

19 Een stap verder Storage broker Brugfunctie tussen opslagaanbieder en afnemer. Door partijen bij elkaar te brengen kan een gezamenlijke private storage cloud opgezet worden die vervolgens vanuit 1 loket kan worden aangeboden. Deze vorm ligt tussen scenario B en C in. Dit vraagt: service management (portfolio diensten, administratie, SLA s) private cloud met universele interface Kwaliteitsbeleid Duurzaamheidsbeleid Juridische afspraken

20 Nog een stap verder Dienstenpakket naast simpelweg opslag te bieden kan een heel dienstenpakket opgezet worden. Van beperkt tot uitgebreid. Te denken valt aan: Bit level preservation parkeerruimte voor de data Data validatie enkele basiscontroles op de data verwerkingsproces automatische metadata controle, bestandsformaatconversies e.d.) Beschikbaarstelling van data (hosting) Preservation as a Service Preservation Planning & Action (bijv. batch migratie, emulatie service)

21 Voer voor discussie! Zijn er bestaande initiatieven/oplossingen voor gezamenlijke opslag? Welk soort diensten zijn gewenst? Hoe ziet de toegang tot mijn data eruit? Kwaliteitsbeleid: laagdrempelig of streng? Duurzaamheidsbeleid: certificering? Juridische beperkingen: mag ik als organisatie mijn data wel elders onderbrengen? Wie is eigenaar van de data?

22 Discussie met werkgroepleden! Jeffrey van der Hoeven Rutger Kramer Ruud Yap Sandra Linssen Ernst van Velzen Astrid Verheusen Walter Swagemakers Anne Gant Henk Alkemade Benjamin Dekkers Gaby Wijers Wiel Seuskens Tine Sierink KB DANS NA NA BenG KB EYE Filminstituut EYE Filminstituut RCE RCE NIMK NIMK KNAW Cultuur/erfgoed Media Overheid/archieven Wetenschap