De kunst van het modern archiveren

Transcriptie

1 De kunst van het modern archiveren Lezing 2 : Moderne digitale storage Gastspreker : De heer Ties Beekhuis Van Abbemuseum Eindhoven 5 februari 2009 Data Space Nederland BV

2 Moderne Digitale Storage Ties Beekhuis Manager Consultancy

3 Agenda Section PROACT Archiveren Heading op about de agenda Wat new zijn subject de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A

4 De PROACT Groep Grootste, beursgenoteerde storage integrator van Europa Kennishuis met 15 jaar storage ervaring, 100M+ omzet Vertegenwoordigd in 8 landen, 18 kantoren Bekende A-merken onder 1 dak 320 medewerkers, waarvan 220 engineers Executive member SNIA Ruim 1700 klanten, loyaliteit 99,8%

5 Focus gebieden

6 Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A

7 Archiveren op de agenda Het digitale universum in 2007 was 45 gigabytes (GB) voor elke persoon op de wereld Met 281 miljoen GB (281 exabytes), was het digitale universum 10% meer dan verwacht In 2011 zal dit 1.8 zettabytes (1,800 exabytes) zijn Uw Digital Shadow is per dag meer dan u zelf aan digitale data creëert IDC 2007: The Diverse and Exploding Digital Universe: An Updated Forecast of Worldwide Information Growth Through 2011

8 Archiveren op de agenda Nationaal Archief (beleidsplan 07-10) reeds 2TB digitaal archief vanuit ministeries al meer dan 8x aangeboden overdracht nog niet plaatsgevonden vanwege ontbreken operationeel digitaal depot. Wet bewaarplicht telecommunicatie In Nederland verkeers- en locatiegegevens 18 mndn bewaren Op sommatie van Justitie data op heel korte termijn verstrekken Fiscale bewaarplicht 7 jaar 20 jaar bij rechtsvordering uit contract (ook digi communicatie)

9 Archiveren op de agenda Wet op de geneeskundige behandelingsovereenkomst 15 jaar bewaartermijn 30TB+ PACS archief geen uitzondering meer Archiefplicht overheidsorganisaties Onbepaalde tijd voor Nederlands cultureel erfgoed Hoe houd je de groei bij? Hoe migreer je TB s aan data? Hoe financier je oneindige kosten? Hoe voorkom je dataverlies?

10 Archief definitie PROACT s definitie voor archiveren Een combinatie van beleid, processen en een technisch platform voor het behouden, beveiligen en toegankelijk maken van geselecteerde informatie voor een vastgestelde tijd.

11 De (on)zin van ILM Er is een groot verschil tussen archiveren en migreren! Archiveren is een beleidsmatig besluit. Migratie is het verplaatsen van data tussen twee verschillende opslag type dit is een IT besluit.

12 Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A

13 Uitdagingen archief storage Schaalbaarheid capaciteit en performance Limieten en beheer bestand systemen Integriteit en authenticiteit Standaard gebaseerde interfaces Toekomstige migraties Ondersteunende diensten / compliancy

14 Bestand systemen kunnen het niet bijhouden Bestand systemen zijn 30 jaar geleden ontworpen Gericht op het opslaan van honderden bestanden op kleine disken Systemen van vandaag de dag nog steeds gebaseerd op ouderwets ontwerp Opslag vereisten zijn anders Opslag van miljoenen bestanden op honderden tot duizenden grote disken Bestand systemen kunnen niet meer opgerekt worden Instabiel met gelaagde complixiteit en virtualisatie Technische limieten Onderliggende bestand systeem moeten nog steeds beheerd, veiliggesteld, gemigreerd en onderhouden worden.

15 Archief medium Tape en optische disken: Niet ontworpen voor gegarandeerde lange termijn opslag Beleid op basis van backup, niet archivering Oude informatie vaak offline op tape traag niet zoekbaar Korte levensduur van tape formaten - migraties Disk (DAS/SAN/NAS): Niet ontworpen voor gegarandeerde lange termijn opslag Integriteit en onveranderbaarheid van data niet gewaarborgd Gebaseerd op 30 jaar oude bestand systemen Bestand systeem beheer, backup en technische limieten Migratie gelimiteerd door archivering applicatie server

16 Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A 18. februar 2009 page 24

17 Meest gebruikte oplossingen Pointer gebaseerd Ideaal voor mail en databases, minder voor bestanden Is voornamelijk migratie applicatie omzeilen Storage netwerk gebaseerd Geen pointers, fysiek verplaatsen Is voornamelijk migratie applicatie omzeilen Storage opslag gebaseerd Traditionele disk opslag - nog steeds uitdagingen Object gebaseerde opslag Archiveren naar behoefte

18 Archiveren naar behoefte Voornamelijk financiele constructies en geen weg terug Archiveren als dienst met beheer services: Volledig storage beheerd archief Niet verplicht gedeelde infrastructuur, te verplaatsen Locatie onafhankelijk Service niveau afspraken Open ontsluiting voor alle applicaties Juiste kennis, beheer en support organisatie Geen onbeschikbaarheid voor migraties, onderhoud of vernieuwing Geen levenscyclus risico s Vastgestelde achterdeur

19 Waarom wel archiveren naar disk? Het antwoord: Totale Kosten (TCO) $4X Paper/fiche Tape/Optical $3X $2X Object oriented disk $1X Bron: SNIA

20 Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A

21 ILM traditioneel complex 3-4 storage lagen Vermenigvuldiging van overhead Data duplicatie Apps Management Data dijken en pompen Vereist het verplaatsen van data tussen oplossingen Complex, arbeids intensief Hoge investeringen Fragiel en inflexibel Goed voor vendors, minder voor gebruikers days SAN NAS Tape Archive Tier data pumps

22 ILM innovatief simpel Dynamisch ~10% db SAN of NAS Gericht op servers met performance behoefte Statisch ~ 90% overige data CAS Massaal schaalbaar met hoge doorvoersnelheid Snel en goedkope primaire storage Stabiel en flexibel Minder beheer en onderhoud Standaard NAS ontsluiting Goed voor klanten, minder voor vendors Apps CAS 90% Fixed Content 10% Dynamic SAN or NAS

23 Wat is CAS? Content Addressable Storage object gebaseerde opslag Een bestand wordt vertegenwoordigd door de inhoud Een bestand adres refereert aan de inhoud, NIET de locatie CAS vs Regulier disk systeem: Geen bestand systeem Ongelimiteerde adres ruimte Data integriteit Een bestand adres refereert aan de inhoud Backup/Restore en beschikbaarheid ingebouwde functionaliteit Dit creeert een systeem dat. Geen bestand systeem, RAID of volumes heeft, alleen adressen Zonder onbeschikbaarheid onbeperkt kan groeien

24 Het gaat om de inhoud, niet de locatie Basis concept van CAS: eenvoud Stop er een bestand/object in Krijg een unieke sleutel terug Bewaar de sleutel in een document of db Gebruik steutel om object op te vragen Aanvullende functionaliteiten: Defineer bewaartermijn Defineer aantal objecten Metadata bij elk object Universele HTTP, bestand of applicatie integratie ontsluiting

25 CAS Cluster Simplicity is the ultimate sophistication Start met een klein cluster Voeg capaciteit naar behoefte toe Van 1TB tot meer dan 1PB Zonder applicatie of gebruiker verstoring capaciteit en snelheid uitbreiden Voeg sub-cluster(s) toe voor beschikbaarheid met replicatie Het geheel doet zich als één digitaal online archief voor

26 Metadata gedreven beschikbaarheid Object in 2 replicas Identifier out Gebruiker (= applicatie) kan het aantal replica s bepalen voor elk object Replica UUIDs voor een object zijn identiek geen corruptie Tijdens levenscyclus van data kan door beleid het aantal replica s veranderen Alles is metadata gestuurd

27 Automatische optimalisatie en migratie Toevoegen nieuwe hardware Verwijder oude hardware

28 Object gebaseerde opslag met CAS: Zeer schaalbaar Gegarandeerde data integriteit Zelf configurerend en beheerend Zelf herstellend en helend Enkel type opslag voor levensduur Open standaard ontsluiting Voldoen aan wet- en regelgeving Zonder onbeschikbaarheid wijzigen Minimale beheerlast

29 Agenda PROACT Archiveren op de agenda Wat zijn de uitdagingen Welke oplossingen Object gebaseerd archief Samenvatting / Q&A

30 Samenvatting Archiveren is niet gelijk aan migreren Archiveren niet alleen vanuit wet- en regelgeving Inzichtelijk maken lange termijn problematiek Impact en werking van oplossingen verschillen Object gebaseerde opslag voor beheerloos archief Maar ook voor alle file gebaseerde opslag Object gebaseerde opslag alleen is nog geen archief

31 Why Proact Focused company Independent Processes in place Industry knowledge Experience References Top certifications

32 PROACT

33 Established & disruptive spelers

34 Our industry focus and customers at a glance Lithuanian Parliament Heinen en Hopman

35 De kunst van het modern archiveren Van Abbemuseum Eindhoven 5 februari 2009 Data Space Nederland BV