Documentatie over de geïntegreerde E-depotoplossing van Data Matters & DEVENTit

Transcriptie

1 Documentatie over de geïntegreerde E-depotoplossing van Data Matters & DEVENTit

2 Inhoudsopgave Inleiding 3 Generieke onderwerpen -1 4 Generieke onderwerpen 2 5 Opname van archiefobjecten 6 Opslag van archiefobjecten 7 Metadata beheer 9 Beheer 10 Preservatie planning 12 Toegang 13 Vernietigen 15 2

3 Inleiding In dit document worden de vragen met betrekking tot de marktverkenning E-depots voor de Zeeuwse Overheden besproken. De E-depot oplossing die in dit document wordt beschreven is de unieke geïntegreerde oplossing van DEVENTit en Data Matters. Een E-depot oplossing voor het beheren, bewaren en ontsluiten van uiteenlopende digitale archiefstukken. De oplossing voldoet nauwgezet aan het OAIS-referentiemodel en kan desgewenst worden aangepast op basis van specifieke wensen en eisen van klanten zowel in het overheidsdomein als het bedrijfsleven. Concreet betekent dit dat er een directe koppeling beschikbaar is met Atlantis van DEVENTit naar Hitachi Content Platform van Data Matters. Klaar voor operationeel gebruik. Data Matters is gespecialiseerd in het ontwikkelen van E-depots voor de permanente, veilige opslag en bewaring van onder meer digitale dossiers, documenten en mediabestanden. Het E-depot kan door middel van het beveiligingsprotocol voor websites HTTP(s) met iedere dossiervormende applicatie en archiefbeheerapplicatie op veilige wijze worden verbonden. E-depot definitie De E-depot definitie die in dit document wordt gehanteerd is als volgt: Een technische voorziening, bestaande uit hardware en software, voor de duurzame en betrouwbare bewaring en beschikbaarstelling van digitale informatie, zowel digitaal geboren als gedigitaliseerd. Data Matters kent ook de ruimere definitie van het ED3 model en ondersteunt activiteiten van archiefdiensten die daaraan willen voldoen. 3

4 Generieke onderwerpen - 1 Onderstaande gevraagde functionaliteiten zijn van toepassing op alle onderdelen van de e-depot voorzieningen. 1. Voor welke onderdelen / functionaliteiten vindt logging plaats? Op alle activiteiten die op archiefobjecten plaats vinden. 2. Op welke wijze is vorm en inhoud gegeven aan informatiebeveiliging? In Atlantis zijn de volgende maatregelen van kracht ten behoeve van informatiebeveiliging: - https protocol (voor de webverbinding) - Authenticatie (HASH-key en bitstream) en autorisatie (rechtenstructuur) - Encryptie van wachtwoorden - Objectreplicatie (dit is iets anders dan een backup) Het Hitachi Content Platform (HCP) van Data Matters voldoet aan ISO (for trustworthy data repositories/object stores). Het data center is gecertificeerd volgens de ISO norm voor Information technology Security techniques Information security management systems. 3. Op welke wijze is vorm en inhoud gegeven aan openbaarheid en vertrouwelijkheid vanuit de Wbp en Wob? In Atlantis is openbaarheid en vertrouwelijkheid te configureren. Via de metadata wordt dit meegegeven aan het E-depot. Ditzelfde geldt voor HCP. Er is een grote hoeveelheid metadata (in totaal metadata-velden) toe te kennen die de openbaarheid en vertrouwelijkheid van de informatie kunnen beschrijven. Natuurlijk wordt dankzij de E-depot implementatie vanuit Atlantis de metadata die hierin is toegekend meegenomen als object en dus ook als zodanig bewaard en beheerd. 4. Welke continuïteitsmaatregelen zijn getroffen rondom de e-depot voorzieningen (organisatie, mensen, processen en techniek)? Er is een onderhoudscontract voor continuïteit van de programmatuur: bug fixing, helpdesk en nieuwe versies. Hiernaast is er een SLA hosting contract voor 24/7 beschikbaarheid. Wat betreft organisatie, mensen en processen zie SLA. Het E-depot is volledig gespiegeld d.m.v. dubbele uitvoering van de archiefnodes op een andere fysieke locatie naar de keuze van de klant. 5. Welke methodieken/controles/checksums worden toegepast om aan te tonen dat archiefobjecten en metadata authentiek (onveranderd) zijn? Voordat het object verstuurd wordt naar het e-depot wordt de HASH waarde bepaald en toegevoegd aan de metadata. Deze metadata kan vervolgens in een E-depot gecontroleerd worden. In HCP wordt de HASH key/waarde continu gecheckt. Mocht deze veranderd zijn, dan wordt op bitstream-niveau gecontroleerd. 4

5 Generieke onderwerpen 2 Onderstaande gevraagde functionaliteiten zijn van toepassing op alle onderdelen van de e-depot voorzieningen. 6. Wordt binnen het E-depot gebruik gemaakt van encryptie? Deze optie is beschikbaar. Het is aan de gebruiker of deze gebruikt wordt. 7. Op welke wijze is voorzien in continuïteit voor de zorgdrager bij continuïteitsproblemen bij de leverancier? Er zijn mogelijkheden voor een escrow overeenkomst of periodieke beschikbaarstelling van de broncode van de Atlantis programmatuur. Hiernaast is de data continu beschikbaar via FTP. Dankzij het gebruik van o.a. open standaarden en standaarden als REST, S3, ISO & ISO is HCP dusdanig ingericht dat migratie naar een andere voorziening mogelijk is. Een migratie t.b.v. van een exit-procedure is ten alle tijden mogelijk op deze manier. Natuurlijk spreekt voor zich dat er met stabiele organisaties gewerkt wordt. 8. Welke voorwaarden zijn verbonden aan een beëindiging van de overeenkomst tussen zorgdrager en leverancier? Voor de beëindiging van de overeenkomst met DEVENTit is er een opzegtermijn voor afloop van contract. Hierbij mogen er geen openstaande rekeningen zijn. Een contract per jaar wordt stilzwijgend verlengd. Voor de beëindiging van de overeenkomst met Data Matters worden de opzegtermijn en exit clausule in overleg met de klant/gebruiker in de SLA opgenomen. 9. Welke audits vinden er plaats rondom de E-depot voorzieningen en organisatie? Audits vinden plaats op basis van ED3. Periodiek vinden er audits plaats van de digitale archiefbescheiden. Het gaat om audits, waarin minimaal strategie, beleid, procedures, processen en technische omgeving beoordeeld moeten worden op onder andere de ontvankelijkheid voor technologische ontwikkelingen en de invoering daarvan en het voldoen aan veranderende eisen. 10. Welke rapportages/inzagemogelijkheden zijn er voor de zorgdrager beschikbaar rondom het e-depot (onder meer met betrekking tot opname, opslag, beheer, data management, preservatie, toegang en vernietiging)? Via de rapportage functies in Atlantis is er de mogelijkheid om rapportages te maken over de documenten in Atlantis. Dit betreft ook de documenten die een relatie hebben met het E-depot. Alle gebeurtenissen in HCP worden geregistreerd en kunnen in standaard rapportages of maatwerk rapportages beschikbaar gesteld worden. 5

6 Opname van archiefobjecten 1. Welke (digitaal duurzame) bestandsformaten kunnen worden opgenomen? Alle bestandsformaten kunnen worden opgenomen in HCP. Ongeacht zij digitaal duurzaam zijn of niet. 2. Op welke wijze(n) moeten/kunnen archiefobjecten en metadata worden aangeleverd door zorgdragers? Zie demonstratie E-depot. 3. Welke metadatasets kunnen worden gebruikt? Zowel in Atlantis als in HCP zijn de metadatasets vrij te configureren. Hieraan worden geen eisen gesteld. Ieder metadata-model is mogelijk. 4. Op welke wijze vindt mapping plaats tussen aangeleverde en toegestane metadata? In Atlantis wordt door middel van configuratie in de mapping gemaakt. Er is bijvoorbeeld de mogelijkheid om aan te geven dat veld x van de aangeleverde metadata op veld y van de toegestane metadata hoort. Wanneer men geen gebruik maakt van Atlantis maar toch digitale informatie en metadata wilt opslaan en beheren in HCP kan gebruik gemaakt worden van de Ingest module. Ook nu vindt vervolgens door middel van configuratie mapping van de metadata plaats. 5. Op welke wijze wordt gecontroleerd of aangeleverde archiefobjecten en metadata op de juiste wijze zijn opgenomen? Door controle bij de Ingest procedure aangeleverde objecten (SIP) worden in eerste instantie gekopieerd. De opgenomen objecten worden vervolgens vergeleken met de oorspronkelijke objecten. Bij akkoord worden deze uit het bronsysteem verwijderd. 6

7 Opslag van archiefobjecten 1. Op welke wijze worden metadata en archiefobjecten opgeslagen? Gezamenlijk of afzonderlijk? Eenmalig of redundant? Metadata en archiefobjecten worden opgeslagen in HCP volgens het OAIS referentiemodel. Dus als een AIP. Zij vormen samen een (informatie)object. Vervolgens kunnen de beschrijvende en administratieve metadata nog eens naar het archiefbeheersysteem worden gekopieerd. Wanneer er geen gebruik wordt gemaakt van een ABS worden de beschrijvende en administratieve metadata eenmalig opgeslagen. 2. Welke opslagformaten worden ondersteund (audio, video, mail, databases, websites, enzovoorts)? HCP is geschikt voor het opslaan van vrijwel alle digitale informatie in welk formaat dan ook, alsmede ook databases, websites, applicaties, etc. 3. Op welke wijze wordt informatie opgeslagen die in meerdere zaken / dossiers voorkomt? Deze informatie wordt conform de inrichting in het ABS opgeslagen. Met behulp van metadata kunnen dwarsverbanden gelegd worden. 4. Kan worden voorzien in behoud van functionaliteit van bronsystemen en formaten? Bijvoorbeeld MS Excel? Ja, dit is geen probleem. Door middel van een toegesneden conversie- en preserveringstool is dit mogelijk. 5. Is er een oplossing voor duurzame bewaring van GIS-objecten (inclusief functionaliteit)? Ja. Zoals vraag 2 en 4 al beantwoorden is het mogelijk om elk bestandsformaat op te slaan in HCP, zonder dat functionaliteit van bronsystemen en formaten wordt aangetast. HCP maakt hierbij gebruik van alle beschikbare tools voor duurzame bewaring. Conform de gebruikelijke preserveringstrategie worden te migreren objecten uit het E-depot gehaald om vervolgens gemigreerd te worden naar een duurzaam formaat. Om vervolgens weer in het E-depot te worden opgenomen. Dit is een onderdeel van een preserveringplan. Desgewenst blijft het oorspronkelijke en authentieke bestand behouden en zal blijven bestaan naast de (diverse) gemigreerde duurzame bestanden. Dit wordt vooraf besproken met de zorgdrager. 6. Welke (database) maatregelen zijn getroffen om performance te waarborgen bij toename van het archief? Atlantis is toegespitst op het werken met grote datasets, is schaalbaar en past moderne indexering technieken toe zoals ElasticSearch. HCP is een schaalbare E-depot voorziening die ondersteund wordt door de nieuwste (proven) technologie. 7

8 7. Waar en bij wie vindt opslag plaats? Onder welke wetgeving? De keuze is aan de klant. Die kan ervoor kiezen HCP binnen de eigen infrastructuur te installeren. Het technisch beheer kan in eigen beheer worden gedaan of door Data Matters. Daarnaast is het ook mogelijk extern op te slaan. Hierbij behoort deels in de Cloud (hybride) of helemaal in de Cloud tot de oplossingen. In de Cloud betekent dat HCP in een beveiligd data center van KPN-XS4All in Amsterdam wordt geïnstalleerd. Hierdoor gelden Nederlandse en Europese wetgevingen. 8. Vindt opslag plaats op meerdere fysieke locaties? Zo ja, waar? Zoals aangegeven in vraag 7 ligt de keuze bij de klant. Er zijn 4 opties: - Opslag vind primair plaats in een eigen data center. - Opslag vind primair plaats in een extern data center van KPN-XS4All. - Opslag vind dubbel plaats, intern in eigen data center en in een extern data center van KPN-XS4All. - Opslag vind dubbel plaats, in twee externe data centra van KPN-XS4All. Dus ook 2 verschillende locaties. 8

9 Metadata beheer 1. Welke processen zijn er voor metadata management binnen het E-depot en in uw organisatie? In Atlantis zijn de volgende processen aanwezig voor metadata management: - Automatische synchronisatie van metadata tussen HCP en Atlantis. - Ingest - Mutaties - Verwijderen - Migratie - Vernietiging De processen zoals hierboven beschreven worden ook toegepast in HCP wanneer geen gebruik gemaakt wordt van een ABS. 2. Welke zijn geautomatiseerd en welke handmatig? De processen worden geheel of gedeeltelijk geautomatiseerd ondersteund. Binnen HCP wordt een aantal processen zoals de Ingest (opname), controle, kopiëren naar het ABS en logging van de event history automatisch uitgevoerd. Daarnaast vindt er ook nog een aantal handmatige processen plaats. Namelijk het toevoegen van beschrijvende metadata, gebruiksrechten en eventplanning. 3. Wat moet/kan de zorgdrager uitvoeren? Processen worden door de zorgdrager uitgevoerd en door het systeem ondersteund. Processen die onder de noemer van het samenstellen van een SIP vallen kunnen door de zorgdrager worden uitgevoerd. Denk hierbij vooral aan het aanleveren van een duurzaam bestandsformaat en het correct en compleet aanleveren van de bijbehorende metadata van de digitale informatie. 4. Welke mogelijkheden zijn er voor aanpassing van het metadatamodel? In Atlantis kan met behulp van dynamische velden het metadata-model worden uitgebreid in de beheeromgeving. De configuratie van het metadata-model voor de E-depot omgeving gebeurd via mapping. Daarnaast kan in HCP een grote hoeveelheid metadata (1.500 metadatavelden) worden toegekend na het invoeren van een SIP. 9

10 Beheer 1. Welke beheerprocessen worden door de leverancier uitgevoerd? Onderhoud, support, back-up, restore, disaster recovery, pro-actief monitoring, changemanagement, standaard en maatrapportages. 2. Hoe vindt functioneel, technisch en applicatie beheer plaats? Functioneel beheer gezamenlijk met de zorgdrager in het kader van de onderhoudsovereenkomst. Technisch beheer in het kader van de hosting SLA. Applicatie beheer gezamenlijk met de zorgdrager in het kader van de onderhoudsovereenkomst. 3. Welke methodieken worden gevolgd ITIL/ASL/BISL/COBIT? ITIL voor het beheer van de hosting omgeving. SCRUM voor het ontwikkelen van de software. PRINCE2 voor project management. 4. Welke beheertaken kan/moet de zorgdrager uitvoeren? Overige beheertaken als Ingest, mutaties, verwijderen, migratie, vernietiging, applicatie beheer en functioneel beheer kan de zorgdrager uitvoeren. Wat betreft HCP kan zowel het functioneel- als technisch beheer uit handen worden genomen door Data Matters. Dit is natuurlijk een vrije keuze van de klant. Zij kunnen het functioneel beheer ook zelf organiseren. 5. Worden afspraken vastgelegd in SLA s / DVO s? Ja 6. Welke afspraken zijn er over monitoring, rapportages en te leveren prestaties? Pro-actieve monitoring van de hardware en systeem software. Rapportages op het gebied van uptime, gebruik van geheugen, processor capaciteit en schijfopslag. Inzicht in lopende en afgehandelde meldingen via het klantenportaal(jira). Uptime: 99,987% Escalatieschema voor meldingen naar prioriteit. 7. Hebben zorgdragers invloed op verdere ontwikkelingen van het e-depot? Ja, zowel DEVENTit als Data Matters staan altijd open voor ervaringen en tips ten aanzien van de verbetering van de E-depot oplossing. 8. Staat de leverancier open voor co creatie? Zijn daar voorbeelden van? Ja, diverse functies en modulen in Atlantis zijn en worden in samenwerking met afnemers ontwikkeld. Ditzelfde geldt ook voor Data Matters. De implementatie en optimalisatie van het gebruik van HCP zijn een continue proces. Verschillende functionaliteiten worden proefondervindelijk verbeterd. Een voorbeeld hiervan is onze samenwerking met Stads Archief Amsterdam. 9. Is er een gebruikersvereniging? Ja, deze wordt georganiseerd door de afnemers zelf. Daarnaast levert DEVENTit een forum waarop 10

11 afnemers problemen, ervaringen en informatie kunnen uitwisselen en daarbij ondersteund worden door onze support. 11

12 Preservatie planning 1. Welke ervaringen heeft de leverancier op het gebied van preservatie planning? Data Matters is reeds 10 jaar actief op het gebied van digitale archivering en investeert in de ontwikkeling van diensten m.b.t. het E-depot. Daarbij kijkt Data Matters o.a. naar de archivering van een nieuwe generatie digitale informatie zoals interactieve media. Voorbeelden zijn: digitale kunst, websites, interactieve documentaires, games en verrijkte publicaties. Dankzij de participatie in verschillende projecten m.b.t. het inrichten van duurzame archivering hebben wij voldoende kennis opgedaan over het opstellen van een preservatieplanning. 2. Welke (organisatorische en technische) maatregelen zijn opgenomen in het E-depot om duurzame toegang tot archiefobjecten en metadata te garanderen? Naast het omarmen van standaarden als het OAIS referentiemodel en het ED3 werken wij nauw samen met leveranciers van ABS. Op basis hiervan zijn zowel het functioneel als technisch beheer georganiseerd. 3. Wordt er geregeld/real time gecontroleerd of archiefobjecten en metadata nog authentiek, integer en toegankelijk zijn? Ja. 4. Wat wordt er van de zorgdrager verwacht op het gebied van preservatie planning? Welke kennis en kunde is noodzakelijk? Data Matters kan dankzij haar 10 jaar ervaring op het gebied van digitale archivering een preservatie planning toegespitst op het informatiebeleidsplan van de organisatie maken. Hiervoor is dus een informatiebeleidsplan nodig en een persoon die inzicht heeft in duurzame archivering en alles wat daarbij komt kijken. 12

13 Toegang 1. Ondersteunt het E-depot toegang voor verschillende doelgroepen? Elke module in Atlantis die gebruik maakt van digitale objecten kan gebruik maken van het E-depot. Mogelijkheden voor Ingest en dergelijke worden via rechten toegewezen. De system administrator kan verschillende rechten en autorisatie toewijzen aan diverse personen. Zo kan de openbaarheid van digitale informatie worden gewaarborgd. Met behulp van HCP Anywhere kan vervolgens m.b.v. diverse middelen op elk moment van de dag toegang worden verleend tot HCP ook op mobile devices. 2. Kan er onderscheid gemaakt worden voor toegang op basis van de Archiefwet en de Wet openbaarheid bestuur? Via configuratie en autorisatie is dit mogelijk. De toegang tot en presentatie van data is te configureren voor verschillende situaties. Via autorisatie zijn verschillende situaties te configureren. 3. Wie verzorgt het toegangsbeheer? Wat wordt van de zorgdrager verwacht? Via Atlantis kan de zorgdrager zelf bepalen wie waar rechten op heeft en ook wie het toegangsbeheer kan inrichten. Ditzelfde kan ook direct in HCP worden gedaan. De zorgdrager stelt de regels op en de leverancier zorgt er voor dat deze op correcte wijze worden geïmplementeerd. 4. Kan toegang worden verleend aan ketenpartners? Ja, via segmenten kunnen rechten worden toegekend aan ketenpartners aan groepen van objecten. In HCP kan ook toegang worden verleend aan ketenpartners. 5. Welke kanalen/middelen (kunnen) worden ingezet voor toegang? Via Atlantis beheer of publieksomgeving, via de Atlantis-API of gestandaardiseerde protocollen als OAI-PMH, SRU, etc. Daarnaast kan ook direct toegang tot HCP worden verleend via mobiele devices zoals tablet en smartphone dankzij HCP Anywhere. 6. Welke zoekmogelijkheden zijn er beschikbaar? Full-tekst, relationeel, fuzzy, booleaans, systematisch, maskers en operatoren (*? + -) HCP maakt gebruik van de zoekfunctionaliteiten van Metadata Query Engine. Dit maakt het mogelijk om op elk metadata veld te zoeken. 7. Welke mogelijkheden zijn er om te zoeken op context / samenhang (bijvoorbeeld zaakdossiers)? Zoekmodel is volledig in te richten naar zoekvelden, objectsoorten en relaties daar tussen. HCP kan dankzij de metadata als het ware communiceren met het ABS of RMA. De zoekfunctionaliteit van die applicaties kan volledig worden benut. 13

14 8. Welke mogelijkheden zijn er voor de gebruiker om te controleren of de aangeboden informatie volledig en intact is? De gebruiker kan de volledigheid controleren aan de hand van de metadata in HCP en Atlantis. Door het instellen van verplichte velden via de schermbouwer en datadictionary kan de zorgdrager incomplete data voorkomen. De integriteit van de opgeslagen objecten wordt voortdurend gecontroleerd en bewaakt d.m.v. checksums. 9. Wat wordt aan de gebruikers getoond (kopie/origineel)? Niet beeldmateriaal: altijd origineel of thumbnail. Beeldmateriaal: origineel, afgeleide vanuit een instelbaar presentatieprofiel of thumbnail. Ook nu is de keuze aan de zorgdrager. Naast het origineel kan een kopie worden bewaard. Deze kunnen vervolgens beide worden geraadpleegd. Verstandig is het echter, om een DIP te maken voor snelle raadpleging en het origineel duurzaam te bewaren. 14

15 Vernietigen 1. Op welke wijze is voorzien dat de zorgdrager de regie houdt over vernietiging? In Atlantis kan de zorgdrager het vernietigingsjaar aangeven en markeren van bestanddelen voor vernietiging vatbaar(vvv). Vervolgens vernietigen door verliezen per jaar samen te stellen. Vanuit HCP kan een voorstel worden gedaan op basis van selectie van metadata. De zorgdrager beslist te allen tijde over de daadwerkelijke vernietiging. 2. Wat gebeurt er technisch bij vernietigen? Is weg ook echt weg? Metadata en digitale bestanden blijven beschikbaar tot het daadwerkelijk verwijderd wordt door de zorgdrager. Via full audit kunnen verwijderde objecten nog steeds teruggehaald worden. Wanneer een digitaal object wordt vernietigd in HCP wordt dit geschred met andere woorden versnipperd. Ook de replica wordt vernietigd. Dit in overeenstemming met de archiefwet. 3. Op welke wijze is te zien dat informatie vernietigd is? Dan is er een verlies aanwezig waar deze informatie aan gekoppeld is. 4. Hoe wordt omgegaan met te vernietigen informatie die in meerdere zaken / dossiers voorkomt? Binnen Atlantis geen gevolgen omdat vernietigde informatie niet daadwerkelijk verwijderd wordt. Binnen HCP kan door middel van referentiële integriteit worden voorkomen dat objecten worden vernietigd waarnaar vanuit andere zaken verwezen wordt. Wanneer objecten in verschillende dossiers/zaken voorkomen, is er in feite sprake van verschillende archiefbrestanddelen en geldt het vernietigingsregime voor de bepaalde zaak. Het kan dus voorkomen dat een document in de ene zaak wordt vernietigd, maar het (inhoudelijk identieke) document in een andere zaak niet. Dat is volledig in overeenstemming met de regels voor archiefbeheer. 15