www.pwc.com Digitaal Archief Vlaanderen September 2013 Generieke blauwdruk
Agenda Inleiding generieke blauwdruk Blauwdruk 1. Dienstenmodel 2. Data architectuur 3. Applicatie architectuur 4. Technologische architectuur Slide 2
Inleiding generieke blauwdruk Landschap voor archivering Regelgeving Decreet van 9 juli 2010 betreffende de bestuurlijk-administratieve archiefwerking (Archiefdecreet van 9 juli 2010); Het Archiefdecreet bevat vijf strategische doelstellingen: Verhogen van de kwaliteit van het archiefbeheer; Beter ontsluiten van archiefdocumenten voor de recht- en informatiezoekende burger; Openbaar maken van de meeste archiefdocumenten na 30 jaar; Stimuleren van efficiënte waardering en selectie van archiefdocumenten; Toelaten van wetenschappelijk onderzoek. Normen en standaarden OAIS (ISO 14721) Audit and Certification of Trustworthy Digital Repositories (ISO 16363) ISAD(G) (General International Standard Archival Description) ISAAR (International Standard Archival Authority Record) edepot Slide 3
Inleiding generieke blauwdruk Landschap voor archivering Kadering in het grotere geheel van actoren en diensten: Slide 4
Inleiding generieke blauwdruk Insteek voor de generieke blauwdruk Generiek model op hoog niveau als basis voor de analyse OAIS als een geheel van diensten Open Architectuur Standaarden Duurzaamheid Schaalbaarheid Moduleerbaarheid Virtuele integratiemogelijkheden Betrouwbaarheid Authenticiteit Integriteit Risico beheersing Blauwdruk omvat het gehele archiveringsproces maar heeft modulariteit van diensten als objectief. Afhankelijk van de klantenbehoefte moeten de gewenste module(s) kunnen afgenomen worden. Slide 5
Inleiding generieke blauwdruk Informatiemodel Hoofdproces voor archivering maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 6
Inleiding generieke blauwdruk Samenstelling van de generieke blauwdruk Business architectuur: diensten die beschikbaar zijn voor de producers en de consumers Gegevensarchitectuur: beheren van metadata, mogelijkheden om archiefstukken op te vragen op basis van metadata, gegevens uitwisseling tussen diensten en actoren Applicatie architectuur: bepalen van de samenhang van de software, niveau van automatisatie binnen het archief Technologische architectuur: technische eigenschappen van de oplossing zoals lager-niveau implementatievereisten en ondersteuning voor infrastructuur. Slide 7
1. Dienstenmodel Laag 1: dienstenmodel (business architectuur) Slide 8
1. Dienstenmodel Diensten model Preservation Planning Instap Producer interfaces Web Portal Application Opvolging Systeem beheer BCP DRP Risk man Proces en policy beheer Workflow Access Search Ingest Archive Dissemination Requests Storage Audit Temporary storage Catalog Consumer interfaces Web Portal Application Slide 9
1. Dienstenmodel Instap & opvolging Voorafgaand aan operationeel proces voor archivering Wat? Afspraken maken en begeleiding van verschillende types organisaties Type 1: bewustwording voorzien voor besturen die nog niet met archivering bezig zijn Type 2: instap faciliteren voor nieuwe klanten en begeleiden bij verdere evolutie Type 3: instap faciliteren en verder bouwen op expertise Samenwerking met alle gebruikers gericht op standaardisatie, integratie en optimalisatie Slide 10
1. Dienstenmodel Instap & opvolging Duale benadering: begeleiding bieden / expertise samenbrengen Concreet afspraken maken en opvolging omtrent verschillende thema s Pre-Ingest afspraken (hoe een archiefwaardig maken van data) zoals dubbels verwijderen, naamgeving en structuur bepalen, Afbakening dynamisch, semi-statisch en statisch archief en de consequenties naar digitale archief oplossingen Beheren van de levenscyclus (van selectie naar ontsluiting en vernietiging) Afspraken mbt toetsing van digitale tov papieren documenten bij hybride dossiervorming Metadata Formaten Aanvaarde formaten Strategie: mee archiveren of transformatie bij oproepen Preservation planning Thesaurus: gemeenschappelijke woordenschat Kwaliteitscontrole Gebruikte tools en technologie via trend/technology watch Security maatregelen (toegangsrechten, privacy regulering) Opleidingen Slide 11
1. Dienstenmodel Proces Opladen data Dienst: Interfaces voor producer maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 12
1. Dienstenmodel Interfaces voor producer Verschillende opties voor interactie met gebruikers* Web interface FTP upload / download Applicaties Formulier om metadata gegevens toe te voegen Opladen van document met metadata gegevens op een locatie Gebruikmaken van een Webservice of API Manueel laden van data Databestanden in Ritme bepaald door de batchvorm applicatie en infrastructuur Generieke oplossing voor producers die geen archiveringsfunctionaliteiten hebben Oplossing voor producers met reeds bestaande applicaties Kan gebruikt worden als initiële import Oplossing voor producers met reeds bestaande applicaties, voor extraheren van digitale objecten *Zie ook applicatie architectuur Slide 13
1. Dienstenmodel Proces - Vervolmaken SIP Dienst: Ingest maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 14
1. Dienstenmodel Ingest Wat? SIP wordt ontvangen Tijdelijk opslaan SIP en controle van de kwaliteit Vervolledigen van de PDI (Preservation Description Information) met adequate informatie om de inhoud op lange termijn op te slaan Slide 15
1. Dienstenmodel Proces Vervolmaken AIP Dienst: Archive maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 16
1. Dienstenmodel Archive Wat? Rendition: verhogen van de duur van de leesbaarheid door transformatie van documenten naar een beperkt set van formaten Opslaan op lange termijn van de AIP door toevoegen van systeeminformatie Bevestiging naar aanvrager en communicatie van referentie Opbouw inventaris: - Stockeren meta data voor opzoekingen - Selectie overeengekomen tijdens de instapdienst Slide 17
1. Dienstenmodel Archive Algemene afspraken gemaakt bij instap en opvolging Eigen inventaris of instappen in centrale inventaris? Specifieke vereisten mbt: Toevoegen Aanpassen Verwijderen Aanvraag tot archivering Op basis van een SIP de AIP aanpassen. Context van de aanpassing wordt meegegeven Communicatie mbt verwijderen na verloop bewaartermijn naar eigenaar OF aanvraag tot verwijdering via webservice Context van de verwijdering bewaren Communicatie met rijksarchief Slide 18
1. Dienstenmodel Proces Opzoeken van data Dienst: Search Consumer Interface Verwerking Slide 19
1. Dienstenmodel Search Wat? Indexatie op metadata Query mogelijkheden op de geselecteerde metadata en indien mogelijk fulltext Resultaten weergaven naar browser of via Web service (voor eigen ontsluitingsplatform of integratie met bestaande applicaties) Zoekresultaten onderhevig aan de beveiliging (cfr. afspraken instapdienst) Slide 20
1. Dienstenmodel Federated search Oplossing voor meerdere systemen: Slide 21
1. Dienstenmodel Proces Weergeven van data Dienst: Dissemination Consumer Interface Verwerking Slide 22
1. Dienstenmodel Dissemination Wat? Opmaken van de DIP op basis van AIP Data weergeven op overeengekomen manier Ontsluiting naar burgers toe? Slide 23
1. Dienstenmodel Proces Presenteren van data Dienst: Interfaces voor consumer Consumer Interface Verwerking Slide 24
1. Dienstenmodel Interfaces voor consumer Verschillende opties voor interactie met gebruikers* Web interface FTP upload / download Applicaties Formulier om documenten uit inventaris op te zoeken Downloaden van opgezochte bestanden Gebruikmaken van een Webservice of API Manueel downloaden van Databestanden in Ritme bepaald door de data batchvorm applicatie en de infrastructuur Generieke oplossing voor consumenten Oplossing voor consumers met reeds bestaande applicaties Kan gebruikt worden voor export van grote datasets Oplossing voor consumers met reeds bestaande applicaties *Zie ook applicatie architectuur Slide 25
1. Dienstenmodel Additioneel: Beheer van het depot Instap Producer interfaces Web Portal Application Opvolging Systeem beheer BCP DRP Risk man Proces en policy beheer Beveiliging Workflow Ingest Volgen van privacy wetgeving Toegangsrechten Access Archive Garanderen van continuïteit en risico beheersing Documenteren van procedures Search Dissemination Temp Consumer interfaces Web Portal Application Slide 26
2. Data architectuur Laag 2: data architectuur Slide 27
2. Data architectuur Overzicht AIP Packaging Information Representation Information Object PDI Descriptive Information Original Data Object Representation Information Reference Provenance Context Migration(s) Information Object Data Object Representation Information Fixity Access Rights Slide 28
2. Data architectuur Datamodel Behoefte aan twee types A. Overeenkomen over de inhoud AIP B. Enkel een archiveringsfunctie AIP SIP SIP=AIP producer Slide 29
2. Data architectuur Type A: ondersteuning bij de SIP creatie SIP AIP Packaging Information Descriptive Information Original Migration(s) Representation Information Object Data Object Representation Information Information Object Data Object Representation Information PDI Reference Provenance Context Fixity Access Rights Slide 30
2. Data architectuur Type B: de SIP wordt afgewerkt aangeleverd SIP AIP Packaging Information Descriptive Information Original Migration(s) Representation Information Object Data Object Representation Information Information Object Data Object Representation Information PDI Reference Provenance Context Fixity Access Rights Slide 31
2. Data architectuur Voorbeeld invulling standaarden voor het datamodel METS METS Information Object PDI TBD* Original.docx, RAW, PREMIS, CEDARS, MIX, EAD EAD, OSLO EAD, OSLO Migration(s) Information Object XML, PDF/A, TIFF, PREMIS, CEDARS, MIX, PREMIS PREMIS TBD: To Be Defined afhankelijk van de database die wordt gekozen Slide 32
3. Applicatie architectuur Laag 3: applicatie architectuur Slide 33
3. Applicatie architectuur Applicatie landschap Client side Server side Server side Browser Portal Rendition Application Web Service of API Archive sftp client sftp service Search Access Temporary storage Slide 34
3. Applicatie architectuur A. Browser Als producer Formulier voor metadata Mogelijk om het bestand op te laden via formulier Als consumer: Ophalen DIP Zoekfuncties Zie Search en Dessimination Slide 35
3. Applicatie architectuur B. Web service implementatie Eén web service voor zowel browser als externe applicaties Browser Portaal Web service Applicatie Slide 36
3. Applicatie architectuur B. Web service implementatie WSDL bestand voor de beschrijving van de functionaliteiten Getters & setters om toe te voegen, aangepast aan het OAIS model en de overeengekomen regels Het opstellen van een DIP aan de hand van een consumer kan enkel als het e-depot controle heeft over de SIP. In het andere geval wordt het volledig object geleverd. Aanduiden welke metadata gebruikt wordt voor de search (instapdienst) - sftp: leveren van een extra bestand (XML) - Web Service: voorzien in de functie - Portaal : aanduiden via web formulier AIP Search Metadata Slide 37
3. Applicatie architectuur C. Zoekomgeving AIP referentie Indien leverbaar Search Metadata Metadata Fulltext Archivering Search Slide 38
3. Applicatie architectuur D. Archivering Wat? Applicatie ter ondersteuning van Ingest: Beheerssysteem voor bestuurlijke informatie met bijbehorende workflow Archiving: Beheerssysteem voor opslag management Perifere diensten: - Kwaliteitsbeheer - Rapportering - Slide 39
4. Technologische architectuur Laag 4: technologische architectuur Slide 40
4. Technologische architectuur Van diensten tot infrastructuur Producer Workflow AIP RKMS Reporting Portal SIP Rendition Meta data Search DMZ LAN Temporary storage Consumer Reporting Slide 41
2013 PricewaterhouseCoopers. All rights reserved. PricewaterhouseCoopers refers to the network of member firms of PricewaterhouseCoopers International Limited, each of which is a separate and independent legal entity.
Appendix Slide 43
Appendix Lijst van acroniemen AIP DIP ISO OAIS PDI SIP XML Archival Information Package Dissemination Information Package International Organization for Standardization Open Archival Information System Preservation Description Information Submission Information Package Extensible Markup Language Slide 44