Digitaal Archief Vlaanderen

Transcriptie

1 Digitaal Archief Vlaanderen 6 augustus 2013 Klankbordgroep 2 Generieke blauwdruk

2 Agenda Doelstelling van deze klankbordgroep Inleiding generieke blauwdruk Blauwdruk 1. Dienstenmodel 2. Data architectuur 3. Applicatie architectuur 4. Technologische architectuur Slide 2

3 Doelstelling van deze klankbordgroep Doel van deze klankbordgroep is het evalueren van de generieke blauwdruk en aftasten van de behoeften 1 ste deel Voorstelling generieke blauwdruk Focus op Betrokken partijen Dienstenarchitectuur Wie doet wat? (archiefbeheerder vs. archiefvormer) Data architectuur Evaluatie van de voorgestelde blauwdruk en behoefteanalyse Aanpak Oefeningen met behulp van vooraf gedefinieerde vragen Discussie in kleine gemengde groepjes (variërende expertise per groep) 2 de deel Slide 3

4 Doelstelling van deze klankbordgroep Behoeften worden duidelijk wanneer we peilen naar de AS IS situatie en TO BE verwachtingen AS IS situatie Wat is bestuurlijke informatie? Hoe gebeurt archivering vandaag? Op welk moment wordt gearchiveerd? (dynamisch vs. (semi-)statisch) Welke kosten zijn vandaag verbonden aan archivering? TO BE verwachting Welke diensten zijn nuttig / ontbreken in de generieke blauwdruk? Liggen de verantwoordelijkheden op de juiste plaatsen? (archiefbeheerder vs. archiefvormer) Wat is voor u een minimale vereiste voor u instapt in het geheel? Behoefteanalyse Behoeftes in het landschap Producent Consument Mede manager Toegevoegde waarde van elk van de services in de generieke blauwdruk Bereidheid van besturen om services betalend af te nemen Minimale vereisten voor welslagen van het project Haalbaarheid van generieke blauwdruk in termen van complexiteit, processen, politieke en organisatorische impact Slide 4

5 Doelstelling van deze klankbordgroep De input van de behoefteanalyse vormt samen met de generieke blauwdruk de basis voor het stappenplan Mobilisatie Generieke blauwdruk Behoefteanalyse Stappenplan Hoe verloopt de workflow van archivering en welke zijn de generieke elementen? 1 2 Welke noden inzake interne en externe ontsluiting zijn er? Welke behoeften en functionaliteiten zijn nuttig / ontbreken in de generieke blauwdruk? 3 Welke archiefbestanden kunnen in beheer worden gegeven bij het VIAA +? Welke diensten kunnen worden voorzien bij de partners? Hoe past het edepot in een groter strategisch geheel? Welke andere stappen zijn belangrijk om dit project te doen slagen? Slide 5

6 Inleiding generieke blauwdruk Landschap voor archivering Regelgeving Decreet van 9 juli 2010 betreffende de bestuurlijk-administratieve archiefwerking (Archiefdecreet van 9 juli 2010); Het Archiefdecreet bevat vijf strategische doelstellingen: Verhogen van de kwaliteit van het archiefbeheer; Beter ontsluiten van archiefdocumenten voor de recht- en informatiezoekende burger; Openbaar maken van de meeste archiefdocumenten na 30 jaar; Stimuleren van efficiënte waardering en selectie van archiefdocumenten; Toelaten van wetenschappelijk onderzoek. Normen en standaarden OAIS (ISO 14721) Audit and Certification of Trustworthy Digital Repositories (ISO 16363) ISAD(G) (General International Standard Archival Description) ISAAR (International Standard Archival Authority Record) edepot Slide 6

7 Inleiding generieke blauwdruk Landschap voor archivering Kadering in het grotere geheel van actoren en diensten: Slide 7

8 Inleiding generieke blauwdruk Insteek voor de generieke blauwdruk OAIS als een geheel van diensten Open Architectuur Standaarden Duurzaamheid Schaalbaarheid Virtuele integratiemogelijkheden Betrouwbaarheid Authenticiteit Integriteit Risico beheersing Slide 8

9 Inleiding generieke blauwdruk Informatiemodel Hoofdproces voor archivering maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 9

10 Inleiding generieke blauwdruk Samenstelling van de generieke blauwdruk Business architectuur: diensten die beschikbaar zijn voor de producers en de consumers Gegevensarchitectuur: beheren van metadata, mogelijkheden om archiefstukken op te vragen op basis van metadata, gegevens uitwisseling tussen diensten en actoren Applicatie architectuur: bepalen van de samenhang van de software, niveau van automatisatie binnen het archief Technologische architectuur: technische eigenschappen van de oplossing zoals lager-niveau implementatievereisten en ondersteuning voor infrastructuur. Slide 10

11 1. Dienstenmodel Laag 1: dienstenmodel (business architectuur) Slide 11

12 1. Dienstenmodel Diensten model Instap Producer interfaces Preservation Planning Web Portal Application Opvolging Systeem beheer BCP DRP Risk man Proces en policy beheer Workflow Access Search Ingest Archive Dissemination Requests Storage Audit Temporary storage Catalog Consumer interfaces Web Portal Application Slide 12

13 1. Dienstenmodel Instap & opvolging Voorafgaand aan operationeel proces voor archivering Wat? Afspraken maken en begeleiding van verschillende types organisaties Type 1: bewustwording voorzien voor besturen die nog niet met archivering bezig zijn Type 2: instap faciliteren voor nieuwe klanten en begeleiden bij verdere evolutie Type 3: instap faciliteren en verder bouwen op expertise Samenwerking met alle gebruikers gericht op standaardisatie, integratie en optimalisatie Slide 13

14 1. Dienstenmodel Instap & opvolging Duale benadering: begeleiding bieden / expertise samenbrengen Concreet afspraken maken en opvolging omtrent verschillende thema s Pre-Ingest afspraken (hoe een archiefwaardig maken van data) zoals dubbels verwijderen, naamgeving en structuur bepalen, Afbakening dynamisch, semi-statisch en statisch archief en de consequenties naar digitale archief oplossingen Beheren van de levenscyclus (van selectie naar ontsluiting en vernietiging) Metadata Formaten Aanvaarde formaten Strategie: mee archiveren of transformatie bij oproepen Preservation planning Thesaurus: gemeenschappelijke vocabulaire Kwaliteitscontrole Gebruikte tools en technologie via trend/technology watch Security maatregelen (toegangsrechten, privacy regulering) Opleidingen Slide 14

15 1. Dienstenmodel Proces Opladen data Dienst: Interfaces voor producer maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 15

16 1. Dienstenmodel Interfaces voor producer Verschillende opties voor interactie met gebruikers* Web interface FTP upload / download Applicaties Formulier om metadata gegevens toe te voegen Opladen van document met metadata gegevens op een locatie Gebruikmaken van een Webservice of API Manueel laden van data Databestanden in Ritme bepaald door de batchvorm applicatie en infrastructuur Generieke oplossing voor producers die geen archiveringsfunctionaliteiten hebben Oplossing voor producers met reeds bestaande applicaties Kan gebruikt worden als initiële import Impact voor behoefte analyse: Oplossing voor producers met reeds bestaande applicaties *Zie ook applicatie architectuur Welke bestuurlijke informatie komt in aanmerking voor digitale archivering? Slide 16

17 1. Dienstenmodel Proces - Vervolmaken SIP Dienst: Ingest maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 17

18 1. Dienstenmodel Ingest Wat? SIP wordt ontvangen Tijdelijk opslaan SIP en controle van de kwaliteit Vervolledigen van de PDI (Preservation Description Information) met adequate informatie om de inhoud op lange termijn op te slaan Impact voor behoefteanalyse: 2 opties: Samenvoegen van het object met de PDI tot een SIP Direct SIP doorsturen indien PDI reeds aangemaakt is door producer Met consequenties obv overeenkomsten gemaakt tijdens de instapdienst Zie data architectuur Slide 18

19 1. Dienstenmodel Proces Vervolmaken AIP Dienst: Archive maak SIP maak AIP Valide ok Archivering Archivering Verwerking Preservation description Information Not ok Stuur mail naar de aanvrager Einde Producers Prodcuers Interface Ontvang aanvraag Maak aanvraag Content information Validatie ingang Ontvang archiveringsbevestiging Einde Slide 19

20 1. Dienstenmodel Archive Wat? Rendition: verhogen van de duur van de leesbaarheid door transformatie van documenten naar een beperkt set van formaten Opslaan op lange termijn van de AIP door toevoegen van systeeminformatie Bevestiging naar aanvrager en communicatie van referentie Opbouw catalogus: - Stockeren meta data voor opzoekingen - Selectie overeengekomen tijdens de instapdienst Slide 20

21 1. Dienstenmodel Archive Impact voor behoefteanalyse: Algemene afspraken gemaakt bij instap en opvolging Eigen catalogus of instappen in centrale catalogus? Specifieke vereisten mbt: Toevoegen Aanpassen Verwijderen Aanvraag tot archivering Op basis van een SIP de AIP aanpassen. Context van de aanpassing wordt meegegeven Communicatie mbt verwijderen na verloop bewaartermijn naar eigenaar OF aanvraag tot verwijdering via webservice Context van de verwijdering bewaren Communicatie met rijksarchief Slide 21

22 1. Dienstenmodel Proces Opzoeken van data Dienst: Search Verwerking query request Rapporteren resulaten Opvragen AIP Genereren DIP Leveren DIP Ontvang query request Weergave resultaten Ontvang aanvraag Digitale leeszaal Zoek sessie: Zoeken op metadata of referentie Maak aanvraag Ingang Ontvangen DIP Lezen digitaal document Order agreement Slide 22

23 1. Dienstenmodel Search Wat? Indexatie op metadata Query mogelijkheden op de geselecteerde metadata en indien mogelijk fulltext Resultaten weergaven naar browser of via Web service (voor eigen ontsluitingsplatform of integratie met bestaande applicaties) Zoekresultaten onderhevig aan de beveiliging (cfr. afspraken instapdienst) Impact voor behoefteanalyse: Afspraken rond bij instap en opvolging Enkel eigen gegevens opzoeken of inclusief andere zorgdragers? Geïntegreerd virtueel archief (ultieme doel: ontsluiting van alle juridisch toegankelijke archiefinformatie op maat van de burger)? Slide 23

24 1. Dienstenmodel Federated search Impact voor behoefteanalyse: Oplossing voor meerdere systemen: Slide 24

25 1. Dienstenmodel Proces Weergeven van data Dienst: Dissemination Verwerking query request Rapporteren resulaten Opvragen AIP Genereren DIP Leveren DIP Ontvang query request Weergave resultaten Ontvang aanvraag Digitale leeszaal Zoek sessie: Zoeken op metadata of referentie Maak aanvraag Ingang Ontvangen DIP Lezen digitaal document Order agreement Slide 25

26 1. Dienstenmodel Dissemination Wat? Opmaken van de DIP op basis van AIP Data weergeven op overeengekomen manier Impact voor behoefteanalyse: Welke meta data toon ik? Hoe toon ik het digitaal object? Aan wie toon ik wat? Ontsluiting naar burgers toe? Slide 26

27 1. Dienstenmodel Proces Presenteren van data Dienst: Interfaces voor consumer Verwerking query request Rapporteren resulaten Opvragen AIP Genereren DIP Leveren DIP Ontvang query request Weergave resultaten Ontvang aanvraag Digitale leeszaal Zoek sessie: Zoeken op metadata of referentie Maak aanvraag Ingang Ontvangen DIP Lezen digitaal document Order agreement Slide 27

28 1. Dienstenmodel Interfaces voor consumer Verschillende opties voor interactie met gebruikers* Web interface FTP upload / download Applicaties Formulier om documenten uit catalogus op te zoeken Downloaden van opgezochte bestanden Gebruikmaken van een Webservice of API Manueel downloaden van Databestanden in Ritme bepaald door de data batchvorm applicatie en de infrastructuur Generieke oplossing voor consumenten Impact voor behoefte analyse: Oplossing voor consumers met reeds bestaande applicaties Kan gebruikt worden voor export van grote datasets Oplossing voor consumers met reeds bestaande applicaties Integratie met actuele applicaties met mogelijkheid tot ontsluiting burger? Aanbieden van digitale leeszaal? *Zie ook applicatie architectuur Slide 28

29 1. Dienstenmodel Additioneel: Beheer van het depot Instap Producer interfaces Web Portal Application Opvolging Systeem beheer BCP DRP Risk man Proces en policy beheer Beveiliging Workflow Ingest Volgen van privacy wetgeving Toegangsrechten Access Archive Garanderen van continuïteit en risico beheersing Documenteren van procedures Search Dissemination Temp Consumer interfaces Web Portal Application Slide 29

30 2. Data architectuur Laag 2: data architectuur Slide 30

31 2. Data architectuur Overzicht AIP Packaging Information Representation Information Object PDI Descriptive Information Original Data Object Representation Information Reference Provenance Context Migration(s) Information Object Data Object Representation Information Fixity Access Rights Slide 31

32 2. Data architectuur Datamodel Behoefte aan twee types A. Overeenkomen over de inhoud AIP B. Enkel een archiveringsfunctie AIP SIP SIP=AIP producer Impact voor behoefte analyse: Wie verkiest welk type? Slide 32

33 2. Data architectuur Type A: ondersteuning bij de SIP creatie SIP AIP Packaging Information Descriptive Information Original Migration(s) Representation Information Object Data Object Representation Information Information Object Data Object Representation Information PDI Reference Provenance Context Fixity Access Rights Slide 33

34 2. Data architectuur Type B: de SIP wordt afgewerkt aangeleverd SIP AIP Packaging Information Descriptive Information Original Migration(s) Representation Information Object Data Object Representation Information Information Object Data Object Representation Information PDI Reference Provenance Context Fixity Access Rights Slide 34

35 2. Data architectuur Voorbeeld invulling standaarden voor het datamodel METS METS Information Object PDI TBD* Original.docx, RAW, PREMIS, CEDARS, MIX, EAD EAD, OSLO EAD, OSLO Migration(s) Information Object XML, PDF/A, TIFF, PREMIS, CEDARS, MIX, PREMIS PREMIS TBD: To Be Defined afhankelijk van de database die wordt gekozen Slide 35

36 3. Applicatie architectuur Laag 3: applicatie architectuur Slide 36

37 3. Applicatie architectuur Applicatie landschap Client side Server side Server side Browser Portal Rendition Application Web Service of API Archive sftp client sftp service Search Access Temporary storage Slide 37

38 3. Applicatie architectuur A. Browser Als producer Formulier voor metadata Mogelijk om het bestand op te laden via formulier Als consumer: Ophalen DIP Zoekfuncties Zie Search en Dessimination Slide 38

39 3. Applicatie architectuur B. Web service implementatie Eén web service voor zowel browser als externe applicaties Browser Portaal Web service Applicatie Slide 39

40 3. Applicatie architectuur B. Web service implementatie WSDL bestand voor de beschrijving van de functionaliteiten Getters & setters om toe te voegen, aangepast aan het OAIS model en de overeengekomen regels Het opstellen van een DIP aan de hand van een consumer kan enkel als het e-depot controle heeft over de SIP. In het andere geval wordt het volledig object geleverd. Aanduiden welke metadata gebruikt wordt voor de search (instapdienst) - sftp: leveren van een extra bestand (XML) - Web Service: voorzien in de functie - Portaal : aanduiden via web formulier AIP Search Metadata Slide 40

41 3. Applicatie architectuur C. Zoekomgeving AIP referentie Indien leverbaar Search Metadata Metadata Fulltext Archivering Search Slide 41

42 3. Applicatie architectuur D. Archivering Wat? Applicatie ter ondersteuning van Ingest: Beheerssysteem voor bestuurlijke informatie met bijbehorende workflow Archiving: Beheerssysteem voor opslag management Perifere diensten: - Kwaliteitsbeheer - Rapportering - Slide 42

43 4. Technologische architectuur Laag 4: technologische architectuur Slide 43

44 4. Technologische architectuur Van diensten tot infrastructuur Producer Workflow AIP RKMS Reporting Portal SIP Rendition Meta data Search DMZ LAN Temporary storage Consumer Reporting Slide 44

45 Bedankt voor uw inbreng! 2013 PricewaterhouseCoopers. All rights reserved. PricewaterhouseCoopers refers to the network of member firms of PricewaterhouseCoopers International Limited, each of which is a separate and independent legal entity.

46 Appendix Slide 46

47 Appendix Lijst van acroniemen AIP DIP ISO OAIS PDI SIP XML Archival Information Package Dissemination Information Package International Organization for Standardization Open Archival Information System Preservation Description Information Submission Information Package Extensible Markup Language Slide 47