Digital Dark Age. KNVI Jaarcongres november Marcel Ras, Programmamanager Na6onale Coali6e Digitale Duurzaamheid

Transcriptie

1 Digital Dark Age KNVI Jaarcongres november Marcel Ras, Programmamanager Na6onale Coali6e Digitale Duurzaamheid

2 Mijn digitale zolder

3 3

4 De Digital Dark Age volgens Vint Cerf The forgo?en century Digitalmaterial including key historical documents could be lost forever because programs to view them will become defunct We doen ons uiterste best om alle informa=e te digitaliseren en beschikbaar te stellen ZeAen alle online Snel beschikbaar 24/7 Maar sogware, hardware, besturingssystemen, informa=edragers werken niet mee!

5 Waar hebben we het over? Boeken, kranten, =jdschrigen Televisieprogramma s Film Onderzoeksdata Websites Foto s Architectuur Digitale kunst Games Social media als Facebook, twiaer, etc Apps Basisregisters Overheidsdocumenten SoGware..

6

7

8 Collec6e Nederland 25 PT AV materiaal bij Beeld en Geluid 1.5 PT Eye Filmmuseum wetenschappelijke publica=es datasets (200 TB) digitale kunst (Time Based art) =enduizenden websites Maar is dat alles? 8

9 De uitdaging

10 Digitale informa6e is kwetsbaar informa6e representa6e Geinterpreteerd door gebruiker informa6e Gerenderd via scherm Omgezet in (elektronische) informa6e Verwerkt door sogware binaire data 10

11 Opslagmedium gaat stuk

12 Het opslagmedium raakt in onbruik Floppy disk: 3-5 jaar 8, 5.25 en 3.5 disks, Zip en Jazz disks. Flash media: 1-10 jaar USB flash drives, SD/SDHC cards solid- Hard drive: 2-8 jaar CD/DVD/Blu- ray op6cal disk: 2-10 jaar Magne6c tape: jaar

13 SoXware raakt in onbruik

14 En hardware raakt in onbruik

15 En bestandsformaten A,AAM,AAS,ABF,ABK,ACE,ACL,ACM,ACP,ACR,ACT,ACV,AD,ADA,ADB(2),ADD,ADF,ADI,ADM,ADP(2),ADR,ADS,AFM,AF2,AF3,AI,AIF;AIFF,AIFC,AIFF, AIM,AIS(2),AKW,ALAW,ALB,ALL,AMS(2),ANC,ANI,ANS,ANT,API,APR,APS,ARC,ARI,ARJ,ART(5),ASA,ASC(2),ASD,ASE,ASF,ASM,ASO,ASP(3), AST(2),ASV,ASX(3),ATT,AU(2),AVB,AVI,AVR,AVS,AWD,AWR,AXX,A3M,A4M,A4P,A3W,A4W,A5W,BAK,BAS,BAT,BDF,BFC,BG,BGL,BI,BIF,BIFF,BIN,BK; BK$,BKS,BMK,BMP,BM1,BOOK,BOX,BPL,BQY,BRX,BSC,BSP,BS1,BS_,BTM,BUD,BUN,BW,BYU,B4,C,C01,CAB,CAD,CAL(2),CAM,CAP,CAS,CAT,CB, CBI,CCA,CCB,CCF,CCH,CCM,CCO,CCT,CDA,CDF,CDI,CDR(2),CDT,CDX(2),CEL,CER,CFB,CFG,CFM,CGI,CGM,CH,CHK,CHM,CHR,CHP,CHT(2), CIL,CIM,CIN,CK1,CK2,CK3,CK4,CK5,CK6,CLASS,CLL,CLP,CLS,CMD(3),CMF,CMP(2),CMV,CMX,CNF,CNM,CNQ,CNT,COB,COD,COM,CPD(2),CPE, CPI,CPL(2),CPO,CPP,CPR,CPT,CPX,CRD,CRP,CRT,CSC,CSP,CSS,CST,CSV,CT(2),CTL,CUE,CUR,CUT,CV(2),CWK,CWS,CXT,CXX,DAT(3),DB,DBC, DBF,DBX(2),DCM,DCR,DCS,DCT,DCU,DCX(3),DC5,DDF,DDIF,DEF(2),DEFI,DEM,DER,DEWF,DGN,DIB,DIC,DIF,DIG(2),DIR,DIZ,DLG,DLS,DLL,DMF, DOC(5),DOT,DPL,DPR,DRAW,DRV,DRW,DSF,DSG,DSM,DSP,DSQ,DST,DSW,DTD,DTED,DTM,DTF,DUN,DV,DWD,DWG(2),DXF(2),DXR,EDA,EDE, EDD,EDK,EDQ,EDS,EDV,EFA,EFE,EFK,EFQ,EFS,EFV,EMD,EMF,EML,ENC,ENFF,EPHTML,EPS,ER1,ERR,ERX,ESPF,ESPS,EUI,EVY,EWL,EXC,EXE, F,F2R,F3R,F77,F90,FAR,FAV,FAX,FBK,FCD,FDB,FDF,FEM,FFA,FFF,FFL,FFO,FFT,FFX,FH3,FIF,FIG,FITS,FITS,FLA,FLC,FLF(3),FLI,FLT(3),FM,FMB, FML,FMT(2),FMX,FND,FNG,FNK,FOG,FON,FOR,FOT,FP,FP1,FP3,FPT(2),FPX,FRM(6),FRX(2),FRT,FSF,FSL(2),FSM,FT,FTG,FTS,FW2,FW3,FW4,FXP, FZB,FZF,FZV,G721,G723,GAL,GCD,GCP,GDB,GDM,GED(2),GEM,GEN,GetRight,GFC,GFI,GFX,GID,GIF,GIM,GIX,GKH,GKS,GL,GNA,GNT,GNX,GRA, GRD,GRF,GRP,GSM(4),GTK,GT2,GWX,GWZ,GZ,H,HCOM,HDF,HED,HEL,HEX,HGL,HH,HLP(2),HOG,HPJ,HPP,HQX,HST,HT,HTM,HTML,HTT,HTX, HXM,ICA,ICB,ICC,ICL,ICM,ICO,IDB,IDD,IDF,IDQ,IDX(3),IFF,IGES,IGF,IIF,ILBM,IMA,IMG,INC,INF,INI(3),INP,INRS,INS(4),INT,IOF,IQY,ISO,ISP,IST,ISU,IT, ITI,ITS(2),IV,IW,J62,JAR,JAVA,JBF,JFF,JIF,JFIF,JMP,JN1,JPE,JPEG,JPG,JS,JSP,JTF,K25,KAR,KDC,KEY,KFX,KIZ,KKW,KMP,KQP,KR1,KRZ,KSF,KYE, LBM,LBT,LBX,LDB,LDL,LEG,LES,LFT,LHA,LIB,LIN,LIS,LLX,LNK,LOG,LPD,LRC,LSL,LSP,LST,LU,LVL,LWLO,LWOB,LWP,LWSC,LYR,LZH,LZS,M1V,M3D, M3U,MAT,MAC,MAD,MAF,MAG,MAGIC,MAK,MAM,MAN,MAP(2),MAQ,MAR,MAS,MAT,MAUD,MAX(3),MAZ(2),MB1,MBOX,MBX,MCC(2),MCR,MCW, MDA(2),MDB,MDE,MDL(2),MDN,MDW,MDZ,MED,MER,MET,MGF,MHTM,MHTML,MI,MIC,MID,MIF,MIFF,MIM,MIME,MLI,MME,MMF(2),MMM,MMP,MN2, MND;MNI,MNG,MNT,MNX,MOD(3),MOV,MP2,MP3,MPA,MPE,MPEG,MPG,MPP(2),MPR,MP2,MP3,MRI,MSA,MSDL,MSG,MSN(2),MSP,MTM,MUL, MUS,MUS10,MVB,MWP,NAN,NAP,netCDF,NCB,NCD,NCF(2),NDO,NFF,NIL,NIST,NLB,NLM,NLU,NSF,NS2,NST,NTF,NWC,NWS,O01,OBD(2),OBJ,OBZ, OCX,ODS,OFF,OFN,OFT,OKT,OLB,OLE,OOGL,OPL,OPO,OPT,OPX,ORC,ORG,OR2,OR3,ORA,OSS,OST,OTL,P10,P65,P7C,PAB,PAC,PAK,PAL,PAS, PAT(3),PBD,PBF,PBK,PBL,PBM,PBR,PCD(2),PCE,PCL,PCM(2),PCP,PCS,PCT,PCX,PDF(2),PDB,PDQ,PF,PFA,PFB,PFC,PFM,PGL,PGM,PGP,PH, PHTML,PIC(3),PICT,PIF(2),PIG,PIN(2),PIX,PJ,PJX,PJT,PKG,PKR,PL,PLG,PLI,PLM,PLS(2),PLT(3),PM5,PM6,PNG(2),PNT,PNTG,POG,POT,POV,PP4, PPA,PPF,PPM,PPP(2),PPS(2),PPT,PRC,PRE,PRF(2),PRG(2),PRJ,PRN(2),PRS,PRT,PRV,PRZ,PS,PSB,PSD,PSI,PSM(2),PST,PTM,PUB(2),PWD,PWL, PWP,PWZ,PXL,PY,QAD,QBW,QDT,QD3D,QFL,QIC,QIF(2),QLB,QM,QRY,QST,QT,QTI,QTIF,QTM,QTP,QTS(2),QTX,QW,QXD,R,RA,RAM,RAR,RAS, RAW(3),RBH,RDF,RDL,REC(2),REG,RES,RGB;SGI,RFT,RLE,RL2,RM,RMD,RMF,RMI,ROV,RPM,RPT,RRS,RSL,RTF,RTM,RTK,RTS(2),RUL,RVP,RXX, S,S3I,S3M,SAM(2),SAV,SB,SBK,SBL,SC2(2),SCC,SCD(2),SCF,SCH,SCI,SCN,SCP,SCR(2),SCT(3),SCT01,SCV,SCX,SD,SD2(2),...

16 En soms gaat het wel eens mis. 16

17 Informa6e verdwijnt (1) Laatste kans: download vandaag nog je Hyves- gegevens November 2013

18 Informa6e verdwijnt (2) 1086: Willem de Veroveraar 1986: gegevens over Britse bevolking verzameld en bewaard op state- of- the- art laser disks Na 20 jaar zowel drager als hardware onbruikbaar 18

19 19

20 Informa6e verdwijnt (4) Link- rot 1 op de 5 wetenschappelijke ar=kelen heeg last van reference- rot URI waarnaar gerefereerd is er niet meer (link- rot) De content is gewijzigd (content drig) Na 1 jaar: 10-15% van de links zijn dood Na 5 jaar is dat 40% Wetenschappelijke =jdschrigen wetgeving 70% van de links werkten niet meer in 2014 Uitspraken hooggerechtshof VS: 50% werkten de links niet meer Webadressen veranderen

21 Hoe erg is dat? Toegankelijkheid van informa=e is in gevaar Cultureel erfgoed gaat verloren Bedreiging voor wetenschappelijk onderzoek Valida=e en reproduc=e van onderzoeksresultaten is niet meer mogelijk Authen=citeit van informa=e valt niet meer vast te stellen Controle op de overheid wordt moeilijker Financiële consequen=es Vertrouwen

22 Perhaps the biggest challenge in sharing data is trust: how do you create a system robust enough for scien6sts to trust that, if they share, their data won t be lost, garbled, stolen or misused?

23 We moeten dus iets doen 23

24 We werken hier al een 6jdje aan In 1995 begon men voor het eerst na te denken over de lange termijn toegang tot digitale informa=e. In het begin vooral in technische oplossingen Anno nu We hebben veel kennis opgedaan in de afgelopen jaren En ervaring We hebben systemen en tools We ontwikkelen door En ook - Digitale duurzaamheid is duur - - Vraagt om specialis=sche kennis En om de juiste organisa=e en afspraken

25 Duurzaam toegankelijk houden van. 25

26 Wat we hebben Organisa6es met digitale collec6es (n = 141) Organisa6es verzamelen born digital erfgoed(n = 98) Nee 12% Ja 88% Nee 53% Ja 47% (European average: 87%) (European average: 53%)

27 Wat we (nog) niet hebben Is er beleid voor duurzame toegang? (n = 101) Betrokken in een infrastructuur voor duurzame toegang (n = 96) ja 36% ja 27% nee 64% nee 73% (Europees gemiddelde: 26%) (Europees gemiddelde: 30%)

28 Wat zijn de oplossingsrich6ngen? Migra=e Emula=e Veilig een redundant opslaan (LOCKSS) Repareren Digitale archeologie Digital forensics uitprinten

29 Overal valt wel iets tegen in te brengen. Het is te duur en we hebben geen structurele middelen hiervoor We worden al gekort op ons budget Het is technisch te ingewikkeld We hebben onvoldoende kennis in huis We hebben er de infrastructuur niet voor Het is niet nodig want we hebben géén digitale spulletjes Dat doen anderen toch al..

30

31 Het vak ontwikkelt snel Technische oplossingen Bewaren van originele hardware en sogware Vernieuwen opslagmedia Incrementele oplossingen Migra=e Emula=e Analy6sche oplossingen Digitale archeologie Digital forensics Digitaal duurzame objecten

32 Gemeenschappelijke taal 32

33 Samenwerking is noodzakelijk Domeinen 33

34 Na6onale Coali6e Digitale Duurzaamheid Samen bouwen aan de toekomst van ons digitale geheugen Zorgen voor een stabiele organisatorische en technische infrastructuur die het behoud en de duurzame toegankelijkheid garandeert van digitale informa6e die van cruciaal belang is voor wetenschap, cultuur en samenleving.

35 Over de NCDD Opgericht in 2008 als ini=a=ef om samenwerking op gebied van duurzame toegang te bevorderen Leden Data Archiving and Networked Services - DANS Koninklijke Bibliotheek - KB Na=onaal Archief - NA Nederlands Ins=tuut voor Beeld & Geluid - NIBG Culturele Coali=e Digitale Duurzaamheid - CCDD 2009: Na6onale verkenning Welke digitale collec=es hebben we? Wat wordt goed beheerd, wat loopt risico s? Hoe zouden we de risico s kunnen verminderen? Waar wordt samengewerkt?

36 Een aantal conclusies Er wordt veel verzameld (maar ook nog veel niet) Nog maar een klein deel daarvan wordt duurzaam beheerd Er zijn nog nauwelijks voorzieningen of diensten voor digitale duurzame toegang Men is zich te weinig bewust van de risico s Er is een tekort aan kennis en exper=se Verantwoordelijkheden zijn niet goed afgebakend Nodig is Een gezamenlijk gedragen infrastructuur Diensten waarvan gebruik gemaakt kan worden Meer kennis en ervaring Delen van bestaande kennis en ervaringen

37 Een strategische agenda voor Nederland Rollen en verantwoordelijkhe den in collec6evorming Transparante kostenstructuur Schaalbare en bruikbare voorzieningen Kennisuitwisseling

38 De rollen van de NCDD Plagorm Aanjager Brug Kri6sche denkkracht Bewustwording Kennisuitwisseling Kennisontwikkeling Opleiding & training Ini=ëren en coördineren Na=onale infrastructuur Bouwstenen Ontwikkelingen Samenwerking Europese agenda Beleidsvorming

39 Gezamenlijk wat kan, individueel wat moet Samen Efficiency (bijv. bij ontwikkeling preserveringsaanpak) Betere kennisdeling Betere benu{ng resultaten en investeringen Betere aanslui=ng op grote digitale ontwikkelingen Domein De aard en ontslui=ng van het digitale materiaal De herkomst van het materiaal Verantwoordelijkheden (weaelijk ingekaderd) Specifieke (B2B) dienstverlening Veel par=jen / grote versnippering binnen domeinen Financieringsstromen

40 Samenwerking op kernthema s

41 Bouwstenen voor landelijke infrastructuur 41

42 De oogst van een jaar samenwerken h?p://ncdd.nl/ar6kel/?id=231

43 De oogst als zaaigoed de volgende stappen

44 44

45 Netwerk Digitaal Erfgoed Kleine organisa=es Koninklijke Bibliotheek Rijksdienst Cultureel Erfgoed DEN Na=onaal Archief KNAW Beeld en Geluid NCDD 45

46 Na6onale Strategie Digitaal Erfgoed

47 Na6onale Strategie Digitaal Erfgoed Ontwikkelen van een na=onale, domeinovers=jgende infrastructuur voor digitaal erfgoed Focus op de gebruiker: Toegankelijkheid van collec=es Iden=fica=e van gebruikers en gebruikersvragen Focus op de organisa6es: Gemeenschappelijke aanpak Geleid door voortrekkers binnen domeinen Afstemming van rollen en verantwoordelijkheden Samenbindend effect 47

48 Wat verwachten we Beter gebruik en zichtbaarheid van digitale collec=es Economies of scale Hergebruik van voorzieningen Domeinovers=jgende samenwerking Horizontale en ver=cale samenwerking Geen bloeiende bloemen meer 48

49 49

50

51

52

53 Wat gaan we doen? Digitaal Erfgoed Houdbaar Schaalbare en bruikbare voorzieningen Transparante kostenstructuur Rollen en verantwoordelijkheden A.1 Gedistribueerde voorzieningen A.2 Persistent Iden6fiers A.3 SoXware Repository B.1 Inzicht in kosten C.1 Use cases collec6evorming C.2 Duurzaamheidsbeleid C.3 Cer6ficering C.4 Preserva6on netwerk

54 Doel Door domeinovers=jgende samenwerking gezamenlijke voorzieningen tot stand brengen waarin duurzame toegang tot digitale informa=e gegarandeerd is. Uitgangspunt hierbij is dat samenwerking leidt tot het verhogen van de effec6viteit en tot een grotere efficiën6e en kostenreduc6e. Rekening houdend met verschil in verantwoordelijkheden, rollen, snelheden, aanwezige kennis en beschikbare middelen. 54

55 Tot slot Digitale informa=e heeg waarde, maar is kwetsbaar Wat we nodig hebben: Bewustwording Kennis (uitwisseling) Techniek: Systemen, tools Visie en Beleid Structurele middelen En organisa=e/afspraken Samenwerking is noodzakelijk Digitale duurzaamheid gaat over mensen, oplossingen en samenwerking 55

56

57 Maar dark is het zeker niet! 57

58 Meer weten? Marcel Ras Programmamanager NCDD LinkedIn: hap:// ras/6/78/b23 NCDD projecten: h?p://ncdd.nl/ncddprojecten/ Schrijf je in voor de nieuwsbrief Digitale Duurzaamheid in Nederland hap://ncdd.nl/nieuwsbrief/ 58