Digital Dark Age KNVI Jaarcongres 2015 12 november Marcel Ras, Programmamanager Na6onale Coali6e Digitale Duurzaamheid
Mijn digitale zolder
3
De Digital Dark Age volgens Vint Cerf The forgo?en century Digitalmaterial including key historical documents could be lost forever because programs to view them will become defunct We doen ons uiterste best om alle informa=e te digitaliseren en beschikbaar te stellen ZeAen alle online Snel beschikbaar 24/7 Maar sogware, hardware, besturingssystemen, informa=edragers werken niet mee!
Waar hebben we het over? Boeken, kranten, =jdschrigen Televisieprogramma s Film Onderzoeksdata Websites Foto s Architectuur Digitale kunst Games Social media als Facebook, twiaer, etc Apps Basisregisters Overheidsdocumenten SoGware..
Collec6e Nederland 25 PT AV materiaal bij Beeld en Geluid 1.5 PT Eye Filmmuseum 1.200.000 wetenschappelijke publica=es 147.000 datasets 15.000 (200 TB) digitale kunst (Time Based art) =enduizenden websites Maar is dat alles? 8
De uitdaging 010101010001111011010111010100 101010010110100101010110110011 011010101010101010001111100011 111001111001110011010101001101 011010100110101100110010101010 101010110101001010101010101010 101010110100101010100010101010 101010001111011010111101010101 010101010101010001010110011011 010101010101010001111100011111 9
Digitale informa6e is kwetsbaar informa6e representa6e Geinterpreteerd door gebruiker informa6e Gerenderd via scherm Omgezet in 01010101000111101101011101010010101001011 01001010101101100110110101010101010100011 (elektronische) informa6e Verwerkt door sogware binaire data 10
Opslagmedium gaat stuk
Het opslagmedium raakt in onbruik Floppy disk: 3-5 jaar 8, 5.25 en 3.5 disks, Zip en Jazz disks. Flash media: 1-10 jaar USB flash drives, SD/SDHC cards solid- Hard drive: 2-8 jaar CD/DVD/Blu- ray op6cal disk: 2-10 jaar Magne6c tape: 10-30 jaar
SoXware raakt in onbruik
En hardware raakt in onbruik
En bestandsformaten A,AAM,AAS,ABF,ABK,ACE,ACL,ACM,ACP,ACR,ACT,ACV,AD,ADA,ADB(2),ADD,ADF,ADI,ADM,ADP(2),ADR,ADS,AFM,AF2,AF3,AI,AIF;AIFF,AIFC,AIFF, AIM,AIS(2),AKW,ALAW,ALB,ALL,AMS(2),ANC,ANI,ANS,ANT,API,APR,APS,ARC,ARI,ARJ,ART(5),ASA,ASC(2),ASD,ASE,ASF,ASM,ASO,ASP(3), AST(2),ASV,ASX(3),ATT,AU(2),AVB,AVI,AVR,AVS,AWD,AWR,AXX,A3M,A4M,A4P,A3W,A4W,A5W,BAK,BAS,BAT,BDF,BFC,BG,BGL,BI,BIF,BIFF,BIN,BK; BK$,BKS,BMK,BMP,BM1,BOOK,BOX,BPL,BQY,BRX,BSC,BSP,BS1,BS_,BTM,BUD,BUN,BW,BYU,B4,C,C01,CAB,CAD,CAL(2),CAM,CAP,CAS,CAT,CB, CBI,CCA,CCB,CCF,CCH,CCM,CCO,CCT,CDA,CDF,CDI,CDR(2),CDT,CDX(2),CEL,CER,CFB,CFG,CFM,CGI,CGM,CH,CHK,CHM,CHR,CHP,CHT(2), CIL,CIM,CIN,CK1,CK2,CK3,CK4,CK5,CK6,CLASS,CLL,CLP,CLS,CMD(3),CMF,CMP(2),CMV,CMX,CNF,CNM,CNQ,CNT,COB,COD,COM,CPD(2),CPE, CPI,CPL(2),CPO,CPP,CPR,CPT,CPX,CRD,CRP,CRT,CSC,CSP,CSS,CST,CSV,CT(2),CTL,CUE,CUR,CUT,CV(2),CWK,CWS,CXT,CXX,DAT(3),DB,DBC, DBF,DBX(2),DCM,DCR,DCS,DCT,DCU,DCX(3),DC5,DDF,DDIF,DEF(2),DEFI,DEM,DER,DEWF,DGN,DIB,DIC,DIF,DIG(2),DIR,DIZ,DLG,DLS,DLL,DMF, DOC(5),DOT,DPL,DPR,DRAW,DRV,DRW,DSF,DSG,DSM,DSP,DSQ,DST,DSW,DTD,DTED,DTM,DTF,DUN,DV,DWD,DWG(2),DXF(2),DXR,EDA,EDE, EDD,EDK,EDQ,EDS,EDV,EFA,EFE,EFK,EFQ,EFS,EFV,EMD,EMF,EML,ENC,ENFF,EPHTML,EPS,ER1,ERR,ERX,ESPF,ESPS,EUI,EVY,EWL,EXC,EXE, F,F2R,F3R,F77,F90,FAR,FAV,FAX,FBK,FCD,FDB,FDF,FEM,FFA,FFF,FFL,FFO,FFT,FFX,FH3,FIF,FIG,FITS,FITS,FLA,FLC,FLF(3),FLI,FLT(3),FM,FMB, FML,FMT(2),FMX,FND,FNG,FNK,FOG,FON,FOR,FOT,FP,FP1,FP3,FPT(2),FPX,FRM(6),FRX(2),FRT,FSF,FSL(2),FSM,FT,FTG,FTS,FW2,FW3,FW4,FXP, FZB,FZF,FZV,G721,G723,GAL,GCD,GCP,GDB,GDM,GED(2),GEM,GEN,GetRight,GFC,GFI,GFX,GID,GIF,GIM,GIX,GKH,GKS,GL,GNA,GNT,GNX,GRA, GRD,GRF,GRP,GSM(4),GTK,GT2,GWX,GWZ,GZ,H,HCOM,HDF,HED,HEL,HEX,HGL,HH,HLP(2),HOG,HPJ,HPP,HQX,HST,HT,HTM,HTML,HTT,HTX, HXM,ICA,ICB,ICC,ICL,ICM,ICO,IDB,IDD,IDF,IDQ,IDX(3),IFF,IGES,IGF,IIF,ILBM,IMA,IMG,INC,INF,INI(3),INP,INRS,INS(4),INT,IOF,IQY,ISO,ISP,IST,ISU,IT, ITI,ITS(2),IV,IW,J62,JAR,JAVA,JBF,JFF,JIF,JFIF,JMP,JN1,JPE,JPEG,JPG,JS,JSP,JTF,K25,KAR,KDC,KEY,KFX,KIZ,KKW,KMP,KQP,KR1,KRZ,KSF,KYE, LBM,LBT,LBX,LDB,LDL,LEG,LES,LFT,LHA,LIB,LIN,LIS,LLX,LNK,LOG,LPD,LRC,LSL,LSP,LST,LU,LVL,LWLO,LWOB,LWP,LWSC,LYR,LZH,LZS,M1V,M3D, M3U,MAT,MAC,MAD,MAF,MAG,MAGIC,MAK,MAM,MAN,MAP(2),MAQ,MAR,MAS,MAT,MAUD,MAX(3),MAZ(2),MB1,MBOX,MBX,MCC(2),MCR,MCW, MDA(2),MDB,MDE,MDL(2),MDN,MDW,MDZ,MED,MER,MET,MGF,MHTM,MHTML,MI,MIC,MID,MIF,MIFF,MIM,MIME,MLI,MME,MMF(2),MMM,MMP,MN2, MND;MNI,MNG,MNT,MNX,MOD(3),MOV,MP2,MP3,MPA,MPE,MPEG,MPG,MPP(2),MPR,MP2,MP3,MRI,MSA,MSDL,MSG,MSN(2),MSP,MTM,MUL, MUS,MUS10,MVB,MWP,NAN,NAP,netCDF,NCB,NCD,NCF(2),NDO,NFF,NIL,NIST,NLB,NLM,NLU,NSF,NS2,NST,NTF,NWC,NWS,O01,OBD(2),OBJ,OBZ, OCX,ODS,OFF,OFN,OFT,OKT,OLB,OLE,OOGL,OPL,OPO,OPT,OPX,ORC,ORG,OR2,OR3,ORA,OSS,OST,OTL,P10,P65,P7C,PAB,PAC,PAK,PAL,PAS, PAT(3),PBD,PBF,PBK,PBL,PBM,PBR,PCD(2),PCE,PCL,PCM(2),PCP,PCS,PCT,PCX,PDF(2),PDB,PDQ,PF,PFA,PFB,PFC,PFM,PGL,PGM,PGP,PH, PHTML,PIC(3),PICT,PIF(2),PIG,PIN(2),PIX,PJ,PJX,PJT,PKG,PKR,PL,PLG,PLI,PLM,PLS(2),PLT(3),PM5,PM6,PNG(2),PNT,PNTG,POG,POT,POV,PP4, PPA,PPF,PPM,PPP(2),PPS(2),PPT,PRC,PRE,PRF(2),PRG(2),PRJ,PRN(2),PRS,PRT,PRV,PRZ,PS,PSB,PSD,PSI,PSM(2),PST,PTM,PUB(2),PWD,PWL, PWP,PWZ,PXL,PY,QAD,QBW,QDT,QD3D,QFL,QIC,QIF(2),QLB,QM,QRY,QST,QT,QTI,QTIF,QTM,QTP,QTS(2),QTX,QW,QXD,R,RA,RAM,RAR,RAS, RAW(3),RBH,RDF,RDL,REC(2),REG,RES,RGB;SGI,RFT,RLE,RL2,RM,RMD,RMF,RMI,ROV,RPM,RPT,RRS,RSL,RTF,RTM,RTK,RTS(2),RUL,RVP,RXX, S,S3I,S3M,SAM(2),SAV,SB,SBK,SBL,SC2(2),SCC,SCD(2),SCF,SCH,SCI,SCN,SCP,SCR(2),SCT(3),SCT01,SCV,SCX,SD,SD2(2),...
En soms gaat het wel eens mis. 16
Informa6e verdwijnt (1) Laatste kans: download vandaag nog je Hyves- gegevens November 2013
Informa6e verdwijnt (2) 1086: Willem de Veroveraar 1986: gegevens over Britse bevolking verzameld en bewaard op state- of- the- art laser disks Na 20 jaar zowel drager als hardware onbruikbaar 18
19
Informa6e verdwijnt (4) Link- rot 1 op de 5 wetenschappelijke ar=kelen heeg last van reference- rot URI waarnaar gerefereerd is er niet meer (link- rot) De content is gewijzigd (content drig) Na 1 jaar: 10-15% van de links zijn dood Na 5 jaar is dat 40% Wetenschappelijke =jdschrigen wetgeving 70% van de links werkten niet meer in 2014 Uitspraken hooggerechtshof VS: 50% werkten de links niet meer Webadressen veranderen www.gahetna.nl www.na=onaalarchief.nl
Hoe erg is dat? - - - - - - - - Toegankelijkheid van informa=e is in gevaar Cultureel erfgoed gaat verloren Bedreiging voor wetenschappelijk onderzoek Valida=e en reproduc=e van onderzoeksresultaten is niet meer mogelijk Authen=citeit van informa=e valt niet meer vast te stellen Controle op de overheid wordt moeilijker Financiële consequen=es Vertrouwen
Perhaps the biggest challenge in sharing data is trust: how do you create a system robust enough for scien6sts to trust that, if they share, their data won t be lost, garbled, stolen or misused?
We moeten dus iets doen 23
We werken hier al een 6jdje aan In 1995 begon men voor het eerst na te denken over de lange termijn toegang tot digitale informa=e. In het begin vooral in technische oplossingen Anno nu We hebben veel kennis opgedaan in de afgelopen jaren En ervaring We hebben systemen en tools We ontwikkelen door En ook - Digitale duurzaamheid is duur - - Vraagt om specialis=sche kennis En om de juiste organisa=e en afspraken
Duurzaam toegankelijk houden van. 25
Wat we hebben Organisa6es met digitale collec6es (n = 141) Organisa6es verzamelen born digital erfgoed(n = 98) Nee 12% Ja 88% Nee 53% Ja 47% (European average: 87%) (European average: 53%)
Wat we (nog) niet hebben Is er beleid voor duurzame toegang? (n = 101) Betrokken in een infrastructuur voor duurzame toegang (n = 96) ja 36% ja 27% nee 64% nee 73% (Europees gemiddelde: 26%) (Europees gemiddelde: 30%)
Wat zijn de oplossingsrich6ngen? Migra=e Emula=e Veilig een redundant opslaan (LOCKSS) Repareren Digitale archeologie Digital forensics uitprinten
Overal valt wel iets tegen in te brengen. Het is te duur en we hebben geen structurele middelen hiervoor We worden al gekort op ons budget Het is technisch te ingewikkeld We hebben onvoldoende kennis in huis We hebben er de infrastructuur niet voor Het is niet nodig want we hebben géén digitale spulletjes Dat doen anderen toch al..
Het vak ontwikkelt snel Technische oplossingen Bewaren van originele hardware en sogware Vernieuwen opslagmedia Incrementele oplossingen Migra=e Emula=e Analy6sche oplossingen Digitale archeologie Digital forensics Digitaal duurzame objecten
Gemeenschappelijke taal 32
Samenwerking is noodzakelijk Domeinen 33
Na6onale Coali6e Digitale Duurzaamheid Samen bouwen aan de toekomst van ons digitale geheugen Zorgen voor een stabiele organisatorische en technische infrastructuur die het behoud en de duurzame toegankelijkheid garandeert van digitale informa6e die van cruciaal belang is voor wetenschap, cultuur en samenleving.
Over de NCDD Opgericht in 2008 als ini=a=ef om samenwerking op gebied van duurzame toegang te bevorderen Leden Data Archiving and Networked Services - DANS Koninklijke Bibliotheek - KB Na=onaal Archief - NA Nederlands Ins=tuut voor Beeld & Geluid - NIBG Culturele Coali=e Digitale Duurzaamheid - CCDD 2009: Na6onale verkenning Welke digitale collec=es hebben we? Wat wordt goed beheerd, wat loopt risico s? Hoe zouden we de risico s kunnen verminderen? Waar wordt samengewerkt?
Een aantal conclusies Er wordt veel verzameld (maar ook nog veel niet) Nog maar een klein deel daarvan wordt duurzaam beheerd Er zijn nog nauwelijks voorzieningen of diensten voor digitale duurzame toegang Men is zich te weinig bewust van de risico s Er is een tekort aan kennis en exper=se Verantwoordelijkheden zijn niet goed afgebakend Nodig is Een gezamenlijk gedragen infrastructuur Diensten waarvan gebruik gemaakt kan worden Meer kennis en ervaring Delen van bestaande kennis en ervaringen
Een strategische agenda voor Nederland Rollen en verantwoordelijkhe den in collec6evorming Transparante kostenstructuur Schaalbare en bruikbare voorzieningen Kennisuitwisseling
De rollen van de NCDD Plagorm Aanjager Brug Kri6sche denkkracht Bewustwording Kennisuitwisseling Kennisontwikkeling Opleiding & training Ini=ëren en coördineren Na=onale infrastructuur Bouwstenen Ontwikkelingen Samenwerking Europese agenda Beleidsvorming
Gezamenlijk wat kan, individueel wat moet Samen Efficiency (bijv. bij ontwikkeling preserveringsaanpak) Betere kennisdeling Betere benu{ng resultaten en investeringen Betere aanslui=ng op grote digitale ontwikkelingen Domein De aard en ontslui=ng van het digitale materiaal De herkomst van het materiaal Verantwoordelijkheden (weaelijk ingekaderd) Specifieke (B2B) dienstverlening Veel par=jen / grote versnippering binnen domeinen Financieringsstromen
Samenwerking op kernthema s
Bouwstenen voor landelijke infrastructuur 41
De oogst van een jaar samenwerken h?p://ncdd.nl/ar6kel/?id=231
De oogst als zaaigoed de volgende stappen
44
Netwerk Digitaal Erfgoed Kleine organisa=es Koninklijke Bibliotheek Rijksdienst Cultureel Erfgoed DEN Na=onaal Archief KNAW Beeld en Geluid NCDD 45
Na6onale Strategie Digitaal Erfgoed
Na6onale Strategie Digitaal Erfgoed Ontwikkelen van een na=onale, domeinovers=jgende infrastructuur voor digitaal erfgoed Focus op de gebruiker: Toegankelijkheid van collec=es Iden=fica=e van gebruikers en gebruikersvragen Focus op de organisa6es: Gemeenschappelijke aanpak Geleid door voortrekkers binnen domeinen Afstemming van rollen en verantwoordelijkheden Samenbindend effect 47
Wat verwachten we Beter gebruik en zichtbaarheid van digitale collec=es Economies of scale Hergebruik van voorzieningen Domeinovers=jgende samenwerking Horizontale en ver=cale samenwerking Geen 1.000 bloeiende bloemen meer 48
49
Wat gaan we doen? Digitaal Erfgoed Houdbaar Schaalbare en bruikbare voorzieningen Transparante kostenstructuur Rollen en verantwoordelijkheden A.1 Gedistribueerde voorzieningen A.2 Persistent Iden6fiers A.3 SoXware Repository B.1 Inzicht in kosten C.1 Use cases collec6evorming C.2 Duurzaamheidsbeleid C.3 Cer6ficering C.4 Preserva6on netwerk
Doel Door domeinovers=jgende samenwerking gezamenlijke voorzieningen tot stand brengen waarin duurzame toegang tot digitale informa=e gegarandeerd is. Uitgangspunt hierbij is dat samenwerking leidt tot het verhogen van de effec6viteit en tot een grotere efficiën6e en kostenreduc6e. Rekening houdend met verschil in verantwoordelijkheden, rollen, snelheden, aanwezige kennis en beschikbare middelen. 54
Tot slot Digitale informa=e heeg waarde, maar is kwetsbaar Wat we nodig hebben: Bewustwording Kennis (uitwisseling) Techniek: Systemen, tools Visie en Beleid Structurele middelen En organisa=e/afspraken Samenwerking is noodzakelijk Digitale duurzaamheid gaat over mensen, oplossingen en samenwerking 55
Maar dark is het zeker niet! 57
Meer weten? Marcel Ras Programmamanager NCDD Marcel.ras@ncdd.nl 06 1477 76 71 www.ncdd.nl LinkedIn: hap://www.linkedin.com/pub/marcel- ras/6/78/b23 NCDD projecten: h?p://ncdd.nl/ncddprojecten/ Schrijf je in voor de nieuwsbrief Digitale Duurzaamheid in Nederland hap://ncdd.nl/nieuwsbrief/ 58