Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam

Transcriptie

1 Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam Datum: 26 maart 2009 Versie: 0.5 Status: Concept

2 Inhoudsopgave Inhoudsopgave...1 Versiegeschiedenis...3 Managementsamenvatting...4 Inleiding...5 Doel van dit document...5 Opzet van dit document...5 Doelgroep...5 Herzieningstermijn van dit document...5 Gerelateerde documenten Afbakening Voorbereiding Doelstellingen project Aard van het te digitaliseren bestand Hoeveelheden Materiaalanalyse Detaillering Ontsluiting en metadata Lichting en vervoer Opslag Uitgangspunten digitalisering en kwaliteitseisen Opnameproces Volledigheid Juiste volgorde Detailreproductie Tonale en kleurreproductie Juiste uitsnede Beeldpositionering Opslag en ontsluiting Bestandsformaten Bestandsnaamgeving Koppeling document aan beschrijving Validiteit van het bestand Kleurruimte Beschrijvende metadata Technische metadata Kwaliteitscontrole Volledigheid Juiste volgorde Beeldkwaliteit Detailreproductie Tonale reproductie Kleurreproductie Juiste uitsnede Positionering Bestandsformaat Bestandsnaamgeving

3 4.7 Koppeling document en metadata Validiteit van het formaat Kleurruimte Beschrijvende metadata Bronnenlijst Begrippenlijst...25 Bijlage 1 IJking scanapparatuur Detailreproductie Tonale reproductie Kleurreproductie Ruis

4 Versiegeschiedenis Versie Versie datum Belangrijkste wijzigingen december 2008 Eerste concept (auteur: Robèrt Gillesse) december 2008 Nieuwe inleiding hoofdstuk 2 Bronnenlijst toegevoegd februari 2009 Verwerken opmerkingen SAA maart 2009 Omvangrijke herziening inhoud. Belangrijkste wijzigingen: Kwaliteitseisen voor digitalisering ingedeeld op basis van een aantal uitgangspunten. Daarbinnen opdeling naar opnameproces en opslag. Toegevoegd: Hoofdstuk 2 Voorbereiding Toegevoegd: Bijlage 1 IJking scanapparatuur april 2009 Verwerken opmerkingen SAA Verwerken tekstuele redactie Toevoegen paragraaf 2.1 Toevoegen begrippenlijst Toevoegen managementsamenvatting 3

5 Managementsamenvatting Dit document behelst een set van aanbevelingen voor de digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam. De reikwijdte van deze aanbevelingen beperkt zich tot een beschrijving van het proces van de omzetting van papieren documenten in digitale rasterbeelden (beelden bestaand uit beeldpunten of pixels), inclusief een aantal handreikingen betreffende de opslag en ontsluiting van het gedigitaliseerde materiaal. Kern van de aanbevelingen vormen ten eerste de beschrijving van de voorbereiding van een digitaliseringsproject, ten tweede de uitgangspunten en bijbehorende kwaliteitseisen, en ten derde de kwaliteitscontrole. In de beschrijving van de voorbereiding van een digitaliseringsproject zijn een aantal vragen geformuleerd die het doel hebben duidelijkheid te verschaffen betreffende de planning, kosten, aanbesteding en haalbaarheid. Belangrijk is dat tijdens de voorbereidingsfase duidelijk wordt geformuleerd wat de doelstellingen zijn van een project. Op basis van deze doelstelling kunnen de verschillende kwaliteitseisen en foutmarges worden vastgesteld. Ook bij de voorbereiding hoort het bepalen van de aard van het archief (dynamisch, semistatisch of statisch), de hoeveelheden en de staat van het materiaal (om de scanwijze te kunnen bepalen), de detaillering (om de resolutie te kunnen vaststellen), de wijze van ontsluiting, de lichting, het vervoer en tot slot de opslag van het materiaal (bestandsnaamconventie, bestandsformaat en benodigde opslagruimte). In hoofdstuk drie worden de uitgangspunten van digitalisering en de bijbehorende kwaliteitseisen behandeld. Er is daarbij onderscheid gemaakt tussen uitgangspunten betreffende enerzijds het opnameproces en anderzijds de opslag. Daarbinnen is bovendien nog een onderscheid gemaakt tussen minimale en optionele uitgangspunten. Aangaande het opnameproces moet minimaal een volledige, van goede volgorde voorziene, en goed leesbare digitale kopie worden geproduceerd. De leesbaarheid vertaalt zich in een aantal beeldkwaliteitseisen. De uitgangspunten voor opslag veronderstellen minimaal het gebruik van een open en voor langetermijnarchivering geschikt bestandsformaat. Hierbij wordt verwezen naar de door Stadsarchief Amsterdam opgestelde richtlijn: Standaard bestandsformaten voor digitaal geboren en gedigitaliseerde tekstdocumenten ten behoeve van het concern Amsterdam (2009). Daarnaast moeten de gescande documenten minimaal zijn voorzien van een unieke identifier en terugvindbaar zijn (dat wil zeggen: gekoppeld aan metadata). Optionele eisen betreffen de validiteit van het bestand, gebruik van de kleurruimte, en de toevoeging van beschrijvende en technische metadata. De in hoofdstuk vier beschreven kwaliteitscontrole sluit bij deze uitgangspunten en kwaliteitseisen aan. Controle van onder andere volledigheid, volgorde, beeldkwaliteit, bestandsformaat, bestandsnaamgeving en validiteit komen hierbij aan de orde. Belangrijk is dat voor de verschillende onderdelen foutpercentages worden gehanteerd die aansluiten bij de doelstellingen van het project. Verdergaande en meetbare controles van de scanapparatuur kunnen plaatsvinden op basis van de in de Bijlage 1 beschreven IJking scanapparatuur. 4

6 Inleiding Doel van dit document Dit document behelst een set van aanbevelingen voor de digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam. Grofweg gaat het binnen het concern Amsterdam om twee soorten digitaliseringstrajecten: het scannen van poststromen (of ander dynamisch archief) en het retroscannen van semi-statisch of statisch archief. Deze aanbevelingen zijn voor beide soorten projecten bruikbaar. Waar nodig wordt specifiek naar één van deze twee verwerkingstrajecten verwezen. Binnen projecten zijn er twee keuzes mogelijk: het maken van (eenvoudige) digitale kopieën, of het meer complexe traject van digitaal vervangen (zoals omschreven in Procedure digitale vervanging archiefbescheiden gemeente Amsterdam 1 ). Deze aanbevelingen zijn bedoeld als richtsnoer voor de eerste soort projecten en als belangrijk uitgangspunt voor de tweede soort. Opzet van dit document Dit document kent de volgende opbouw: 1. Afbakening: de reikwijdte van de aanbevelingen en de uitsluiting van een aantal documenttypen. 2. Voorbereiding: op basis van een set van vragen kan er een inschatting worden gemaakt van de aanbesteding, duur en haalbaarheid van een digitaliseringsproject. 3. Uitgangspunten en kwaliteitseisen voor digitalisering: op basis van een aantal minimale en optionele uitgangspunten worden kwaliteitseisen vastgesteld. Hierbij is een tweedeling gemaakt tussen het opnameproces en de opslag en ontsluiting. 4. Kwaliteitscontrole: beschrijving van de kwaliteitscontrole op basis van de bovengenoemde kwaliteitseisen. 5. Bronnenlijst. 6. Begrippenlijst. 7. Bijlage 1 IJking scanapparatuur: In deze bijlage wordt de ijking van de scanapparatuur behandeld. Hiermee kan objectief worden vastgesteld hoe de scanapparatuur presteert. Doelgroep I&A en DIV-hoofden binnen het concern Amsterdam. Herzieningstermijn van dit document Updates zullen op regelmatige basis plaatsvinden. Gerelateerde documenten Richtlijn standaard bestandsformaten voor digitaal geboren en gedigitaliseerde tekstdocumenten ten behoeve van het concern Amsterdam Stadsarchief Amsterdam Procedure digitale vervanging archiefbescheiden gemeente Amsterdam Deze procedure is gebaseerd op Beleidsregel vervanging archiefbescheiden Provincie Noord-Holland

7 Aanbevelingen migratie naar PDF/A ten behoeve van het concern Amsterdam Stadsarchief Amsterdam 2008 (concept). Stadsarchief Amsterdam. Standaard metadata voor digitaal informatiebeheer Stadsarchief Amsterdam Procedure digitale vervanging archiefbescheiden gemeente Amsterdam Stadsarchief

8 1. Afbakening Het in deze aanbevelingen beschreven proces van digitalisering is slechts een onderdeel van het hele traject van digitale informatievoorziening. Het reikwijdte van deze aanbevelingen is beperkt tot beschrijven van het proces van de omzetting van papieren documenten in digitale rasterbeelden (beelden bestaand uit beeldpunten of pixels), inclusief een aantal handreikingen betreffende de opslag en ontsluiting van het gedigitaliseerde materiaal. De volgende zaken liggen buiten de scope van deze aanbevelingen: Het exclusief omzetten van tekstdocumenten in machine leesbare tekst (middels OCR of overtypen) wordt in deze aanbevelingen niet behandeld. Het omschrijven van metadata-invoertrajecten is (in deze versie) geen onderdeel van deze aanbevelingen. In dit document gaat het specifiek over de digitalisering van moderne tekstdocumenten tot een maximale grootte van A2. Wanneer er sprake is van oud, kwetsbaar of materiaal met (kunst)historische waarde zijn er wellicht zwaardere, aanvullende eisen nodig. De Richtlijnen Preservation Imaging Metamorfoze (voortaan: Metamorfoze richtlijnen) 2 bieden mogelijk aanvullende eisen wat betreft verschillende aspecten. Andere archivalia als foto s, prenten en bouwtekeningen worden in deze aanbevelingen niet behandeld. 2 Richtlijnen Preservation Imaging Metamorfoze Begin 2009 verschijnt een 1.0 versie. 7

9 2. Voorbereiding Bij de voorbereiding van het project wordt aanbevolen de onderstaande vragen in ogenschouw te nemen. Dit is belangrijk voor een inschatting van de kosten, planning, aanbesteding en haalbaarheid van het uit te voeren project. 2.1 Doelstellingen project Het is van groot belang om tijdens de voorbereidingsfase de doelstellingen van het digitaliseringsproject zoveel mogelijk expliciet te maken. Er moet namelijk eerst bepaald worden (nog los van de vraag of het gaat om digitale vervanging of het creëren van digitale kopieën) welk gewicht de verschillende kwaliteitseisen zullen krijgen. Zo kan bij het ene project 100% volledigheid noodzakelijk zijn (ook bij het maken van digitale kopieën), terwijl bij een ander project een kleine foutmarge is toegestaan. Ook kunnen in een project bepaalde aspecten van de beeldkwaliteit (kleur- en detailreproductie) belangrijker zijn dan andere. Of gelden er speciale eisen betreffende lichten of handling. Ook kunnen er aanvullende eisen zijn betreft invoer van metadata (geen onderdeel van deze richtlijnen). Aanbevolen wordt, met het oog op de aanbesteding en de later uit te voeren kwaliteitscontrole, om voor de verschillende kwaliteitseisen foutmarges op te stellen. 2.2 Aard van het te digitaliseren bestand Vragen Gaat het om een dynamisch, semi-statisch of statisch bestand? Opmerkingen De workflow zal moeten worden ingericht naar de aard van het te digitaliseren bestand: Postverwerking of ander dynamisch archief: scanning van porties per dag (of anderszins) door secretariaatsmedewerkers, een gespecialiseerde afdeling of een externe partij. Retroscanning semi-statisch archief: scanning in zo kort mogelijke tijd door een interne of externe partij. Indien mogelijk kan dit in huis gebeuren. Bij externe scanning zijn goede afspraken nodig betreffende toegang tot de stukken (scanning on demand, buiten kantooruren, snelle verzending van de originelen). Retroscanning statisch archief: scanning in een of meerdere batches door interne of externe partij. Wanneer het archief veel wordt gebruikt, zijn er bij externe scanning goede afspraken nodig betreffende toegang tot de stukken (scanning on demand, buiten kantooruren, snelle verzending van de originelen). Tabel 1 Aard van het te digitaliseren bestand 8

10 2.3 Hoeveelheden Vragen Hoeveel documenten moeten worden gescand? Hoeveel pagina s moeten worden gescand? Opmerkingen Per geheel project en/of per tijdseenheid (uur, dag, week). Per geheel project en/of per tijdseenheid (uur, dag, week). Het Stadsarchief hanteert bij het scannen voor de Archiefbank een schatting gehanteerd op basis van meters op de plank: 1 meter zijn bij benadering 4500 en 5500 scans. Dit kan voor andere typen originelen (gebonden originelen, kaartsystemen, dikker of dunner papier) natuurlijk anders zijn. Tabel 2 Hoeveelheden 2.4 Materiaalanalyse Vragen Is er materiële voorbewerking nodig? Gaat het om losbladig of gebonden materiaal? Wat is het formaat of zijn de formaten van het materiaal? Is het materiaal eenvormig? Is het materiaal kwetsbaar? Is het papier vergeeld, is de Opmerkingen Bijvoorbeeld: Verwijderen van nietjes of paperclips Verwijderen van plakband Verwijderen van niet te scannen documenten Toevoegen van scheidingsbladen en verpakking in mappen en of dozen Toevoegen van barcodes Losbladig: misschien is doorvoerscanning mogelijk. Gebonden: mogen de pagina s worden losgesneden? Zo ja, misschien is doorvoerscanning mogelijk. Zo nee, dan is het de vraag of de scans per opening of per pagina moeten worden opgeleverd. Bij veel variatie van formaat kan doorvoerscanning lastig worden. Bij grote originelen (deze aanbevelingen zijn beperkt tot <A2) moet rekening worden gehouden met extra eisen (en kosten) voor vervoer, scanning en opslag (grotere bestanden). Zo ja, dan is er wellicht doorvoerscanning mogelijk. Zo ja, dan wordt aanbevolen een procedure voor handling van het materiaal te maken. Ook moet worden overwogen of het scannen op een zodanige hoogwaardige manier kan plaatsvinden, dat de analoge objecten digitaal kunnen worden vervangen. Zo ja, dan is het zinvol om in grijswaarden of kleur te 9

11 tekst moeilijk leesbaar (handschrift) of is er sprake van illustraties of foto s in documenten? Is er sprake van (incidenteel) betekenisvol kleurgebruik? Zijn de pagina s genummerd of is er sprake van een andere nummering? Hoe moet de pagina in de scan zijn uitgesneden? scannen. Zo nee, dan kan er hoogstwaarschijnlijk bitonaal (zwart-wit) worden gescand. De pagina s met betekenisvolle kleur moeten in kleur worden opgenomen. Sommige scan- of nabewerkingssoftware is in staat onderscheid te maken tussen kleur- en zwart-wit pagina s. Dit kan van belang zijn voor de kwaliteitscontrole (zie paragraaf 4.1 en 4.2). Keuze tussen: Schoongesneden pagina (geen randje rondom pagina zichtbaar). Pagina met randje rondom (zodat de hele bladspiegel zichtbaar is). Tabel 3 Materiaalanalyse 2.5 Detaillering Vragen Wat is de hoogte van de kleinste letter? Indien een document geen tekst bevat: Wat is de hoogte van het kleinste betekenisvolle detail? Opmerkingen Op basis hiervan kan de resolutie worden bepaald. Zie paragraaf Idem Tabel 4 Detaillering 2.6 Ontsluiting en metadata Vragen Hoe worden de gedigitaliseerde documenten gekoppeld aan de metadata? Zijn de documenten op basis van de bestaande metadata eenvoudig terug te vinden? Opmerkingen Gebeurt dit via een uniek ID in de bestandsnaam (eventueel via een concordantietabel 3 )? Zie ook paragraaf Zo nee, dan wordt aanbevolen te voldoen aan de minimumstandaard voor documenten zoals beschreven in Stadsarchief Amsterdam. Standaard metadata voor digitaal informatiebeheer Stadsarchief Amsterdam Wellicht is het dan nodig extra metadata toe te voegen. 3 Een concordantietabel is, in dit geval, een tabel waarin de nummering van de bestandsnaam wordt gerelateerd aan de (document)nummering in de metadata. 10

12 Is er (extra) invoer van metadata nodig? Zo ja, welke informatie is minimaal nodig en welke informatie is aanvullend? Zie: Stadsarchief Amsterdam. Standaard metadata voor digitaal informatiebeheer Stadsarchief Amsterdam. Tabel 5 Metadata 2.7 Lichting en vervoer Vragen Kan het materiaal eenvoudig worden gelicht en vervoerd? Uitgaande van scanning buiten de deur: kan het materiaal (voor langere tijd) worden gemist? Opmerkingen Zo nee, dan wordt aanbevolen de logistiek in kaart te brengen om daarmee inzicht te verschaffen in de knelpunten. Sowieso wordt aanbevolen een procedure op te stellen betreffende lichting en bij externe scanning het vervoer (wie licht en wie vervoert, wanneer gebeurt dat en wat wordt vervoerd). Zo nee, dan moeten er afspraken worden gemaakt met de dienstverlener over on demand scanning, snel transport van de opgevraagde documenten of scanning op locatie en/of buiten kantooruren. Tabel 6 Lichting en vervoer 2.8 Opslag Vragen Welke bestandsnaamconventie moet worden toegepast? Welk bestandsformaat moet worden gebruikt? In welke mate van duurzaamheid moeten de bestanden worden Opmerkingen Belangrijk is hiervoor een interne procedure te hanteren. Belangrijk is dat, in ieder geval binnen een dienst, een unieke bestandsnaam wordt toegekend. Belangrijk is dat de bestandsnaam, al dan niet via een concordantietabel, gekoppeld is aan de metadata. Er zijn goede redenen om betekenisloze bestandsnamen te gebruiken. Zie: SAA publicatie M. Holtman, Digitalisering vereenvoudigd, hoofdstuk zes. 4 Zie: Richtlijn standaard bestandsformaten voor digitaal geboren en gedigitaliseerde tekstdocumenten ten behoeve van het concern Amsterdam Stadsarchief Amsterdam In het geval van digitale vervanging is dit afhankelijk van de voorgeschreven bewaartermijn. Gedurende deze bewaartermijn moet het digitale bestand het originele 4 Marc Holtman, Digitalisering vereenvoudigd. Grootschalig digitaliseren ten behoeve van archiefonderzoek. Versie 1.1 Stadsarchief pdf 11

13 opgeslagen? Hoeveel opslagruimte is nodig? brondocument vervangen. Ook is duurzame opslag een eis 5. Worden er digitale kopieën gemaakt, dan geldt duurzame opslag ook als een aanbeveling. Is dit om praktische of financiële redenen niet mogelijk, dan geldt de minimale aanbeveling van redundante opslag, eventueel door middel van een toegangsexemplaar voor online gebruik en een master exemplaar offline (op hard disk, CD of DVD). Dit kan (bij benadering) worden uitgerekend na bepaling van het volgende: De hoeveel benodigde scans Het (gemiddelde) formaat van de brondocumenten Of er in bitonaal, in grijswaarden of in kleur wordt opgenomen Met welke resolutie er wordt opgenomen Welk bestandsformaat wordt gebruikt en hoeveel compressie wordt toegepast Gebruik voor de berekening van de benodigde opslagruimte de spreadsheet die beschikbaar zal worden gesteld door het Stadsarchief Amsterdam. Tabel 7 Opslag 5 Zie voor de eisen aan een duurzaam digitaal depot: de ED3 norm: 12

14 3. Uitgangspunten digitalisering en kwaliteitseisen In dit hoofdstuk worden uitgangspunten voor digitalisering en de bijbehorende kwaliteitseisen geformuleerd. Deze uitgangspunten gaan, los van de vraag of het gaat om digitale vervanging of het maken van digitale kopieën, uit van een zoveel mogelijk volledige, goed leesbare, interpreteerbare, vindbare en duurzaam opgeslagen collectie gedigitaliseerde tekstdocumenten. Op basis van de doelstellingen (zie paragraaf 2.1) van een specifiek project kunnen sommige eisen zwaarder wegen dan andere. Er is in het onderstaande een onderscheid gemaakt tussen eisen betreffende het opnameproces en eisen die de opslag en ontsluiting aangaan. Ook is een onderscheid gemaakt tussen minimale en optionele uitgangspunten. 3.1 Opnameproces Minimale uitgangspunten Uitgangspunten Alle pagina s van een document moeten zijn gescand. De volgorde van de digitale kopie moet gelijk zijn aan die van het brondocument. De scans moeten even goed leesbaar zijn als het brondocument. Inhoudelijke elementen (afbeeldingen, illustraties, tabellen, schema s etc.) moeten even goed zichtbaar zijn als in het brondocument. Kwaliteitseisen Volledigheid Juiste volgorde Eisen betreffende beeldkwaliteit en beeldpositionering: - Detailreproductie - Tonale reproductie - Kleurreproductie - Juiste uitsnede Idem Tabel 7 Minimale uitgangspunten opnameproces Optionele uitgangspunten Uitgangspunten Het document moet in de scan juist zijn gepositioneerd. Kwaliteitseisen Aanvullende eisen betreffende de beeldpositionering: - Staat het document recht? - In geval van gebonden delen: oplevering per opening of per pagina Tabel 8 Optionele uitgangspunten opnameproces In de onderstaande paragrafen (3.1.1 t/m 3.1.4) worden de kwaliteitseisen uitgewerkt. 13

15 3.1.1 Volledigheid De volledigheid kan tot op zekere hoogte worden afgedwongen. Daarvoor zijn verschillende methodes beschikbaar, met verschillende mate van nauwkeurigheid. Zie paragraaf 4.1 over kwaliteitscontrole Juiste volgorde De volgorde van de digitale kopie moet gelijk zijn aan die van het brondocument. Dit kan tot op zekere hoogte worden afgedwongen door (steekproefsgewijze) controle van eventueel aanwezige nummering of 1:1 vergelijking met het origineel Detailreproductie Uitgangspunt bij de detailreproductie is de resolutie waarop de documenten worden opgenomen. Hierbij kan worden uitgegaan van de lettergrootte of het kleinste betekenisvolle detail 6 : Lettergrootte Kleinste betekenisvolle detail Aanbevolen resolutie Grijswaarden en kleurenscans Aanbevolen resolutie bitonale scans 1 mm ( beursberichten ) 0,2 mm 300 ppi 400 ppi 1,5 mm ( normale drukletter ) 0,3 mm 200 ppi 300 ppi 2 mm ( grote letter ) 0,4 mm 150 ppi 200 ppi Tabel 9 Aanbevolen resolutie op basis van lettergrootte of kleinste betekenisvolle detail Wanneer de tekst moet worden geocred,wordt aanbevolen altijd op 300 ppi (en in grijswaarden of kleur) te scannen. Dit heeft te maken met de voorkeuren van OCR-software. Resolutie is helaas geen sluitend kwaliteitscriterium wat betreft de gereproduceerde hoeveelheid detail. Voor een objectieve ijking betreffende de detailwaarneming van de scanapparatuur wordt verwezen naar Bijlage 1. Nabewerking Het is mogelijk het gescande beeld extra te verscherpen om zo de leesbaarheid te vergroten. Dit is een middel dat met grote voorzichtigheid moet worden toegepast. De indruk van scherpte is een sterk subjectief gegeven dat van mens tot mens verschilt. Bij toepassing van teveel verscherping treedt bij grijs- en kleurenafbeeldingen het zogenaamde halo-effect op: dit is een wit randje rondom contrastrijke delen (bijvoorbeeld letters) in het beeld Tonale en kleurreproductie Bij de tonale reproductie gaat het om de mate waarin de helderheidswaarden - de waarden tussen het donkerste en lichtste element - van het brondocument worden weergegeven. Bij kleurreproductie gaat het om de mate waarin de kleurinformatie van het origineel terugkeert in de digitale kopie. 6 Deze resolutieaanbevelingen sluiten aan bij de Quality Index zoals omschreven in bijlage 3 van de Procedure digitale vervanging archiefbescheiden gemeente Amsterdam en de Richtlijnen Metamorfoze preservation imaging (die alleen uitgaan van grijswaarden- en kleurenscanning). Zie voor verdere onderbouwing bijlage 1, detailreproductie. 14

16 Daarbij gaat het ten eerste om de keuze tussen grijswaarden- (8 bits), kleuren- (24 bits) en bitonale (1 bit) scanning. Wanneer er sprake is van foto s, fijnmazige illustraties of een gering contrast tussen letter en achtergrond (bijvoorbeeld door vergeling van het papier of door een slechte kwaliteit drukletter of handschrift), wordt digitalisering in grijswaarden aanbevolen. Wanneer kleur een betekenisvolle rol heeft die als significante eigenschap geldt, moet in kleur worden opgenomen of moet de betekenis van de kleur anderszins bewaard blijven. In alle andere gevallen volstaat bitonale (zwart-wit) scanning. Wanneer OCR toegepast gaat worden, is scanning in grijswaarden- of kleur aan te bevelen. Dit heeft over het algemeen een beter OCR-resultaat tot gevolg. Voor bitonale scanning geldt dat de drempelwaarde tussen zwart en wit zo moet zijn ingesteld (vaak gebeurd dit automatisch), dat er geen tekstuele informatie wegvalt. Daarbij is het zinvol te letten op kleine onderdelen als punten, komma s en de schreef van letters. Een minimumaanbeveling voor grijswaarden- en kleurscanning is het verhoeden van clipping of overbelichting. Dit is wanneer de RGB-waarden in de lichte gebieden van de afbeelding (de hoge lichten) op 0 uitkomen. Dit kan als gevolg hebben dat er informatie in de hoge lichten verloren gaat. Een verdergaande aanbeveling is de hoge lichtgamma zoals die is verwoord in Metamorfoze richtlijnen (zie paragraaf Tonale weergave). Deze eis zal in de gemeentelijke context slechts in zeldzame gevallen zinvol zijn. Voor kleurreproductie geldt de minimale eis dat de kleur van het brondocument als zodanig herkenbaar is. Dat wil zeggen dat groen niet blauw moet zijn en rood niet paars. Dit kan vanaf een redelijke en goed afgestelde monitor visueel worden vastgesteld. Wanneer kleur ook echt betrouwbaar moet zijn (en dat zal in de gemeentelijke documentaire context zelden voorkomen), is het zaak de eventuele kleurafwijking vast te stellen. Hiertoe moet minimaal de zogenaamde kleurzweem worden gemeten. Dit wordt behandeld in Bijlage 1. De tonale en kleurreproductie kan objectief worden vastgesteld door de scanapparatuur te ijken. Ook hiervoor wordt verwezen naar Bijlage 1. Nabewerking Het is met geavanceerde nabewerkingstechnieken mogelijk in één scan zowel kleuren als bitonale elementen op te nemen. De initiële scans worden dan eerst in kleur gemaakt, waarna in het nabewerkingsprogramma kleur- van zwart-wit elementen wordt gescheiden. Ook is het mogelijk de leesbaarheid te vergroten door het toepassen van filters die eventuele achtergrondkleur of anderszins getinte achtergrond wegfilteren. Deze filters dienen met enige voorzichtigheid te worden ingezet, omdat bij te intensief gebruik de leesbaarheid uiteindelijk in het geding kan komen. Het is zaak bij verandering van type originelen de effectiviteit van de gebruikte nabewerkingsfilters te controleren Juiste uitsnede De eis geldt dat er bij de uitsnede (of cropping) van de pagina geen betekenisvolle informatie wordt verwijderd. 15

17 3.1.6 Beeldpositionering Eventuele extra eisen kunnen gesteld worden aan de positionering van het origineel in de digitale opname. Het gaat daarbij om: het rechtzetten van scheef opgenomen pagina s in geval van gebonden delen: is er per pagina of per opening opgeleverd? 3.2 Opslag en ontsluiting Minimale uitgangspunten Uitgangspunten De scans moeten worden opgeslagen met een open en voor langetermijnarchivering geschikt bestandsformaat. Alle gescande documenten moeten uniek zijn te identificeren. Alle gescande documenten moeten terugvindbaar zijn. Kwaliteitseisen Lijst van bestandsformaten voor gedigitaliseerde formaten uit Richtlijn standaard bestandsformaten 7. Gebruik van een bestandsnaamconventie die afdwingt dat alle individuele scans of samengestelde digitale documenten (in PDF) worden voorzien van een (binnen de dienst) unieke bestandsnaam. Alle documenten moeten zijn gekoppeld aan een beschrijving. Tabel 10 Minimale uitgangspunten opslag en ontsluiting Optionele uitgangspunten Uitgangspunten Het bestand waarin het document is opgeslagen moet valide zijn. In geval van kleurenscanning moeten de scans zijn opgeslagen in een gestandaardiseerde kleurruimte. De documenten moeten zijn voorzien van een minimale set beschrijvende metadata. Alle individuele scans of samengestelde digitale documenten (in PDF) moeten zijn voorzien van technische metadata. Kwaliteitseisen Dit is op te splitsen in twee eisen: 1. De extensie moet daadwerkelijk het bestandsformaat aangeven. 2. Het bestand moet voldoen aan de specificaties van het bestandsformaat. Gebruik van srgb kleurruimte. Aanbevolen wordt om tenminste de verplichte (Dublin Core) elementen voor documenten te gebruiken zoals beschreven in Stadsarchief Amsterdam.Standaard metadata voor digitaal informatiebeheer. In onderzoek. 7 Richtlijn standaard bestandsformaten voor digitaal geboren en gedigitaliseerde tekstdocumenten ten behoeve van het concern Amsterdam Stadsarchief Amsterdam

18 Tabel 11 Optionele uitgangspunten opslag en ontsluiting In de onderstaande paragrafen (3.2.1 t/m 3.2.7) worden de kwaliteitseisen uitgewerkt Bestandsformaten Bij bestandsformaten kan er worden gekozen voor opname van een of meerdere afbeeldingen in PDF (en is daarmee de eenheid van het document vastgelegd), of voor opname als losse afbeeldingen. In dat geval moeten de eenheid en de volgorde van het document worden vastgelegd in structurele metadata. Ook kan dan per document een directory worden aangemerkt. Voor overige overwegingen betreffende de keuze van de onderstaande bestandsformaten wordt verwezen naar Richtlijn standaard bestandsformaten voor digitaal geboren en gedigitaliseerde tekstdocumenten ten behoeve van het concern Amsterdam (2008). In het onderstaande wordt volstaan met een opsomming van de aanbevolen bestandsformaten. Opslag in PDF schil: PDF/A-1b (keuze uit verschillende compressieschema s) Opslag als losse afbeeldingen (geen volgorde van voorkeur) TIFF 6.0 Baseline uncompressed TIFF 6.0 Baseline Group 4 (lossless compressie voor bitonale afbeeldingen) JPEG 2000 part 1 lossless of lossy JPEG 1.02 (is lossy, alleen voor grijswaarden en kleurenafbeeldingen) Bestandsnaamgeving Het hanteren van een bestandsnaamconventie die, binnen de dienst, de uniciteit afdwingt van de gebruikte bestandsnamen is van groot belang. De unieke identifier in de bestandsnaam is de basis waarop de koppeling plaatsvindt naar de metadata Koppeling document aan beschrijving Alle gescande documenten moeten zijn gekoppeld aan een beschrijving. Dit kan op twee manieren: 1. Direct op basis van een koppeling tussen de unieke identifier in de bestandsnaam en het record. 2. Via een concordantietabel die de identifier in de bestandsnaam, via een tussentabel, koppelt aan het juiste record Validiteit van het bestand De validiteit van een bestand wordt afgemeten aan twee eisen: 1. De extensie moet daadwerkelijk het bestandsformaat aangeven: is janpieter.jpg daadwerkelijk een JPEG? In zeldzame gevallen komt dit (meestal door foutieve hernoeming van de bestandsnamen) niet overeen. Met behulp van software die de bestandsheader analyseert, bijvoorbeeld DROID en JHOVE, kan het zogenaamde MIME-type worden geïsoleerd. 8 Het MIME-type bevat een ondubbelzinnige aanduiding van het formaat. 8 DROID is open source software die bestanden batchmatig kan identificeren. Het is gemaakt in het kader van het PRONOM van de Britse National Archives Introductie DROID software. DROID homepage: JHOVE is een veel zwaarder pakket dat ook bestanden 17

19 2. Het bestand moet voldoen aan de specificaties van het bestandsformaat. Hierbij gaat het om een diepere analyse van de bestandsheader waarbij wordt gekeken of de headerinformatie voldoet aan de in de specificaties beschreven eisen. Dit kan met software - als JHOVE - die de header van het bestand analyseert en toetst aan de specificaties (en versie) van het gebruikte formaat. Zeker bij grote retro-trajecten en projecten waarbij digitaal wordt vervangen, wordt het controleren op validiteit aanbevolen. Zie voor de controle op validiteit onderstaande paragraaf Kleurruimte Een kleurruimte is een 3D-kleurmodel waarin de kleurmogelijkheden van de afbeelding mathematisch zijn vastgelegd. Het is voor langetermijnbewaring belangrijk dat afbeeldingen worden opgeslagen in een bekende, standaard kleurruimte. In de context van deze aanbevelingen voldoet de srgb kleurruimte Beschrijvende metadata Aanbevolen wordt de verplichte (Dublin Core) elementen voor documenten te gebruiken zoals beschreven in Stadsarchief Amsterdam. Standaard metadata voor digitaal informatiebeheer Daarnaast zijn ook een aantal aanbevolen en optionele elementen beschikbaar Technische metadata Onder technische metadata wordt hier verstaan: metadata die enerzijds de langetermijnopslag faciliteren en anderzijds documentatie over het opnameproces bevatten. Dit onderdeel is in onderzoek. Op termijn (2009) zullen de criteria worden geformuleerd in Stadsarchief Amsterdam. Standaard metadata voor digitaal informatiebeheer. Hoogstwaarschijnlijk zal dit gaan om metadata die aan de bestandsheader kunnen worden onttrokken (en dus onderdeel kunnen uitmaken van de laadprocedure of ingest) en minimaal betrekking hebben op het bestandsformaat, de versie van het bestandsformaat en de aanmaakdatum. batchmatig kan identificeren (naast ook validatie). Ook JHOVE is open source sofware en is ontwikkeld door JSTORE en Harvard University Library. JHOVE homepage: 9 srgb=standard RGB, Microsoft 18

20 4. Kwaliteitscontrole Aanbevolen wordt de kwaliteitscontrole te laten plaatsvinden op basis van de bovenstaande kwaliteitseisen. Het is daarbij zinvol om de controleprocedure op papier te zetten en voor de verschillende kwaliteitseisen foutmarges te hanteren. 4.1 Volledigheid De volledigheid is op de volgende manieren te controleren (met afnemende mate van nauwkeurigheid): Bij doorvoerscanning kan een batch twee maal worden gescand en bij verschillen tussen de batches opnieuw worden gescand 10. Door 1:1 controle tussen scans en originelen. Bij genummerde of gepagineerde originelen kan de nummering worden gerelateerd aan het aantal scans. Door het nemen van een aselecte of directe (van bijvoorbeeld een lastig document) steekproef uit een batch, waarbij met name wordt gelet op eerste en laatste scans van een set documenten. 4.2 Juiste volgorde De volgorde van een document kan op de volgende manieren worden gecontroleerd: Wanneer er sprake is van een doorlopende nummering kan (steekproefsgewijs) worden bekeken of de nummervolgorde klopt. Vergelijk het brondocument met de digitale kopie en bekijk met name of de eerste en laatste pagina overeenkomen. 4.3 Beeldkwaliteit Bij de controle van beeldkwaliteit gaat het primair om de vraag of er geen betekenisvolle informatie is weggevallen tijdens het opnameproces. Er kan hierbij worden gewerkt met steekproeven en/of een (lastig) controle-origineel dat steeds opnieuw in het productieproces wordt opgenomen en dat op deze manier fungeert als een ijkpunt Detailreproductie De vraag is hier of alle betekenisvolle details zijn weergegeven. De controle bestaat uit de volgende stappen: Is er met voldoende en met de juiste resolutie gescand (zie tabel 3) 11? 10 Dit kan in theorie ook bij niet-doorvoerscanprojecten worden gedaan: dit is echter qua scankosten niet realistisch. Deze werkwijze wordt bij doorvoerprojecten (als bijvoorbeeld het scannen van archiefkaarten van de dienst DPG door het Stadsarchief toegepast. 11 Hierbij wordt er wel van uitgegaan dat de resolutie zoals die in de header van het bestand wordt weergegeven, inderdaad klopt. In gevallen waarbij met een cameraopstelling wordt gewerkt komt het echter nog al eens voor dat de werkelijke resolutie anders is dan de resolutievermelding in de header. Dit valt te controleren door de afmetingen van het brondocument te vergelijken (in bijvoorbeeld Photoshop) met die van de afdrukgrootte van de digitale kopie. Is de afdrukgrootte van de digitale kopie lager dan de afmetingen van het origineel dan zal de daadwerkelijke resolutie ook lager zijn (bijvoorbeeld: brondocument A4: 21 cm breed, in header: 300 ppi-> afdrukgrootte digitale kopie 18 cm breed -> daadwerkelijke resolutie: 18/21x300=257 ppi). Andersom geldt een hogere resolutie. Dit gezegd hebbende: op zich is er nog niets aan de hand wanneer er geen betekenisvolle details verloren gaan. Visuele controle of ijking (zie bijlage 1) moeten dan uitkomst bieden. 19

21 En wanneer dit het geval is: zijn alle letters goed leesbaar, zijn alle betekenisvolle details goed zichtbaar? Wanneer dit niet het geval is, kan het zinvol zijn de scanapparatuur te ijken (zie Bijlage 1). Is er niet teveel verscherpt? Controleer bij grijswaarden of kleurenbeelden op het halo -effect rond letters Tonale reproductie De vraag is hier of er door verkeerde contrastinstellingen of te intensieve nabewerking informatieverlies is opgetreden. Bitonaal scannen De drempelwaarde tussen zwart en wit moet zo zijn ingesteld (vaak gebeurd dit automatisch) dat er geen tekstuele informatie wegvalt. Daarbij is het zinvol te letten op kleine onderdelen als punten, komma s en de schreef van letters. Grijswaarden en kleurenscanning Let op of er clipping/overbelichting (RGB waarden zijn 0) in het beeld optreedt. Dit kan door in fotobewerkingsprogramma s als Adobe Photoshop of Gimp 12 in de lichte delen van de afbeelding een RGB meting uit te voeren. Wanneer er sprake is van clipping, controleer dan of er in de lichte gebieden geen informatie is weggevallen Kleurreproductie Neem een steekproef van documenten met betekenisvolle kleurinformatie. Controleer het volgende: 1. Zijn documenten met betekenisvolle kleur daadwerkelijk in kleur opgenomen? 2. Is de gereproduceerde kleur grofweg gelijk is aan die van het brondocument? De vraag daarbij is of rood, rood is en niet hoe betrouwbaar de gereproduceerde kleur rood is. Gebruik voor deze controle een kleurbetrouwbare en liefst kleurgekalibreerde monitor. Blijkt de kleurbetrouwbaarheid wel een issue te zijn, dan wordt verwezen naar Bijlage 1. Er moet dan minimaal op kleurzweem worden gecontroleerd Juiste uitsnede De vraag is hier of betekenisvolle informatie is verdwenen door onjuiste cropping. Dit kan 1:1 of door een steekproef worden gecontroleerd. 4.4 Positionering Het volgende kan 1:1 of per steekproef worden gecontroleerd: Rechtzetten: staan de pagina s recht? In geval van gebonden delen: is er per pagina of opening opgeleverd? 4.5 Bestandsformaat Bij deze controle gaat het om de vraag of de opgeleverde documenten zijn opgeslagen in het afgesproken bestandsformaat. Dit kan worden gecontroleerd op basis van de extensie. Deze 12 Gimp is open source fotobewerkingssoftware: 20

22 controle is echter beperkt in zeldzame gevallen komt de extensie niet overeen met het daadwerkelijk bestandsformaat. Zie paragraaf 4.8 voor de controle van de overeenkomst tussen het bestandsformaat en de extensie. 4.6 Bestandsnaamgeving Bij de controle op de bestandsnaamgeving moet op het volgende worden gelet: Is de afgesproken bestandsnaamconventie aangehouden? Als de bestandsnaamconventie een vast aantal karakters voorschrijft, kan er worden gecontroleerd op het aantal tekens in de bestandsnaam. Zijn er geen verboden tekens gebruikt:\ / : *? < > Hebben de bestanden een extensie? 4.7 Koppeling document en metadata Idealiter zou de controle of de scans daadwerkelijk koppelen aan de metadata een onderdeel moeten zijn van de kwaliteitscontroleprocedure. In de praktijk zal deze controle echter pas plaatsvinden na het laden van de afbeeldingen in het opslagsysteem. Er zullen goede afspraken moeten worden gemaakt over de te volgen procedure wanneer er fouten optreden (hoe te verbeteren, door wie en op welke termijn). Mogelijke problemen: Afbeeldingen zonder koppeling naar metadata Metadata zonder afbeeldingen 4.8 Validiteit van het formaat De controle op de validiteit vindt plaats op twee niveaus: 1. Identificatie van het bestandsformaat vindt plaats door het uitlezen van het MIMEtype uit de bestandsheader. Dit kan worden gecontroleerd door gebruik te maken van de reeds genoemde software DROID en JHOVE. Afbeelding 1. Screenshot DROID. In dit voorbeeld zijn er twee PDF bestanden en een TIFF bestand geanalyseerd. 21

23 2. De controle of het bestand voldoet aan de specificaties van het bestandsformaat kan worden gecontroleerd met de JHOVE tool. In de output van JHOVE kan worden bekeken of het bestand al dan niet valide is. In onderstaand voorbeeld van een (gedeeltelijk) JHOVE outputbestand (in XML) is dit zichtbaar in het statusveld: <jhove xmlns:xsi=" xmlns=" xsi:schemalocation=" name="jhove" release="1.1 (pre-release i)" date=" "> <date> t15:58:58+01:00</date> - <repinfo uri="c:%5ctemp%5cjhove_test%5cinput%5caanbevelingen%20migratie%20 naar%20pdfa_versie%2001_pdfa_foxit.pdf"> <reportingmodule release="1.6" date=" ">pdf-hul</reportingmodule> <lastmodified> t10:22:08+01:00</lastmodified> <size>890658</size> <format>pdf</format> <version>1.3</version> <status>well-formed and valid</status> 4.9 Kleurruimte De aanwezigheid van een gestandaardiseerde kleurruimte kan worden gecontroleerd door de afbeelding te openen in de Windows Verkenner en vervolgens de eigenschappen van het bestand op te vragen: Afbeelding 2. Screenshot Windows Verkenner, eigenschappen van een afbeelding. Ook kan fotobewerkingssoftware (afbeeldingseigenschappen) of de bovengenoemde JHOVE tool (in de output van de bestandsheader is de kleurruimte namelijk meegenomen) worden gebruikt om de kleurruimte te verifiëren. 22

24 4.10 Beschrijvende metadata De methode van kwaliteitscontrole op eventueel ingevoerde metadata maakt geen deel uit van de huidige versie van deze aanbevelingen. 23

25 5. Bronnenlijst Wettelijke context Beleidsregel vervanging archiefbescheiden Provincie Noord-Holland Procedure digitale vervanging archiefbescheiden gemeente Amsterdam (voor de vervanging van papier naar digitaal) (jaartal onbekend) Richtlijnen en aanbevelingen digitalisering Hans van Dormolen e.a., Richtlijnen Preservation Imaging Metamorfoze, KB Nieuwe, 1.0 versie verwacht begin Marc Holtman, Roberto Bourgonjen en Ellen Fleurbaay, Digitalisering ontrafeld. Technische aspecten van digitale reproductie van archiefstukken, Stadsarchief Amsterdam italisering_ontrafeld_web.pdf Marc Holtman, Digitalisering vereenvoudigd. Grootschalig digitaliseren ten behoeve van archiefonderzoek. Versie 1.1 Stadsarchief Amsterdam italisering_vereenvoudigd.pdf Richtlijnen en procedures voor uitvoering van projecten in het kader van Het Geheugen van Nederland, Projectbureau Het Geheugen van Nederland en%20en%20procedures%20geheugen%20openbaar%204.1.pdf DE BASIS van DEN Digitale duurzaamheid ANSI/NISO Z Data Dictionary - Technical Metadata for Digital Still Images. 3e2ee526252d9f830207b3cc9f3b6c2c Reference Model for an Open Archival Information System (OAIS) 2002, Andrew Wilson, Significant Properties Report, AHDS age=8\ ED 3 Eisen Duurzaam Digitaal Depot toetsingskader voor de beheersomgeving van blijvend te bewaren digitale informatie Versie 1 Landelijk Overleg Provinciale Archief Inspecteurs (LOPAI) mei

26 6 Begrippenlijst Bestandsformaat Een bestandsformaat geeft betekenis en structuur aan een bit-stream (een ongestructureerde sequentie van bits 13 ) zodat het kan worden opgeslagen of verzonden. Bestandsheader Ook wel: file header, header In IT-context is de header de data die geplaatst is aan het begin van een opgeslagen of verzonden dataeenheid (een bestand). Belangrijkste informatie in de header is de aanduiding van formaat, zodat de rest van de data juist kan worden geïnterpreteerd. Bitdiepte De hoeveelheid helderheids- of kleurwaarden per pixel. Meest gebruikte bitdieptes: 1 bit bitonaal: zwart of wit. 8 bits grijswaarden: 256 grijs- of kleurwaarden. 24 bits RGB (Red, Green, Blue): 16.7 miljoen kleurwaarden. Bitonale afbeelding Een rasterafbeelding waarvan de pixels slechts twee waarden kunnen hebben: zwart of wit. De bitdiepte van een bitonale afbeelding is 1. Clipping Ook wel: overbelichting. Dit treedt op wanneer (ergens) in de afbeelding de RGB of helderheidswaarden uitkomen op 0. Wanneer er zich beeldinformatie in de hoge lichten bevindt, zal dit door clipping verloren gaan. 14 Comprimeren, compressie Het op een intelligente manier hergroeperen (encoderen) van computerdata waardoor een bestand in omvang afneemt. Om een gecomprimeerd bestand te kunnen lezen moet het worden gedecodeerd. Comprimeren kan op een lossless (zonder verlies van informatie) of lossy (met verlies van informatie) manier. Lossy compressie levert meer opslagwinst dan lossless compressie. In de context van digitale duurzaamheid kan compressie in twee opzichten problematisch zijn: 1. Bij lossy compressie kan essentiële informatie verloren gaan. 2. Compressie maakt een bestand complexer door de gebruikte encodering. Voor toekomstig gebruik is altijd een decoder nodig om het bestand te kunnen lezen. Bij compressie van afbeeldingen wordt er soms gesproken van mathematic lossless compression en visual lossless compression. 15 Bij het eerste gaat er geen enkele data verloren, bij het tweede wel, maar is dit niet zichtbaar in de afbeelding. 13 De definitie van bit-stream luidt: The transmission of binary digits as a simple, unstructured sequence of bits Zie enkele sprekende voorbeelden en verdere uitleg: 15 Robert Buckley, Technology Watch Report. JPEG a Practical Digital Preservation Standard? p

27 Concordantietabel Een concordantietabel is, in de context van deze aanbevelingen, een tabel waarin de nummering van de bestandsnaam wordt gerelateerd aan de (document)nummering in de metadata. Digitalisering De enge definitie van digitalisering is: het omzetten van een analoge bron naar een digitale kopie. De brede definitie luidt: het bewerken van een papieren collectie naar een digitale collectie, inclusief beleid, logistiek, metadata, (duurzame) opslag en het bieden van toegang, beheer en nazorg. Doorvoerscanner Een scanner die de mogelijkheid heeft losbladig materiaal stuksgewijs op te nemen. Sinds een aantal jaar zijn er ook de scanners op de markt die gebonden originelen automatisch kunnen scannen. De scanner slaat dan zelf de pagina s om. Bijvoorbeeld: Duurzaam digitaal depot, e-depot, Digitaal Bewaar Depot (DBD) Digitaal archief waarin bestanden en metadata duurzaam worden bewaard. Een bekend en wijd verspreid model voor het opzetten van een e-depot is OAIS 16. De Nederlandse vertaling van dit model is het ED3 model ( Grijswaarden afbeelding Een rasterafbeelding waarbij de pixels tussen zwart en wit, verschillende tinten grijs kunnen aannemen. Meestal zijn dit 256 tinten (de afbeelding is dan 8 bits, 2 8 = 256), maar dat kunnen er ook meer (meestal 16 bits of tinten grijs) of minder zijn. Kleurenafbeelding Ook wel: RGB (Red, Green, Blue) afbeelding. Een rasterafbeelding waarbij de pixels tussen zwart en wit, verschillende kleurmogelijkheden kunnen aannemen. Meestal zijn dit kleurmogelijkheden (de afbeelding is dan 24 bits, 2 24 = ), maar dat kunnen er ook meer (32 of 48 bits) of minder (veelal beperkt palet, 8 bits) zijn. Kleurruimte Ook wel: kleurenruimte, colo(u)r space Mathematisch model dat kleur numeriek beschrijft. Dit gebeurt meestal in een 3D-model (analoog aan de werking van het menselijk oog). Strikt genomen is een kleurenruimte een combinatie van een theoretisch kleurenmodel of color model (als CIE, RGB of CMYK) en color mapping function naar een absolute kleurenruimte (zoals CIELab, srgb en AdobeRGB). In deze aanbevelingen voldoet de srgb (standardized RGB) kleurruimte. Deze kleurruimte is ontwikkeld door HP en Microsoft voor het gebruik op monitors, printers en het internet. Omdat elk medium voor input (camera, scanner) en voor output (monitor, printer, drukpers, papier) een eigen, unieke kleurenruimtes bezit, dient er voor een kleurbetrouwbare weergave vertaald te worden tussen de verschillende kleurenruimtes. Dit is de basis van kleurmanagement. Een belangrijk onderdeel van kleurmanagement zijn zogenaamde ICC 16 Een korte omschrijving van OAIS op e-david: 26

28 (International Color Consortium) profielen. In deze ISO-gestandaardiseerde profielen worden de kleureigenschappen (of -afwijkingen) van input- of outputmedia vastgelegd. MIME-type MIME betekent letterlijk: Multipurpose Internet Mail Extensions. In eerste instantie is het uitgevonden om verkeer te structuren wat attachments, karakter-encoding en fonts betreft. Het gebruik van het MIME-type is uitgegroeid tot de identificatiemethode van bestanden op het internet en daarbuiten. Een MIME-type bestaat uit twee delen. Bijvoorbeeld: image/jpeg (JPEG bestand), application/msword (Word bestand) of application/pdf (PDF bestand). Nabewerken (van een digitale afbeelding) Het software bewerken van een digitale afbeelding nadat de opname is gemaakt. Sommige nabewerkingen zijn in de praktijk nauwelijks te scheiden van het opnameproces omdat ze plaatsvinden in verwerking van het beeld in de camera of scanner. OCR OCR = Optical Character Recognition. Ook wel optische tekenherkenning. Een softwarematig proces waarbij van een gescand tekstdocument de tekst wordt herkend en omgezet in machine-leesbare tekst. Rasterafbeelding Een digitale afbeelding bestaande uit beeldpunten of pixels waarbij elke pixel een bepaalde bitdiepte heeft. Scanapparatuur In dit document: alle apparatuur waarmee een analoog brondocument kan worden omgezet naar een digitaal rasterbeeld. Digitale camerasystemen, overheadscanner, flatbledscanners, doorvoerscanners (zie bovenstaande definitie), Resolutie Ook wel: spatiale resolutie In de context van een digitale afbeelding houdt resolutie de hoeveel pixels per inch 2 (of soms ook cm 2 ) in, ten opzicht van het originele object. Hoe hoger het aantal pixels per inch, des te meer detaillering er mogelijk is. De resolutie wordt echter gelimiteerd door het optische systeem en de kwaliteit van de hardware (met name zichtbaar in ruis) van de scanner of camera. Scannen Enge definitie: het fotografisch omzetten van een analoge bron in een digitaal rasterbeeld met behulp van scanner. Brede definitie: het fotografisch omzetten van een analoge bron in een digitaal rasterbeeld met behulp van een willekeurige opnameapparaat. Deze brede definitie is in dit document gebruikt. Scanner Een fotografisch apparaat dat lijn voor lijn een beeld opneemt (met een lijn CCD) en omzet in digitaal rasterbeeld. Meest gebruikte toepassing is een flatbedscanner of een scanachterwand (een scanner die achter op een camerahuis wordt geplaatst. Ter vergelijking: een digitale camera produceert in één keer een digitaal beeld (met een vaste CCD). 27

29 Bijlage 1 IJking scanapparatuur Op basis van de in de deze bijlage beschreven ijking kan objectief (dat wil zeggen: meetbaar) worden vastgesteld hoe de apparatuur in het productieproces zal presteren. Omdat omstandigheden, instellingen en apparatuur kunnen variëren is het raadzaam met zekere regelmaat de ijking te herhalen. In een kwalitatief meer veeleisende workflow kunnen ijkingen per dag(deel) of op andere regelmaat plaatsvinden. De onderstaande beschrijving van de ijking is grotendeels gebaseerd op Metamorfoze richtlijnen. In het onderstaande worden vier ijkingen behandeld: 1. Detailreproductie 2. Tonale reproductie 3. Kleurreproductie 4. Ruis Voor andere mogelijke ijkingen wordt verwezen naar Metamorfoze richtlijnen. 1. Detailreproductie Bij de ijking van de detailreproductie is niet de resolutie het uitgangspunt, maar een daadwerkelijke meting van het gereproduceerde detail. Om de mate van detaillering objectief te kunnen vaststellen, kan er gebruik worden gemaakt van een zogenaamde lijnenparentestkaart of testkaart. Een lijnenpaar is een gegroepeerde zwarte en witte lijn. In een traditionele lijnenparentestkaart (zoals gebruikt bij microverfilming), wordt het aantal lijnenparen per millimeter (in horizontale en verticale richting) steeds verder opgevoerd: Afbeelding 3. Lijnenparentestkaart voor microfilmgebruik Lijnenparen per millimeter (lp/mm) zijn te koppelen aan detailweergave en resolutie. Voor de weergave van bijvoorbeeld een detail van 0,2 mm zijn minimaal 5 lp/mm nodig en om 5 lp/mm digitaal te reproduceren is minimaal 254 ppi nodig 17. Dit wordt naar boven afgerond 17 Dit wordt als volgt berekend: voor de reproductie van het kleinste betekenisvolle detail is minimaal 1 lijnenpaar nodig. Voor een detail van 0,2 mm zijn dan 5 lp/mm nodig (1/0,2). Vervolgens gaat de vertaling naar resolutie als volgt: voor de digitale weergave van een lijnenpaar zijn tenminste 2 pixels nodig. 5 lp/mm = 10 pixels/mm = 100 pixels/cm = 254 pixels/inch. 28

30 naar 300 ppi. Tabel 3 waarin detailweergave aan resolutie wordt gekoppeld ziet er inclusief de lp/mm als volgt uit: Lettergrootte Kleinste betekenisvolle detail 18 Benodigde lp/mm Aanbevolen resolutie 1 mm 0,2 mm 5 lp/mm 300 ppi 1,5 mm 0,3 mm 3.5 lp/mm 200 ppi 2 mm 0,4 mm 2.5 lp/mm 150 ppi Tabel 12. Aanbevolen resolutie op basis lettergrootte of kleinste betekenisvolle detail verbonden met lp/mm Het kan in sommige gevallen voorkomen dat opnameapparatuur door slechte kwaliteit of onkundig gebruik dermate slecht presteert, dat zelfs bij de aanbevolen resoluties (zie tabel 3) onvoldoende detail wordt gereproduceerd. Bij 300 ppi worden dan bijvoorbeeld slechts 3 lp/mm gehaald, in plaats van de vereiste 5 lp/mm. Een vaststelling van het aantal gereproduceerde lp/mm is bij de ijking dus noodzakelijk. Dit kan in een digitale opname alleen objectief worden vastgesteld door het opnemen van een zogenaamd slanted edge testkaart (een opvolger van het bovenstaande lijnenparen testkaart) en vervolgens die testkaart te analyseren met speciale software 19. Afbeelding 4. Een voor digitalisering ontwikkelde lijnenparentestkaart: de slanted edge SFR testkaart QA-62 (van Apllied Image). Voor reguliere scanworkflow in gemeentelijke context volstaat de scanapparatuur op deze manier te ijken. In een meer veeleisende workflow kan de testkaart op regelmatige basis (per dag(deel) of productie-eenheid) worden opgenomen en geanalyseerd. 2. Tonale reproductie De tonale reproductie van scanapparatuur en gebruikte instellingen kan objectief worden vastgesteld en geijkt door het opnemen van een Kodak Grayscale testkaart (Q13 of Q14). 18 Bij benadering vastgesteld. 19 Met bijvoorbeeld de ImCheck software (ontwikkeld door beeldwetenschapper Robert Burns) is de hier getoonde testkaart te analyseren. Deze software produceert een zogenaamde SFR/MTF curve. Aan deze curve kan het aantal behaalde lp/mm worden ontleend. Zie voor uitleg Metamorfoze richtlijnen, paragraaf (Detailreproductie). Er zijn vele alternatieve testkaarten beschikbaar. 29

31 Afbeelding 5. De Kodak Gray Scale De waarden van de grijstrap kunnen vervolgens in fotobewerkingssoftware worden nagemeten. Wanneer de RGB-waarden in vakje A van de grijstrap 0 zijn, is er sprake van clipping (informatie in de hoge lichten kunnen daarmee wegvallen). Deze ijking is slechts zinvol voor grijswaarden- en kleurenscanning. In theorie kan bij bitonaal scannen met de grijstrap de drempel tussen zwart en wit worden vastgesteld. Omdat echter veel scansoftware de drempelwaarde vaststelt op basis van metingen van het origineel, kan de drempelwaarde per opname wisselen, waardoor een eenmalige vaststelling van die waarde niet zinvol is. Een meer geavanceerde ijking op basis van de Kodak grijstrap bestaat uit het vaststellen van de hoge lichtgamma, zoals die is verwoord in Metamorfoze richtlijnen (paragraaf Tonale weergave). De vaststelling van de hoge lichtgamma is zinvol wanneer er sprake van manuscripten, lastig leesbaar (vergeeld papier, slechte drukletter) drukwerk of materiaal van (kunst)historisch waarde. Het zal in de gemeentelijke context slechts in zeldzame gevallen zinvol zijn. Voor reguliere scanworkflow in gemeentelijke context wordt aanbevolen de scanapparatuur met de grijstrap te ijken. In een meer veeleisende workflow kan de grayscale op regelmatige basis (per dag(deel) of productie-eenheid) worden opgenomen. Dit heeft echter alleen zin bij grijswaarden- of kleurenscanning. 3. Kleurreproductie Wanneer kleur naast een rol van betekenis, ook echt betrouwbaar moet zijn, is het zaak de eventuele kleurafwijking vast te stellen en te ijken. Hiertoe moet minimaal de zogenaamde kleurzweem worden gemeten. De kleurzweem wordt vastgesteld op basis van de opname van een aantal grijsvlakken van een testkaart. In beeldbewerkingssoftware worden vervolgens de verschillen tussen de RGB-kanalen gemeten. Hoe groter de verschillen, des de groter de kleurzweem. Kleurzweem kan het beste wordt aangetoond met behulp van de grijsvlakken (de onderste rij) op de MacBeth Color Checker Testkaart. 30

32 Afbeelding 6. Links: Meting van de kleurzweem in Gimp beeldbewerkingssoftware met behulp van de ColorChecker Macbeth testkaart. In dit geval is er sprake van een blauwzweem (blauw heeft een 12 tot 14 hogere RGB-waarde dan rood en groen). Rechts: de MacBeth ColorChecker testkaart. De onderste rij toont de grijswaardenvlakken. Metamorfoze hanteert een maximaal verschil van +3 en -3 pixelwaarden tussen de RGBkanalen per grijsvlak. Een binnen deze context minder stringente aanbeveling is een maximaal verschil tussen de verschillende RGB kanalen van maximaal + en - 5 pixelwaarden. Een meer geavanceerde kwaliteitsmeting die de basis vormt van kleurmanagement, is de vaststelling van de zogenaamde Delta E waarde. Hiertoe wordt de hele MacBeth testkaart gebruikt en wordt de kleur met behulp van software diepgaand geanalyseerd. Hiertoe wordt verwezen naar de paragraaf kleurnauwkeurigheid in Metamorfoze richtlijnen. Voor reguliere scanworkflow in gemeentelijke context volstaat het de scanapparatuur met de ColorChecker Macbeth testkaart te ijken. In een meer veeleisende workflow kan de ColorChecker op regelmatige basis (per dag(deel) of productie-eenheid) worden opgenomen. 4. Ruis Ruis kan worden omschreven als informatie in de digitale afbeelding die geen deel uitmaakt van het origineel en dus exclusief wordt geproduceerd door de digitale opname apparatuur. Ruis is meest zichtbaar in de donkere gebieden van een afbeelding en doet afbreuk aan de detail-, tonale en kleurreproductie. Wanneer beeldkwaliteit een rol van betekenis heeft, of wanneer de scanner / camera ondermaats presteert, kan het zinvol zijn een ruismeting uit te voeren. Ruis kan worden gemeten met behulp van de Kodak grijstrap. Daarbij wordt van elk vlak van de grijstrap de zogenaamde standaarddeviatie (afwijking) gemeten (dit kan onder andere met Photoshop). De standaarddeviatie is een indicatie van de aanwezige ruis. Ruismeting is alleen zinvol voor grijswaarden- en kleurenscanning. 31

33 Afbeelding 7. Meten van standaarddeviatie (1,1 in dit geval) van vlak 15 van de Kodak grijstrap Matamorfoze staat maximaal een standaarddeviatie van 4 toe. Dit cijfer is gebaseerd op de zichtbaarheid van ruis in de afbeelding. In de gemeentelijke context kan dit cijfer naar boven worden bijgesteld tot maximaal