Digitaliseren D E STA R T VA N HET NIEUWE WERKEN D O O R : L E O N VA N O O S T E R O M E LVEO B.V.
Politici en beleidsmakers moeten 04 feb 2014 Binnenlands Bestuur Politici en beleidsmakers moeten,,digitaler'' denken. Ze zouden digitalisering ruimer moeten opvatten. Dat zei prins Constantijn dinsdag in Brussel. Kabinetschef Kroes Bij digitalisering gaat het om meer dan een industriële sector of een technologie.,,het is veel meer dan dat'', benadrukte Constantijn als kabinetschef van Europees Commissaris Neelie Kroes (Digitale Agenda). Omdat haar mandaat deze herfst na 5 jaar eindigt, maakte Constantijn een eerste balans op. Industrie Een van de problemen is dat digitalisering en ICT slechts als een van vele industrieën wordt beschouwd, aldus de kabinetschef:,,dat is het niet''. De digitalisering speelt inmiddels in praktisch heel de samenleving een niet meer weg te denken rol.
Of deze, uit NU 4 februari 2014 Boete Barclays voor slecht elektronisch archief Barclays moet in de Verenigde Staten een boete van 3,75 miljoen dollar, circa 2 miljoen euro, betalen omdat de Britse bank zijn elektronisch archief slecht bijhield. De boete is uitgedeeld door toezichthouder Financial Industry Regulatory Authority (Finra) schrijft de BBC vrijdag. Foto: ANP Barclays heeft volgens de Finra tussen 2002 en 2012 onvoldoende gegevens bewaard over orders, deals en rekeningen. Ook zijn mails en chatberichten niet opgeslagen of zijn er geen maatregelen genomen om te voorkomen dat informatie werd gewist of veranderd.
Moraal Als je dan toch digitaal gaat, kun je het maar beter goed doen!
Tijd- en plaatsonafhankelijk werken Keuzes Vervangen of digitaliseren, wat is het verschil Uitbesteden of zelf doen Hoe begin je Voorwerk Decentraal of centraal scannen Hoe bepaal je de scannerkeuze Kwaliteit en borging Het DMS en vakapplicaties
Keuzes bij het starten van digitaal werken U I T B E STEDEN Cultuur historische materialen Grote gestructureerde archiefcollecties Z E L F D O E N Routinematige vervanging On demand Waar laat ik het papier?
Het postproces vervangen of digitaliseren Inventariseer de binnenkomende poststromen Communiceer met de ontvangende afdelingen over de impact Stel kaders vast voor wie doet wat Post- en werkverdeling, DIV of vakafdeling Toevoegen metadata, DIV of vakafdeling? Koppelen aan werkprocessen, DIV of vakafdeling?
Documentstromen en valkuilen De keuze voor een scanner en scansofware is een autonome keuze Hoe weet je zeker dat alles compleet gescand is Gaat een binnenkomend poststuk via het DMS of via de vakapplicatie Wat doe je met de uitgaande post Printen / scannen versus digitaal houden en elektronisch archiveren Gekoppelde sjabloongeneratoren en het DM systeem. Hoe om te gaan met digitale handtekeningen.
Wat voor documenten komen we tegen Archieven zowel in overheidsomgeving als in het bedrijfsleving kenmerken zich door een grote verscheidenheid aan soorten materiaal, kwaliteiten en eigenschappen. Bijvoorbeeld Bouw/milieu dossiers: Aanvragen Vergunningen Handhaving Overige bescheiden Berekeningen Tekeningen
Okay: het scannen Hoeveel DPI? Hoeveel bit? a) Bilevel b) Greyscale c) Indexed color d) Full color Indexering a) Document b) Zone OCR c) Tagged Metadata a) 100 DPI Welke format b) 200 DPI a) tiff c) 300 DPI b) jpg d) Meer? c) PDF d) PDF/A-1b e) ODF???? Welke samenstelling a) Single page b) Multipage c) Bookmarks d) OCR
Technische keuzes IMAG ING A S P E CTEN Beeldkwaliteit Resolutie (scherpte) Kleurbehoud Compressie Metadata Foutmarges Bestandsformaten A P PA R AT U UR Soorten scanners Flatbed Multifunctionals Doorvoerscanners Groot formaat scanners Digitale achterwanden Boekscanners
Scanners en aansturing Naast de aanschaf van de scanner hoort ook de aanschaf van de scansoftware. Er is ruim keuze aan intelligente software om scanners aan te sturen. Laat je goed informeren Scansoftware Kofax EasySeparate Abbyy Flexicapture DPUscan Papervision IrisPowerscan Kodak Capture Pro..En veel meer
De workflow scannen Opschonen Ontnieten Scheidingsbladen / barcodes toevoegen Scannen Stap2 Scannen OCR Automatische classificatie of data entry of beide Opmaak bestandsformaat Stap 3 kwaliteitsborging QA beeldkwaliteit QA volledigheid QA metadata Stap 1 werkvoorbereiding Stap 3 Processing
Archiefbesluit 1995 artikel 6 J UISTE E N VO L L E DIGE WEERGAVE welke aspecten van het origineel (bijvoorbeeld kleur en scherpte) zijn wezenlijk voor de juistheid en volledigheid van de daarin voorkomende gegevens. Heeft kleur een informatieve waarde of is deze essentieel voor correcte reproductie van het origineel!!!!
Vaststellen van de resolutie, volgens handreiking vervanging Archief 2020 1/2 1 mm zespunts letter e als uitgangspunt Uitgangspunt voor meting van detailwaarneming is de 1 mm onderkast letter e (zespunts letter). Dit is namelijk de kleinste letter die in kranten (beursberichten) wordt gebruikt. Voldoende reproductie van deze letter garandeert dat alle letters van zespunts en groter goed leesbaar zullen zijn. Met voldoende reproductie wordt hier bedoeld Letter loopt niet dicht Alle lijnen en details van de letter zijn te onderscheiden De lijnen van de letter zijn duidelijk van de achtergrond gescheiden De letter is niet rafelig Het kleinste onderdeel van een zespunts letter is ongeveer 0.2 mm groot. De reproductie van een zespunts letter garandeert dus de reproductie van details die groter of gelijk zijn aan 0.2 mm.
Vaststellen van de resolutie, volgens handreiking vervanging Archief 2020 2/2 Hoeveelheid benodigde lijnenparen/mm en opnameresolutie om een 1 mm zespunts letter te kunnen reproduceren Om een detail van 0,2 mm (en daarmee een 1 mm zespunts letter) te kunnen reproduceren is een minimum van 5 lp/mm nodig. Deze berekening gaat uit van de premisse dat om een detail voldoende te kunnen oplossen minimaal één lijnenpaar nodig is. Voor een detail van 0.2 mm zijn dus vijf (1/0.2) lp/mm nodig. Voor verschillende resoluties is dit: 400 ppi = 7,9 lp/mm 300 ppi = 5,9 lp/mm 200 ppi = 3,9 lp/mm 150 ppi = 2,9 lp/mm
Vaststellen van de resolutie, veilige keuzes 1. Zwart wit scannen documenten; 300DPI 2. Kleur scannen documenten; 200DPI 3. Scannen t.b.v. OCR; 300DPI óók bij kleur 4. Zwart wit scannen tekeningen; 200DPI 5. Historische documenten; grijs of kleur 300 DPI 6. Zwakke documenten; grijs of kleur 300 DPI
Zwart/wit of kleur Kleur Zwart/wit Voordelen Authenticiteit Behoud van informatie Voordelen Kleine bestanden Snel opvraagbaar Nadelen Grote bestanden Mail-probleem Servercapaciteit Bandbreedte De Metamorfoze richtlijnen Nadelen Kwaliteit en leesbaarheid Attentiewaarden ontbreken
Zwart/wit of kleur en de archiefregeling Handreiking Vervanging van Programma Archief 2020, Ministerie van OCW samen met gemeenten, waterschappen en provincies. De grote afweging: Informatiefunctie en/of erfgoedbelang Risicoafwegingen 1. zijn er risico s van toepassing? 2. hoe vaak komen deze voor? 3. wat is de impact bij verwaarlozing hiervan? 4. welke interne normen worden hierbij gehanteerd?
Scanner-output toegelicht één pagina A4 op 300 PPI 24 bits kleur levert lossless een bestand op van 25 Mb. één echte productiescanner (vanaf 120 vel per minuut) genereert in raw scan-formaat (masterbestanden) per dag 1 tot 1½ Terabyte voor 100 meter archief in raw scanformaat is bijna 10 Terabyte geheugenruimte nodig (1 meter = 100 Gbyte) Het gebruik van lossless kleurenbestanden zal dus niet veel gebruikt kunnen worden voor de informatiebehoefte
Waarom is compressie zo beladen en oh zo belangrijk Uitleg verschil lossless en lossy Uitleg Jpeg en Jpeg2000 Zie ook: Digitalisering ontrafeld, technische aspecten van digitale reproductie van archiefstukken (Stadsarchief Amsterdam)
Tabel Jpeg versus Jpeg 2000 Bron: Digitalisering ontrafeld, stadsarchief Amsterdam
Image Jpeg versus Jpeg 2000 1/2 Raw scan 20,5 Mb Jpeg2000 PSD20 4,21Mb Jpeg PSD 10 4,62 Mb Jpeg2000 PSD10 2,13 Mb PSD8 Jpeg 2,57 Mb Bron: Digitalisering ontrafeld, stadsarchief Amsterdam
Image Jpeg versus Jpeg 2000 2/2 Tiff 25,7 Mb JPG2000 6,1 Mb JPG 12 4,6 Mb JPF 70 1,0 Mb JPG 8 644 Kb JPF 20 313 Kb
Hoe bepaal ik dan de beste scankwaliteit Keuze 1: volg de Metamorfoze methode uit de handreiking vervanging Archief2020 door gebruik te maken van een technische testkaart (UTT) en controleer op: Kleurzweem en kleurafwijking (Delta E) Scherpte (detail reproductie) Uitlichting Geometrische vervorming Kleurmisregistratie Witbalans Belichting Dynamisch bereik (OECF) Ruis
Hoe bepaal ik dan de beste scankwaliteit visueel Keuze2: Controleer visueel op: Kleinste detail nog leesbaar Is scherpte gelijk aan het origineel. Geen halo s of witte omrandingen bij tekst Voldoende contrast (barcodes!!!!!!!!) Alle scanlijnen aanwezig, zowel horizontaal als verticaal Zijn er scansporen aanwezig, vervuiling, transportrollers e.d. Is er vervuiling zichtbaar, door b.v. lijmresten op de lenzen Zijn er spiegelingen, vervormingen of andere onbedoelde effecten zichtbaar
Metadata toekennen Gebruik van OCR techniek om archiefstructuren en metadata vast te leggen Bijvoorbeeld door barcodes, zone herkenning of combinatie van factoren. Handmatige data-entry Een combinatie OCR Optical Character Recognition ICR Intelligent Character Recognition OMR Optical Mark Recognition Barcode Handschrift Semantische classificatie Classificatietools
Bestandsformaten 1/1 Tiff JPEG PNG JPG2000 ODF PDF 1.7 PDF/A 1a, 1b, 2a, 2b JPEG 2000 image compressie Meer geavanceerde ondersteuning digitalw handtekening OpenType fonts 3D graphics Audio/video content Consistentie met andere op PDFgebaseerde standaarden Waarom 2a/b?
Hoe zit dat nu precies met ODF Is toch een open standaard en staat op de lijst Pas toe of leg uit ODF is een Open Office uitwisselingsformaat, bedoeld voor de actieve fase van een document. Let op bij Spreadsheets bijvoorbeeld: Is weergave en precieze reproductie van het origineel van belang, kies PDF/A. Is gedrag (formules/berekening) van belang, kies ODF.
De kosten van het digitaal gaan: Meten is weten Hoe lang duurt het scannen Hoe lang duurt het verwerken van de scans Is de in-out controle automatisch Hoeveel scanfouten komen er voor wat vinden we acceptabel Wat doen we er aan
Hoe snel is de scanner in praktijk Hoe lang duurt het scannen De opgegeven scansnelheid en de 70% regel Landscape of portret Bereken op voorhand piekmomenten en stem daar de benodigde scancapaciteit op af. Invloed Resolutie Geheugen PC Netwerk bandbreedte Aantal processoren Videokaart USB poort
Werkvoorbereiding, onderschat het niet Opschonen Ontnieten Uit hechters nemen Scheidingsbladen, barcodes, patchcodes, verwijzingsbladen, tokkelbladen
Tijd voor vragen Dank voor uw aandacht en graag tot ziens Leon van Oosterom www.elveo.nl oosterom@elveo.nl