6. OCR met prolector 1.20 D

Transcriptie

1 6. OCR met prolector 1.20 D 6.1 Inleiding Voor een uitgebreide beschrijving van het OCR programma prolector 1.20 Rev. D, wordt verwezen naar de manual ( improx Datenverarbeitungsges. M.b.H.). Hier wordt slechts een uitleg gegeven van specifieke termen die in de beschrijvingen van de proeven met dit programma voorkomen. Training mode: het programma leest de tekst en stopt bij elke letter die het niet herkent, zodat we de niet-herkende letter in het geheugen van het programma op de harddisk kunnen opslaan. Interactive mode: het programma leest de tekst en stopt bij elke letter die het niet herkent. Hier geven we aan welke letter het betreft, zonder dat deze in het geheugen wordt opgeslagen. Dit betreft letters die door verminking slechts éénmaal in die vorm voorkomen. Automatic mode: het programma leest de tekst achterelkaar en toont het resultaat. Zones: om te voorkomen dat prolector een image in zijn geheel leest kunnen er zones ingesteld worden. Bij boeken waarbij de regels niet doorlopen, bijvoorbeeld pagina s bestaande uit twee kolommen, moet men elke kolom in een zone zetten. Ook blokjes tekst die buiten de bodytekst vallen, kunnen, indien ze door het boek heen telkens op dezelfde plaats staan, zoals bijvoorbeeld gedrukte annotaties voor de linkerkantlijn, als zone ingesteld worden. Dirt size: dit geeft aan de maximale grootte (in pixels) van vuiltjes die prolector verwijdert tijdens het inlezen van de tekst. De instelling loopt van 1 (minimaal) tot 5 (maximaal). Maximale instelling heeft het gevaar dat prolector informatie als diakritische tekens, leestekens e.d. negeert. Accuracy: hiermee kan de precisie waarmee prolector de letters interpreteert, ingesteld worden. De waarden lopen van 1 (minimum) tot 10 (maximum).wordt een hoge mate van accuracy gekozen, dan resulteert dat in de noodzaak meer letters te trainen omdat het programma dan kieskeuriger is. Problem level: kan ingesteld worden om de herkenbaarheid van de letters te vergroten. De default is 0, d.w.z. standaard accuracy voor het herkennen van de letters. Wordt het problem level op 4 gezet, dan neemt de accuracy voor het herkennen van de letters toe met een factor 4. Patronen en tekens: onder patronen verstaan we de letters die in het geheugen zijn opgeslagen, onder tekens verstaan we de letters die in de tekst staan. 6.2 Hebreeuws ProLector kent twee beperkingen wat betreft het inlezen van documenten: het leest een pagina van de linkerbovenkant naar de rechteronderkant het leest losse letters: het leest dus geen handschriften 18 Bibliotheek van de Universiteit van Amsterdam sept.1997

2 Hebreeuws is een schrift dat niet werkt met ligaturen, de letters zijn los van elkaar gedrukt. Hierdoor maakt het ook niet uit dat prolector van links naar rechts werkt en Hebreeuws van rechts naar links gelezen wordt: het gaat hier immer om de losse letters en niet om blokjes woorden. Omdat prolector een zelflerend programma is, maakt het in feite geen verschil of een Latijns schrift of Cyrillisch schrift of Hebreeuws schrift aangeleerd wordt, zolang het schrift maar niet een doorlopend schrift is. Lettercombinaties als fi, ff, ffi en fl zijn voor prolector lastig omdat ze nogal in elkaar overlopen. Dergelijke combinaties worden als ligature getraind en dus samen als één patroon in het geheugen opgeslagen. Het programma kan ligatures van maximaal vier letters aan. 6.3 In het kort de werkwijze van ProLector in dit project Elk boek wordt per opening (linker en rechterpagina) ingelezen als image in TIFformaat ca pixels, 2 kleuren. Door bestanden van gelijke grootte te maken worden de boeken al naar gelang hun formaat in meer of mindere mate vergroot. Kleine boeken krijgen grote letters. Het te herkennen gebied wordt gemarkeerd, dit kan één of meerdere zones opleveren. Gebleken is dat voor automatische herkenning één zone met meerdere kolommen het beste werkt als die kolommen goed van elkaar te scheiden zijn. De positie op de pagina kan dan wat variëren. Kenmerken van het document kunnen ingesteld worden. De mogelijkheid om aan te geven dat regels dicht opelkaar gedrukt zijn was soms zinvol. De instelling van 'dot matrix print' bood geen soelaas bij 'brosse' letters. Van grote invloed was de instelling van 'dirt size' en van 'accuracy'. Dirt size kan voor Hebreeuws het beste maximaal, 5 pixels, zijn. Alle spikkels van dit formaat en kleiner worden genegeerd. 'Recognition accuracy' (min.=1, max.=10) werd meestal ingesteld op 2 om de behoefte aan training te beperken. Voor letters die dan vaak verkeerd gelezen worden kan een 'Problem level' ingesteld worden. Deze letters worden dan intensiever getraind. ProLector kan zowel automatisch (batchverwerking) als interactief werken, maar er moet altijd interactief begonnen worden om een set patronen, 'de fontbase' te trainen. Het resultaat van OCR hoeft niet perfect te zijn als de tekst maar geschikt is om te doorzoeken. OCR is beperkt tot bodytekst, tekst in marges is genegeerd. 6.4 OCR op de testcollectie Om op een gedeelte van de totale collectie experimenten te kunnen toepassen, is uiteindelijk een testcollectie van vijf boeken vastgesteld, waaruit pagina s gekozen woren om met OCR te experimenteren. Als criteria voor deze testcollectie gold dat deze representatief moest zijn voor de gehele collectie. De boeken uit de testcollectie bestaan derhalve uit een Engelstalig boek, een Spaanstalig boek, een boek in het sept.1997 Bibliotheek van de Universiteit van Amsterdam 19

3 Hebreeuws zonder punten en een boek in het Hebreeuws met punten. Omdat naast het (standaard) Hebreeuwse font ook vaak het zogeheten rashi-font voorkomt, is nog een vijfde boek aan de testcollectie toegevoegd. De bevindingen van OCR-tests met die vijf boeken zijn opgenomen in bijlage 1, vanaf pagina Bevindingen van OCR met prolector en spellingscontrole met MS-Word Voor prolector is Hebreeuws niet anders dan Spaans of Engels: er worden patronen getraind, dwz. gekoppeld aan ASCII-codes. Voor onze werksituatie: Engelse (westerse) Windowsversie/tekstverwerker en USinternational toetsenbord maakt het wel een beetje verschil omdat wij niet over Hebreeuwse spellingscontrole kunnen beschikken. Bij 17de eeuwse teksten is dit verschil klein want er moet toch bijvoorbeeld een oud-spaans woordenboek opgebouwd worden, een oud-hebreeuws woordenboek maken is alleen wat meer werk. Hebreeuws met punten kan getraind worden alsof de punten er niet zijn, voor het zoeken in de tekst maakt dit geen verschil. prolector zet de punten op een aparte regel samen met de afgeknipte stokken en staarten. Verminking van letters die in de interlinie steken komt misschien wat vaker voor dan bij Hebreeuws zonder punten, maar dit wordt opgevangen door de training. Belangrijk is dat letters los van elkaar staan en dat regels door een lijn wit van minstens 1 pixel hoogte gescheiden worden. ProLector is tolerant wat dit betreft, de witregel kan frequent onderbroken zijn. Als letters niet goed gescheiden worden kan per situatie apart opdracht tot scheiding gegeven worden, als het dan nog niet lukt traint men een setje tekens, maximaal vier, als één patroon. Verschil in lettergrootte is niet storend zolang de letters op de regel blijven, hetzelfde geldt voor schuinschrift of vet. Het is een kwestie van patronen trainen. ProLector kan negen fonts blijvend onderscheiden zodat de verschillen ook in het resultaat weergegeven kunnen worden. Letters die over meerdere regels tekst lopen, niet op een aparte regel maar naast kleinere tekst, worden verknipt in porties per regel en worden dus niet herkend. Hetzelfde geldt voor geïllustreerde letters die vaak aan het begin van een hoofdstuk staan. Blokken afwijkende tekst moeten in aparte zones ondergebracht worden ter herkenning, of van tevoren worden verwijderd. Een andere eenvoudige oplossing is om na editing de resterende 's (het symbool voor onherkenbaarheid) te vervangen door spaties, zodat ze het lezen niet storen. Boeken zonder vlekken, aantekeningen, illustraties of strakke binding kunnen goed automatisch gelezen worden, helemaal als de kolommen goed te onderscheiden zijn. Boeken die een of meerdere van voornoemde eigenschappen wel bezitten kan men beter interactief lezen zodat ongewenste effecten genegeerd kunnen worden. Nog wat bewerkelijker wordt het als regelmatig nieuwe zones ingesteld moeten worden. Vaak is een combinatie van beide methoden de beste oplossing. De minst bewerkelijke manier om van het OCR-resultaat doorzoekbare tekst te maken is: verwijder alle rijen en kolommen waarin alleen voorkomt. In het origineel zullen dit lijnen en vlekken in de marges zijn en bij het Hebreeuws de punten 20 Bibliotheek van de Universiteit van Amsterdam sept.1997

4 voer spellingscontrole uit vervang de resterende 's door spaties 6.6 Conclusies OCR Om op een tekst uit de collectie 17e eeuwse edities van de drukker Menasseh Ben Israel OCR toe te passen kan het beste gebruik gemaakt worden van een zelflerend OCR-programma zoals prolector 1.20 D, dat werkt volgens het principe van patroon-herkenning en niet volgens het principe van automatische font-herkenning. Dit geldt ook voor andere vroeg gedrukte werken, ook in het Latijnse schrift. Voor prolector is Hebreeuws niet anders dan Spaans of Engels: er worden patronen getraind, dwz. gekoppeld aan ASCII-codes. De specifieke moeilijkheid zit niet in het feit dat het Hebreeuws schrift is, maar in het feit dat de handgegoten letters onderling veel verschillen. Tot de collectie behoren boeken die na automatisch OCR een maximaal percentage 'onherkenbare letter' geven van tegen de 3 %, een alleszins acceptabele ratio. Letters die over meerdere regels tekst lopen, niet op een aparte regel maar naast kleinere tekst, worden verknipt in porties per regel en worden dus niet herkend. Hetzelfde geldt voor geïllustreerde letters die vaak aan het begin van een hoofdstuk staan. Zo'n letter wordt niet herkend, en prolector zet daar een reeks van 's neer, terwijl, als men de 's zoekt en vervangt door spaties, alleen de geïllustreerde letter ontbreekt, maar verder geen tekst verloren is gegaan. Hebreeuws met punten kan getraind worden alsof de punten er niet zijn, voor het zoeken in de tekst maakt dit geen verschil. ProLector zet de punten op een aparte regel met alleen maar 's. Zoek en vervang de 's door spaties en de punten zijn genegeerd. Op die manier kan ook OCR op een Hebreeuwse tekst met punten toegepast worden met een acceptabel 'niet-herkend' percentage. Tot de collectie behoren echter ook boeken waarin geschreven is, waar veel vlekken in voorkomen en die dermate veel kolommen en gedrukt commentaar bevatten, dat toepassing van OCR in die gevallen zinloos, of in ieder geval te tijdrovend, is. sept.1997 Bibliotheek van de Universiteit van Amsterdam 21

5 7. Publiciteit Op 14 april 1997 vond een presentatie plaats van het project en de opbouw van de collectie bij medewerkers en studenten van het Juda Palache-Instituut, de vakgroep Talen en Culturen van het Nabije Midden Oosten, afd. Hebreeuws, Aramees en Joodse studiën, en vaste bezoekers van de Bibliotheca Rosenthaliana. Op 2 september 1997 vond een uitgebreide presentatie plaats voor UvA-ers, in het bijzonder voor medewerkers van de Bibliotheek van de Universiteit van Amsterdam, voor directeuren van Faculteiten en systeembeheerders. In SURFCahier #8 2 e jaargang, juni 1997, pag.5 verscheen digitale heruitgave, over het project. In uva-link, nummer 16, juni 1997, pag. 4-5 verscheen het UvA-project Menasseh Ben Israel.' Geplande publiciteit: Op 18 november wordt op de WebDOC Conferentie in Groningen een lezing gehouden over het Menasseh-project. Over Menasseh Ben Israel en de (digitale) collectie is door een televisieploeg van de AVRO een opname gemaakt die in februari 1998 zal worden uitgezonden. 22 Bibliotheek van de Universiteit van Amsterdam sept.1997