Katholieke Universiteit Leuven. Faculteit Ingenieurswetenschappen Departement Computerwetenschappen. Masterproef

Transcriptie

1 Katholieke Universiteit Leuven Faculteit Ingenieurswetenschappen Departement Computerwetenschappen Masterproef Begeleider: Sten Govaerts Promotor: Prof. Erik Duval Augment Japan! Matthias Vandenbussche - Master of Science in de Ingenieurswetenschappen: Computerwetenschappen - Mens Machine Communicatie Annelies Van der Borght - Master of Science in de Ingenieurswetenschappen: Computerwetenschappen - Mens Machine Communicatie Blog - November 4, 2011

2 Inhoudsopgave 1 Situering en probleemstelling 2 2 Doelstelling 2 3 Geleverd werk en resultaten Algemene papers Detectie en lokalisatie van tekst Corrigeren van tekstregio s OCR Vertaalmogelijkheden Vergelijking van gerelateerde applicaties Planning 8 5 Belangrijkste moeilijkheden Tekstlokalisatie Teksttracking Tekstcorrectie Dit werk verdient A Statistieken 12 A.1 Matthias A.2 Annelies B Bestudeerde literatuur en gerelateerd werk 13 B.1 Matthias B.1.1 Skimmed B.1.2 Read B.2 Annelies B.2.1 Skimmed B.2.2 Read C Extra afbeeldingen 15 1

3 1 Situering en probleemstelling Veel mensen reizen jaarlijks naar het buitenland. Dit kan louter voor het plezier in de vrije tijd zijn of voor het werk (bijvoorbeeld het bezoeken van een andere hoofdzetel van het bedrijf of een deelname aan een conferentie). In beide gevallen worden mensen af en toe geconfronteerd met een taal die ze niet machtig zijn. Zo kunnen ze informatie- en waarschuwingsborden niet lezen, of begrijpen ze een menu in een restaurant niet. Hulp vragen aan de lokale bevolking is niet altijd even makkelijk, aangezien zij mogelijk geen gemeenschappelijke taal spreken. Een aantal oplossingen zijn reeds voor handen, zoals het gebruik van een zakwoordenboek of zakvertaler (de digitale versie van een zakwoordenboek), die toelaten de betekenis van woorden op te zoeken. Zo kunnen mensen een idee krijgen van wat er op een bord staat. Ook online vertaalservices zoals Google Translate 1 kunnen eventueel gebruikt worden vanop een mobiele telefoon of een tablet pc. Voor het gebruik van dit soort hulpmiddelen werd er wel een belangrijke veronderstelling gemaakt: de gebruiker moet de woorden kunnen lezen en opzoeken (bvb alfabetisch gesorteerd) of intypen. In Europa is dit meestal geen probleem, aangezien de meeste talen het Latijns schrift gebruiken. Er zijn daarentegen ook landen waarin het schrift zeer sterk verschilt van het Latijns schrift dat we gewoon zijn. Talen zoals het Russisch en het Grieks gebruiken een ander alfabet en talen zoals het Japans en Koreaans gebruiken een ideografisch (gemixt met logografisch) schrift. In het geval van een ander alfabet kan men (met redelijk wat moeite) nog proberen te zoeken in een zakwoordenboek op alfabetische volgorde. Woorden intypen wordt al een heel stuk moeilijker, tenzij de zakvertaler en toetsenbord in het vreemde alfabet heeft. Voor ideografische talen is het probleem nog een stuk groter. Er is geen strikte (of logische) alfabetische volgorde, het aantal tekens is vaak een duizendvoud en als men de taal niet kent ziet men ook geen structuur in de complexe tekens. Aldus is het opzoeken in een zakwoordenboek of het intypen van de tekens een (bijna) onmogelijke opgave. Smartphones zoals de iphone alsook tablet computers zoals de ipad zijn de dag van vandaag alomtegenwoording. Vaak zijn deze toestellen uitgerust met een camera en ondertussen hebben zij een veel grotere rekencapaciteit dan de mobiele telefoons van enkele jaren geleden. Dit geeft dan ook aanleiding tot applicaties zoals Word Lens 2 en OCR Test 3. Hoewel deze applicaties al goed werken en dus zeker nuttig zijn, is er nog ruimte voor uitbreiding en verbetering. 2 Doelstelling Om de extra problemen die gepaard gaan met talen in een ander schrift te voorkomen, stellen wij een applicatie voor die gebruikt zou kunnen worden op een smartphone (zoals iphone of een Android phone) of op een tablet pc (zoals een ipad). Een andere mogelijkheid is het gebruik van een virtual reality bril. De beoogde applicatie gebruikt de live video feed van de camera en zoekt hierop naar tekst. De tekst wordt herkend en dan door een online translation service vertaald. De vertaalde tekst wordt op het toestel weergegeven aan de gebruiker, op de plaats van de originele tekst in het beeld. Aldus wordt in het beeld het originele bord vervangen door een vertaalde versie ervan. Specifieke doelstellingen voor onze applicatie zullen voornamelijk betrekking hebben tot de gebruikerservaring en de gebruikersinterface. Dit omdat hier de focus van onze thesis ligt. Voor de hoofdfunctionaliteiten (onder meer Optical Character Recognition (OCR), tekstlokalisatie 4 en vertaling) zijn we van plan om bestaande services, libraries en/of algoritmen te gebruiken. We focussen dus niet op het creëren van zo goed mogelijke OCR-resultaten of vertalingen, al zullen we wel de gevonden services, libraries en/of algoritmen met elkaar vergelijken en pogen om de beste combinatie te kiezen. Hieronder een lijst met enkele specifieke doelstelling. We beogen zo weinig mogelijk handelingen van de gebruiker (idealiter slechts één klik voor het openen van de applicatie en mogelijk nog wat extra kliks voor de instellingen). Daarom willen Met tekstlokalisatie wordt zoeken van tekst in een afbeelding bedoeld. 2

4 we dat onze applicatie zelf voor de tekstlokalisatie zorgt. De gebruiker moet zelf dus geen regio aanduiden waar de tekst zich bevindt. De OCR- en vertaalresultaten moeten in near-real-time kunnen berekend worden, zodat de gebruiker niet (lang) moet wachten op de vertaling. Daarnaast moeten de OCR-resultaten ook zo goed mogelijk zijn. Dit zullen we bepalen door de nauwkeurigheid (# correct herkende karakters / # karakters). Ook de vertaalresultaten moeten zo goed mogelijk zijn. Dit zullen we bepalen aan de hand van BLEU, NIST en F-Measure. Deze scores worden verder uitgelegd in paragraaf 3.5. De weergegeven resultaten moeten makkelijk leesbaar zijn voor de gebruiker. Dit betekent onder andere dat de tekst niet heel de tijd mag veranderen wanneer de camera een klein beetje verplaatst wordt en de nieuwe OCR-resultaten lichtjes zouden kunnen verschillen. Met andere woorden, eens er een goed resultaat is en de tekst in beeld blijft, zou het resultaat blijvend op het scherm te zien moeten zijn. De gebruikersinterface zou zo minimaal mogelijk moeten zijn. Het hoofddoel van onze applicatie is een magic lens weergave van de realiteit, en de video staat dan ook centraal. Het is niet de bedoeling dat het scherm opgevuld wordt met vele widgets/buttons/options. 3 Geleverd werk en resultaten Tijdens de eerste maand van onze thesis hebben wij voornamelijk onderzoek gedaan naar de verschillende delen die onze applicatie zal moeten bevatten. Die delen bestaan uit: het lokaliseren van tekst in een afbeelding of video frame; het uitsnijden van een tekstregio uit een afbeelding, en die regio klaarmaken voor OCR; het onderzoeken van de mogelijkheden met betrekking tot OCR, om zo tekst te verkrijgen uit een afbeelding; het onderzoeken van de mogelijkheden met betrekking tot het vertalen van tekst. Verder hebben we ook al bestaande applicaties die aan ons doel gerelateerd zijn alsook een aantal papers die het totaalconcept beschrijven, bekeken. 3.1 Algemene papers Tijdens onze literatuurstudie vonden we vier papers die een applicatie beschreven met eenzelfde functie als de gerelateerde applicaties die in paragraaf 3.6 besproken worden. Tabel 1 vat de functionaliteit van de applicaties beschreven in de papers [M et al., 2005, Watanabe et al., 2003, Fragoso et al., 2011, Yang et al., 2002] kort samen. Paper Video/ Textdetectie: Manueel/ Automatisch Herkent Japans/ Chinees Vertaling Opmerkingen [1] Manueel Ja Neen Detecteert woord het dichts bij het midden van het scherm. Resultaat kan naar ander programma (bv. woordenboek) verzonden worden. [2] Manueel Ja Ja Geselecteerde tekstregio wordt naar server verstuurd voor OCR en vertaling. [3] Video Manueel Neen Ja Vertaling via Google Translate. [4] Video Automatisch Ja Ja Gebruiker kan ook expliciet regio aanduiden indien nodig. Tabel 1: Vergelijking tussen de applicaties die besproken worden in de algemene papers 3

5 3.2 Detectie en lokalisatie van tekst Als deel van onze literatuurstudie hebben we gekeken naar papers over het detecteren en lokaliseren van tekst in afbeeldingen een video streams. We vatten hieronder onze conclusies uit de belangrijkste papers samen. In [Jung et al., 2004] wordt een overzicht gegeven van de verschillende technieken om tekst te detecteren en te localizeren. Er worden vier grote klassen aangehaald: region-based methodes (waaronder connected component-based en edge-based methodes), texture-based methodes (gebruik makend van onder andere Gabor Alters, Wavelet, Fast Fourier Transform (FFT) en spatial variance), tekst extractie in het gecomprimeerde domein (bijvoorbeeld rechtstreeks uit JPEG of MPEG) en binairizatie technieken (met onder andere global, local en adaptive thresholding). [JAIN and YU, 1998] is al een relatief oude paper. Er worden tijden gerapporteerd die lopen van 0.09 tot 0.40 seconden (afhankelijk van de grootte van de afbeelding). Hier staat wel niet bij op welk soort processor. De nauwkeurigheid gaat van 72% tot 99,2%. Verder worden een aantal statistische kenmerken gebruikt om te bepalen of een bepaald deel van de afbeelding tekst is of niet. We zijn niet zeker of deze kenmerken ook voor Japanse karakters gelden. Het algoritme dat in [Ye et al., 2003] beschreven wordt, heeft gemiddeld 0,23 seconden nodig op een Pentium IV. Dit is mogelijk te traag voor onze applicatie al kunnen sommige van hun ideeën misschien wel gebruikt worden in combinatie met de ideeën uit andere papers. In [Lyu et al., 2005] wordt een algoritme beschreven dat gebruik maakt van taalinvariante eigenschappen. Zo kan het algoritme goede resultaten halen wanneer talen zoals Engels en Chinees gecombineerd worden. We kregen wel het idee dat deze technieken bedoeld zijn voor het detecteren van tekst die achteraf toegevoegd werd aan de afbeelding of de video (zoals ondertitels) en niet voor tekst uit de afbeelding zelf. Verder wordt er ook niet aangegeven hun snel het algoritme werkt en of het dus bruikbaar is voor real-time detectie. [Ye et al., 2005] beschrijft een algoritme dat in staat is om tekst te lokaliseren in verschillende richtingen. Dit is zeker nuttig omdat Japans zowel in horizontale als in verticale richting geschreven wordt en ook omdat perspectiefvervormingen er voor kunnen zorgen dat de tekst niet recht staat. De nauwkeurigheid bedraagt 94,2% recall rate (#correct gedetecteerde tekstregio s/#textregio s) en 2,4% false alarm rate (#foutief gedetecteerde tekstregio s/#gedetecteerde tekstregio s). De gemiddelde snelheid bedraagt 8,3 afbeeldingen/s op een Pentium IV. De laatste twee papers [Chen et al., 2004] en [Kim et al., 2005] zijn het meest interessant omdat deze specifiek gaan over het detecteren en lokaliseren van omgevingstekst. Het algoritme in [Chen et al., 2004] werd ontworpen voor het detecteren van tekst op borden om deze dan te kunnen vertalen. In [Kim et al., 2005] worden drie technieken besproken om tekst in een natuurlijke omgeving te detecteren en lokaliseren. 3.3 Corrigeren van tekstregio s In onze literatuurstudie hebben we ook gekeken naar papers in verband met het corrigeren van tekstregio s. Dit om bijvoorbeeld perspectiefvervormingen of slechte belichting aan te passen. In [Mollah et al., 2010] wordt een techniek besproken om tekstregio s op afbeeldingen van visitekaartjes te corrigeren. Hierbij wordt de tekst wel geroteerd, maar gebeurt er geen volledige perspectiefcorrectie. We zijn reeds begonnen aan het implementeren van deze techniek (zonder het wegfilteren van bedrijfslogo s) om te kijken of dit al behoorlijke resultaten oplevert. Het algoritme leek echter niet goed te werken op onze testafbeeldingen. De berekende rotatiehoek was steeds 0 of bijna 0, zelfs wanneer visueel duidelijk was dat dit heel wat groter zou moeten zijn. We hebben het algoritme daarom aangepast door lineaire regressie te gebruiken voor het bereken van de rotatiehoek. Dit wordt zowel boven als onder de tekst gedaan en dan wordt het gemiddelde genomen tussen de twee hoeken. [Tong and Zhang, 2010] beschrijft een algoritme om perspectief correctie uit te voeren op een tekstblok. Het resultaat hiervan is een binaire afbeelding, wat in principe ook betere OCR resultaten zou moeten geven. We zijn echter niet zeker of deze methode ook werkt op één enkele regel tekst, aangezien hun voorbeeld een grote tekstblok was. 4

6 De methode in [Monnier et al., 2005] is gebaseerd op tekstdocumenten. Hoewel deze typisch meerdere lijnen tekst bevatten en borden meestal niet, is het misschien toch mogelijk om deze methode te gebruiken. De enige voorwaarde is dat we in staat moeten zijn om de basislijn van de tekst te detecteren. Hieruit kunnen dan hopelijk de benodigde vluchtpunten berekend worden. Als dit het geval is kan een perspectiefcorrectie uitgevoerd worden. 3.4 OCR Omdat OCR-technieken ontwikkelen en verbeteren waarschijnlijk een thesis op zich is, zijn we op zoek gegaan naar bestaande OCR-engines die eenvoudig geïntegreerd kunnen worden in een andere applicatie. We hebben vier engines (nhocr 5, Tesseract 6, Tesjeract 7 en Asprise 8 ) en een Cloud service (WiseTREND OCR Cloud ) gevonden. Voor het uittesten van de engines hebben we afbeeldingen gebruikt van Japanse borden, die we manueel bijgesneden hebben tot ze alleen de tekst bevatten. Deze afbeeldingen zijn te vinden in appendix C. De resultaten vindt u in tabel 2. Merk op dat Asprise in deze tabel niet voor komt. Dit komt omdat Asprise geen enkel karakter herkende uit heel duidelijke, zelfgemaakte afbeelding, wat ons deed besluiten dat Asprise geen Japans ondersteund. Ook Tesjeract komt niet voor omdat dit een Java Native Interface (JNI) wrapper is voor Tesseract. Verder was er geen gratis testversie van WiseTREND OCR Cloud 2.0, maar werden we verwezen naar een testversie van ABBYY FineReader 11 Professional. We gaan er vanuit dat dit betekent dat die resultaten gelijk zijn (of op zijn minst erg gelijkaardig zijn) aan die van WiseTREND OCR Cloud 2.0. Originele tekst nhocr Tesseract ABBYY FineReader 2 (b) 自 転 車 を 除 く 一 方 通 行... 掩 簸 空 曼 自 転 車 を 際 く 方 自 転 車 を 除 ぐ 方 通 行 2 (c) 自 転 車 を 除 く 一 方 通 行... 方 通 行 各 蓉 奪 ー 方 自 転 車 を 除 ぐ 方 通 行 止 まれ *\Yi 辟 ま 雜 3 (b) 止 まれ \.Yi 滞 牢 蕗 蓬 3 (c) 日 曜 休 日 を 除 く 9E.ffB..\. 旦 曼 休 曰 覆 際 く 3 (d) 日 曜 休 日 を 除 く 壁 舶 燕 聾 苳 休 曰 覆 扁 く 略 休 日 を 除 く 3 (e) 歩 行 者 優 先.#..% 歩 行 者 塵 塁 歩 行 者 優 先 4 (b) 歩 行 者 優 先.#.fj% 歩 行 者 厦 塁 歩 行 者 優 先 4 (c) 5 (b) 駐 車 場 s\.. 場 /ヨト 齡 I 駐 車 場..L. 軍 場 5 (c) この 先 50m 蛾 Wi 塾 先 5[]m しぬ 先 (d) この 先 50m 蛾 Wi 望 先 5[1m 5 (e) 進 入 禁 止.A.k 進 入 禁 止 進 入 禁 止 6 (b) 6 (c) 進 入 禁 止.A.k 造 入 禁 止 進 入 禁 止 ocr cloud.shtml 5

7 7 (b) 7 (c) 8 (b) 8 (c) 9 (b) 9 (c) 10 (b) 10 (c) 10 (d) 10 (e) 御 見 舞 御 見 舞 火 気 厳 禁 火 気 厳 禁 第 2ターミナル 連 絡 バスのりば 第 2ターミナル 連 絡 バスのりば 拿 ぃーー 丶 ヤ / 篆 ヘ ュ,t 塁 淵. 附 臀 蕗 綬 濡 く 襄 杆 鵬 いて 襄 丶 I 遁 几 ノ 苳 jf 几 蔓 誓 蔓 莫 丶 丶 ベ 儀 牢 遷 丁 實 翁 蘆,1 實 ゴ こ 亨 寅 一 糞 エ ユ1. 4 爽 気 厳 禁 抑 見 癖 ˆ 見 舞 火 気 厳 禁 気 厳 禁 沙. 藁 2 夕 ーミナ 丿 と 實 鱸 ノてスのりば 第 2ター ナル 連 絡 バスのリ 逆 z>\. 第 2 夕 ーミナル 迫 格 第 2ターミナル 連 輅 ノ 奮 スのりば ノ スのりば 乗 り 継 ぎ 案 内 乗 り 継 ぎ 案 内 棄 リ 継 ぎ 案 内 乗 り 継 ぎ 案 内 乗 り 継 ぎ 案 内 乗 り 継 ぎ 案 内 棄 り 継 ぎ 案 内 乗 り 継 ぎ 案 内 第 1 旅 客 ターミナ ル 航 空 会 社 全 日 空 エアージャパン アエロフロート ロシア 航 空 アエロメヒコ 航 空 第 1 旅 客 ターミナ ル 航 空 会 社 全 日 空 エアージャパン アエロフロート ロシア 航 空 アエロメヒコ 航 空 全 日 空 エアージヤバン es ア エ ロ7 口 卜 ロシ7k 空 アエ 口 メヒコG 空 P-さナW 瓦 理 全 B 空 エア-ジヤバン es 7エロ7ロ 卜 ロ シアf 空 アエロメヒコt 空 鼻 轍 暮 夕 ー ミ ナ ル 齟 輩 箋 社 全 日 畳 六 エ アナジヤ ぴ ビ 声 ー e 註 軍 圭 三 實 哀 口 广 i 号 二 目 霊 夏 鬘 三 アエ 囗 メヒコ 鷺 塁 罵 旅 賣 ターミナ ル 隴 空 箋 社 全 曰 寶 剛 所 ー エアージヤバン Bsフ7 蕗 二 1 二 百 フ 口 誓 トて 三 聖 箇 鷺 翼 アエ 口 メヒコ 黛 蔓 第 1 旅 客 ターミナル 航 空 会 社 全 曰 空 一 圈 圓 圍 國 麵 ー 圈 丨 國,... 國 エアージヤノ\ン 03ア エ ロ フ ロー 卜 ロシア 鎮 空 アエロメヒコ 航 空 第 1 旅 客 ターミナル 航 空 会 社 全 曰 空 エアージヤノ\ン 丨 05ア エ ロ フ ロ ー 卜 ロ シ ア 航 空 アエロメヒコ 航 空 Tabel 2: Vergelijking van de verschillende OCR-engines 6

8 3.5 Vertaalmogelijkheden Aangezien geen van ons beide enige taalstudie heeft gevolgd (en dit evenmin de kern van onze thesis is), hebben we besloten om een bestaande vertaalservice aan te spreken voor de vertalingen. In een eerste iteratie hebben we gezocht naar bestaande online vertaalservices. De services die we bekeken hebben zijn: Google Translate 10, Bing Translator 11, SYSTRANLinks 12, InterTran 13, WordLingo 14, my- Gengo 15, OneHourTranslation 16 en Apertium 17. Apertium kan Japans niet naar Engels vertalen en InterTran s online demo voor Japans naar Engels werkt niet. mygengo en OneHourTranslation zijn beide services die geen gebruik maken van machine translations (MT), aldus zijn de resultaten niet realtime. De vier overgebleven services hebben allemaal de mogelijkheid om via HTTP (HyperText Transfer Protocol) een API (Application Programming Interface) aan te spreken en zo vertalingen uit te voeren. Deze vier services hebben we dan in een tweede iteratie met elkaar vergeleken. Een objectieve vergelijking van MT werd uitgevoerd op basis van drie veelvoorkomende scores: BLEU (beschreven in [Papineni et al., 2002]), NIST(beschreven in [Doddington, 2002]) en F-Measure (beschreven in [Turian et al., 2003]). Deze waardes vergelijken de resultaten van de MT met referentievertalingen. Uit de berekende score kan men niet de kwaliteit van een vertaalservice aflezen, maar de scores kunnen wel vergeleken worden om te bepalen welke service beter is (waarbij een hogere score beter is). De vergelijking werd uitgevoerd op basis van een set van 100 zinsparen 18 Japans - Engels (beschreven in [Utiyama and Isahara, 2003]). De 100 Japanse zinnen bestaan in het totaal uit 3952 karakters (inclusief spaties en punctuatie). De referentievertaling in het Engels heeft in het totaal 1633 woorden. Merk op dat we slechts één referentievertaling gebruikt hebben, terwijl er vaak meerdere gebruikt worden. Deze hadden we echter niet voorhanden. De resultaten van deze vergelijking zijn terug te vinden in tabel 3. Service BLEU NIST F-Measure Google Translate Bing Translator SYSTRAN WordLingo Tabel 3: Vergelijking tussen de verschillende vertaalservices Uit deze resultaten kunnen we concluderen dat Google Translate de beste resultaten geeft. We plannen nog wel een extra test-set specifiek gebaseerd op tekst komende van (verkeers-)borden, maar de vertaling van deze set laat nog even op zich wachten Vergelijking van gerelateerde applicaties We hebben een aantal bestaande apps uitgeprobeerd die lijken op ons doel. Deze apps zijn: Word Lens 19 en Pleco 20 voor iphone, en WWWJDICT 21, QQ 慧 眼 (QQ Hui Yan) 22, Mezzofanti 23 en OCR Test 24 voor Android. Tabel 4 vergelijkt de verschillende apps en vat alsook de mogelijkheden ervan kort samen Page 18 De set kan gevonden worden op Een meer gedetaileerde evaluatie van de verschillende apps kan teruggevonden worden op onze thesis blog: 7

9 Applicatie Video/ Tekstdetectie: Manueel/ Automatisch Herkent Japans/ Chinees Herkent verticale tekst Vertaling Word Lens Video Automatisch Neen Neen Ja Pleco Beide Manueel Ja Ja Ja, woord per woord WWWJDICT Manueel Ja Neen Niet op OCR resultaten QQ 慧 眼 Beide Video: Manueel; : Automatisch Ja Neen Ja, woord per woord Opmerkingen Bevat meer dan enkel OCR, heeft ook een ingebouwd woordenboek, etc. Video: herkent enkel woord in het midden van het scherm : probeert alle woorden te herkennen Mezzofanti Manueel Neen Neen Ja Heeft voorgeselecteerde regio voor tekstdetectie. Vertaling via Google Translate. OCR Test Beide Manueel Ja Neen Ja Vertaling enkel op basis van een afbeelding. Video geeft wel OCRresultaten. Vertaling via Google Translate of Bing Translator. Tabel 4: Vergelijking tussen de verschillende applicaties 4 Planning In afbeelding 1 ziet u een Gantt chart van onze planning. De kleuren duiden verschillende categorieën van taken aan. Alles wat in het verleden ligt (zoals onder andere het schrijven van het verslag) wordt niet weergegeven. Schrijven thesistekst op het einde gebeurt strikt gezien in twee periodes. In de eerste, van 7 mei tot en met 18 mei, werken we aan een eerste draft-versie, die dan ingediend moet worden. Wanneer we deze terugkrijgen, kunnen we deze dan herwerken tot de uiteindelijke thesistekst. Aangezien we deze correctie waarschijnlijk niet meteen terugkrijgen, dient de periode vanaf 19 mei ook als bufferperiode voor de laatste vergelijkende gebruikerstesten. Dit voor het geval bepaalde voorgaande onderdelen uitlopen ten opzichte van de planning. 8

10 1: Gantt chart 9

11 5 Belangrijkste moeilijkheden Bij het lezen van de papers zijn we op drie belangrijke moeilijkheden gestoten: tekstlokalisatie, teksttracking en tekstcorrectie. 5.1 Tekstlokalisatie Wanneer men tekst uit een afbeelding of video van een natuurlijke omgeving wil halen om deze daarna te vertalen, zijn er een aantal problemen die opduiken. In de eerste plaats is er een goede methode nodig om tekst in zo n afbeelding of video te herkennen. Een eerste optie is de gebruiker van de applicatie te laten aangeven waar de tekst zich bevindt. Dit kan bijvoorbeeld door een kader rond de tekst te trekken, maar ook door de gebruiker de tekst kort te laten aanduiden. Een elegantere optie is natuurlijk om dit automatisch te laten gebeuren, wat uiteraard extra moeilijkheden met zich meebrengt. Zo moet de methode niet alleen accuraat zijn, maar ook in een degelijke tijdsspanne gebeuren. Men kan uiteraard niet verwachten dat gebruikers hun camera 1 minuut stil houden om te wachten tot de tekst gelokaliseerd is. 5.2 Teksttracking Omdat het proces tekst lokaliseren - OCR - vertalen behoorlijk intensief is, is het belangrijk om tekst ook te kunnen tracken in een video. Dit laat toe om slechts eenmaal de OCR en vertaling uit te voeren om toch de vertaling te kunnen blijven weergeven aan de gebruiker. Tracking moet daarom op minder dan een framelengte gebeuren, om ook tijd te geven aan o.a. de lokalisatie module, zodat ook nieuwe tekst gedetecteerd kan worden. Er bestaat weinig onderzoek over methodes om tekst in een video te tracken. Dit op zichzelf zal enkele moeilijkheden introduceren in het vervolg van onze de uitwerking. 5.3 Tekstcorrectie Wanneer gebruikers rondlopen met hun camera, zullen ze niet altijd recht voor de tekst staan. Ook de belichting zal niet altijd overal op het bord gelijk zijn en er kan vuil op het bord hangen of de tekst kan deels vervaagd zijn. Omdat al deze omstandigheden en ook nog vele anderen een negatieve invloed hebben op de kwaliteit van de OCR-resultaten is het belangrijk om deze zo goed mogelijk te kunnen corrigeren. 6 Dit werk verdient een 17/20. Dit omdat we vinden dat we het geleverd werk grondig aangepakt hebben. We hebben niet alleen papers gelezen over alle onderdelen van ons thesisonderwerp, maar ook over het vergelijken van bijvoorbeeld vertaalservices. We kunnen ook al raporteren over een aantal resultaten, zoals onder andere de vergelijking van: vier online vertaalservices, drie OCR-engines en zes gerelateerde, bestaande applicaties. We hebben op dit moment nog geen storyboard, dit omdat we nog even de resultaten van onze enquête afwachten. Referenties X. Chen, J. Yang, J. Zhang, and A. Waibel. Automatic detection and recognition of signs from natural scenes. Image Processing, IEEE Transactions on, 13(1):87 99, jan ISSN doi: /TIP G. Doddington. Automatic evaluation of machine translation quality using n-gram co-occurrence statistics. In Proceedings of the second international conference on Human Language Technology Research, HLT 02, pages , San Francisco, CA, USA, Morgan Kaufmann Publishers Inc. V. Fragoso, S. Gauglitz, S. Zamora, J. Kleban, and M. Turk. Translatar: A mobile augmented reality translator. In Applications of Computer Vision (WACV), 2011 IEEE Workshop on, pages , jan doi: /WACV A. K. JAIN and B. YU. Automatic text location in images and video frames. Pattern Recognition, 31 (12): ,

12 K. Jung, K. I. Kim, and A. K. Jain. Text information extraction in images and video: a survey. Pattern Recognition, 37(5): , ISSN doi: /j.patcog J. Kim, S. Park, and S. Kim. Text locating from natural scene images using image intensities. In Document Analysis and Recognition, Proceedings. Eighth International Conference on, pages Vol. 2, aug.-1 sept doi: /ICDAR M. Lyu, J. Song, and M. Cai. A comprehensive method for multilingual video text detection, localization, and extraction. Circuits and Systems for Video Technology, IEEE Transactions on, 15(2): , feb ISSN doi: /TCSVT K. M, R. Mine, T. Kameyama, T. Takahashi, M. Yamazaki, and T. Yamaguchi. Camera-based kanji ocr for mobile-phones: practical issues. In Document Analysis and Recognition, Proceedings. Eighth International Conference on, pages Vol. 2, aug.-1 sept doi: /ICDAR A. F. Mollah, S. Basu, and M. Nasipuri. Text/graphics separation and skew correction of text regions of business card images for mobile devices. CoRR, abs/ , informal publication. C. Monnier, V. Ablavsky, S. Holden, and M. Snorrason. Sequential correction of perspective warp in camera-based documents. In Document Analysis and Recognition, Proceedings. Eighth International Conference on, pages Vol. 1, aug.-1 sept doi: /ICDAR K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting on Association for Computational Linguistics, ACL 02, pages , Stroudsburg, PA, USA, Association for Computational Linguistics. doi: L. Tong and Y. Zhang. Correction of perspective text image based on gradient method. In Information Networking and Automation (ICINA), 2010 International Conference on, volume 2, pages V2 312 V2 316, oct doi: /ICINA J. Turian, L. Shen, and I. D. Melamed. Evaluation of machine translation and its evaluation. In In Proceedings of MT Summit IX, pages , M. Utiyama and H. Isahara. Reliable measures for aligning japanese-english news articles and sentences. In Proceedings of the 41st Annual Meeting on Association for Computational Linguistics - Volume 1, ACL 03, pages 72 79, Stroudsburg, PA, USA, Association for Computational Linguistics. doi: Y. Watanabe, K. Sono, K. Yokomizo, and Y. Okada. Translation camera on mobile phone. In Multimedia and Expo, ICME 03. Proceedings International Conference on, volume 2, pages II vol.2, july doi: /ICME J. Yang, X. Chen, J. Zhang, Y. Zhang, and A. Waibel. Automatic detection and translation of text from natural scenes. In Acoustics, Speech, and Signal Processing (ICASSP), 2002 IEEE International Conference on, volume 2, pages II 2101 II 2104, may doi: /ICASSP Q. Ye, W. Gao, W. Wang, and W. Zeng. A robust text detection algorithm in images and video frames. In Information, Communications and Signal Processing, 2003 and the Fourth Pacific Rim Conference on Multimedia. Proceedings of the 2003 Joint Conference of the Fourth International Conference on, volume 2, pages vol.2, dec doi: /ICICS Q. Ye, Q. Huang, W. Gao, and D. Zhao. Fast and robust text detection in images and video frames. Image and Vision Computing, 23(6): , ISSN doi: /j.imavis

13 Appendices A Statistieken Omdat we onze blogposts en blogcomments (op onze eigen blog) steeds samen geschreven hebben, vinden we het niet relevant deze uit te splitsen. Samen hebben we 13 blogposts en 9 blogcomments geschreven. Alle andere statistieken hebben we wel uitgesplitst. De algemene statistieken zijn te vinden in tabel 5, de uitgesplitste uren vindt u in paragraaf A.1 en A.2. Een aantal categorieën die gebruikt worden in tabel 6 en 7 moeten misschien nog even verduidelijkt worden. Onder de categorie evaluatie hebben we ook het evalueren van andere applicaties onder gebracht. De categorie implementatie bevat momenteel het implementeren van algoritmes uit papers, zodat we de verschillende OCR-engines beter kunnen evalueren. Tot slot hebben we ook een categorie andere, waaronder alles werd ondergebracht waarvan we vonden dat die niet meteen in één van de andere categorieën thuis hoorde. Het gaat hier dan bijvoorbeeld om het opstellen van de planning en de enquête. #comments op andere blogs #tweets totaal aantal uren Matthias :15 Annelies :00 Tabel 5: Algemene statistieken A.1 Matthias A.2 Annelies Categorie Uren Eigen blog 8:00 Blog anderen 10:15 Literatuur 23:15 Ontwerp 0:00 Implementatie 14:30 Evaluatie 8:15 Verslag 9:15 Meeting 3:15 Andere 11:30 Totaal 88:15 Tabel 6: Totaal aantal gewerkte uren voor Matthias, uitgesplitst in categorieën Categorie Uren Eigen blog 10:00 Blog anderen 5:30 Literatuur 24:00 Ontwerp 0:00 Implementatie 16:45 Evaluatie 8:00 Verslag 17:15 Meeting 3:15 Andere 10:15 Totaal 95:00 Tabel 7: Totaal aantal gewerkte uren voor Annelies, uitgesplitst in categorieën 12

14 B Bestudeerde literatuur en gerelateerd werk B.1 Matthias B.1.1 Skimmed An Overview of the Tesseract OCR Engine (Ray Smith, 2007) A comprehensive method for multilingual video text detection, localization, and extraction (M. R. Lyu et al., 2005) A robust text detection algorithm in images and video frames (Qixiang Ye et al., 2003) Improvement of video text recognition by character selection (T. Mita and O. Hori, 2001) Kanji Character Detection from Complex Real Scene Images based on Character Properties (Lianli Xu et al., 2008) BLEU: a Method for Automatic Evaluation of Machine Translation (Kishore Papineni et al., 2002) Automatic evaluation of machine translation quality using n-gram co-occurrence statistics (George Doddington, 2002) An evaluation tool for machine translation: Fast evaluation for MT research (S. Nießen et al., 2000) Evaluation of machine translation and its evaluation (Joseph P. Turian et al., 2003) Using multiple edit distances to automatically grade outputs from Machine translation systems (Yasuhiro Akiba et al., 2006) Objective evaluation criteria for machine translation (A. J. Petit, 1977) Fast, cheap, and creative: Evaluating translation quality using Amazon s Mechanical Turk (Chris Callison- Burch, 2009) Re-evaluating machine translation results with paraphrase support (Liang Zhou et al., 2006) Re-evaluating the Role of BLEU in Machine Translation Research (Chris Callison-Burch et al., 2006) JEIDA s Test-Sets for Quality Evaluation of MT Systems: Technical Evaluation from the Developer s Point of View (Hitoshi Isahara, 1995) Reliable measures for aligning Japanese-English news articles and sentences (Masao Utiyama and Hitoshi Isahara, 2003) A new robust algorithm for video text extraction (E. Wong, 2003) B.1.2 Read TranslatAR: A mobile augmented reality translator (Victor Fragoso et al., 2011) Camera-based Kanji OCR for Mobile-phones: Practical Issues (M Koga et al., 2005) Translation camera on mobile phone (Y. Watanabe et al., 2003) Kanji recognition in scene images without detection of text fields - robust against variation of viewpoint, contrast, and background texture (A. Suzuki et al., 2004) Translation and the Internet: Evaluating the Quality of Free Online Machine Translators (Stephen Hampshire and Carmen Porta Salvia, 2010) Comparative Evaluation of Online Machine Translation Systems with Legal Texts (Chunyu Kit and Tak Ming Wong, 2008) Correction of perspective text image based on gradient method (Lijing Tong and Yan Zhang, 2010) Sequential correction of perspective warp in camera-based documents (Camille Monnier et al., 2005) Text/Graphics Separation and Skew Correction of Text Regions of Business Card Images for Mobile Devices (Ayatullah Faruk Mollah et al., 2010) Multiple target detection and tracking with guaranteed framerates on mobile phones (D. Wagner et al., 2009) Real-time vision-based camera tracking for augmented reality applications (Dieter Koller et al., 1997) A real-time tracker for markerless augmented reality (A. I. Comport et al., 2003) Automatic detection and recognition of signs from natural scenes (Xilin Chen et al., 2004) Automatic detection and translation of text from natural scenes (Jie Yang et al., 2002) Video text recognition using feature compensation as category-dependent feature extraction (M. Mori, 2003) Fast and robust text detection in images and video frames (Q. Ye et al., 2005) Text locating from natural scene images using image intensities (Jisoo Kim et al., 2005) Automatic text location in images and video frames (A. K. Jain and Bin Yu, 1998) Text information extraction in images and video: a survey (K. Jung, 2004) 13

15 B.2 Annelies B.2.1 Skimmed An Overview of the Tesseract OCR Engine (Ray Smith, 2007) From Mirroring to Guiding: A Review of State of the Art Technology for Supporting Collaborative Learning (Amy Soller et al., 2005) Character extraction of license plates from video (Y. T. Cui and Q. Huang, 1997) A Fast Skew Correction Technique for Camera Captured Business Card Images (A. F. Mollah, 2009) Perspective Correction Methods for Camera-Based Document Analysis (L. Jagannathan and C. V. Jawahar, 2005) TextFinder: An Automatic System to Detect and Recognize Text In Images (Victor Wu et al., 1999) Locating text in complex color images (Y. Zhong et al., 1995) Text scanner with text detection technology on image sequences (T. Kurata and M. Kourogi, 2002) Marker-less Vision Based Tracking for Mobile Augmented Reality (D. Beier et al., 2003) Localizing and segmenting text in images and videos (Rainer Lienhart and Axel Wernicke, 2002) Automatic location of text in video frames (Xian-Sheng Hua et al., 2001) Text detection and segmentation in complex color images (C. Garcia and X. Apostolidis, 2000) Extraction of illusory linear clues in perspectively skewed documents (M. Pilu, 2001) B.2.2 Read TranslatAR: A mobile augmented reality translator (Victor Fragoso et al., 2011) Camera-based Kanji OCR for Mobile-phones: Practical Issues (M. Koga et al., 2005) Translation camera on mobile phone (Y. Watanabe et al., 2003) Comparative Evaluation of Online Machine Translation Systems with Legal Texts (Chunyu Kit and Tak Ming Wong, 2008) Evaluation of machine translation and its evaluation (Joseph P. Turian, 2003) Translation and the Internet: Evaluating the Quality of Free Online Machine Translators (Stephen Hampshire and Carmen Porta Salvia, 2010) Design-based research: what we learn when we engage in design of interactive systems ( Zeljko Obrenović, 2007) Correction of perspective text image based on gradient method (Lijing Tong and Yan Zhang, 2010) Text information extraction in images and video: a survey (K. Jung, 2004) Text/Graphics Separation and Skew Correction of Text Regions of Business Card Images for Mobile Devices (Ayatullah Faruk Mollah et al., 2010) Sequential correction of perspective warp in camera-based documents (Camille Monnier et al., 2005) Multiple target detection and tracking with guaranteed framerates on mobile phones (D. Wagner et al., 2009) Real-time vision-based camera tracking for augmented reality applications (Dieter Koller et al., 1997) A real-time tracker for markerless augmented reality (A. I. Comport et al., 2003) A comprehensive method for multilingual video text detection, localization, and extraction (M. R. Lyu et al., 2005) A robust text detection algorithm in images and video frames (Qixiang Ye et al., 2003) Automatic detection and recognition of signs from natural scenes (Xilin Chen et al., 2004) Automatic detection and translation of text from natural scenes (Jie Yang et al., 2002) Automatic text location in images and video frames (A. K. Jain and Bin Yu, 1998) Fast and robust text detection in images and video frames (Q. Ye et al., 2005) Text locating from natural scene images using image intensities (Jisoo Kim et al., 2005) Video text recognition using feature compensation as category-dependent feature extraction (M. Mori, 2003) 14

16 C Extra afbeeldingen (a) (b) (c) 2: (a) volledige foto (b) kleur (c) grijswaarden (a) (b) (c) (d) (e) 3: (a) volledige foto (b) bovenaan kleur (c) bovenaan grijswaarden (d) onderaan kleur (e) onderaan grijswaarden (a) (b) (c) 4: (a) volledige foto (b) kleur (c) grijswaarden (a) (b) (c) (d) (e) 5: (a) volledige foto (b) bovenaan kleur (c) bovenaan grijswaarden (d) onderaan kleur (e) onderaan grijswaarden 15

17 (a) (b) (c) 6: (a) volledige foto (b) kleur (c) grijswaarden (a) (b) (c) 7: (a) volledige foto (b) kleur (c) grijswaarden (a) (b) (c) 8: (a) volledige foto (b) kleur (c) grijswaarden 16

18 (a) (b) (c) 9: (a) volledige foto (b) kleur (c) grijswaarden (a) (b) (c) (d) (e) 10: (a) volledige foto (b) bovenaan kleur (c) bovenaan grijswaarden (d) onderaan kleur (e) onderaan grijswaarden 17