董引娣，趙曉祎

1.重慶城市管理職業(yè)學(xué)院 信息工程學(xué)院，重慶 401331

2.中國(guó)人民解放軍后勤工程學(xué)院 訓(xùn)練部，重慶 401331

1 引言

場(chǎng)景文字定位與識(shí)別是非常有價(jià)值的研究方向，可幫助視障人士進(jìn)行語(yǔ)言翻譯和寫(xiě)作，同時(shí)可用于大型圖像和視頻數(shù)據(jù)庫(kù)文本內(nèi)容自動(dòng)索引（例如谷歌街景、Flickr等）。不同于傳統(tǒng)印刷文檔的OCR（optical character recognition），現(xiàn)有場(chǎng)景文本識(shí)別方法在識(shí)別精度上無(wú)法滿足應(yīng)用需要，最近的ICDAR 2015大賽獲獎(jiǎng)算法也只能達(dá)到70%的識(shí)別精度，并且要求場(chǎng)景文本不存在透視變形或明顯噪聲[1]。

文本定位過(guò)程在算法中占有非常大的計(jì)算復(fù)雜度，因?yàn)閷?duì)應(yīng)于大小為N像素的圖像會(huì)產(chǎn)生2N個(gè)子集?，F(xiàn)有算法一般采用兩種處理方式：

（1）借鑒其他對(duì)象的檢測(cè)問(wèn)題，利用滑動(dòng)窗口方法對(duì)個(gè)別字符或整個(gè)詞進(jìn)行定位。這種方法已得到成功應(yīng)用，例如文獻(xiàn)[2]提出基于樹(shù)結(jié)構(gòu)模型的端到端場(chǎng)景文本識(shí)別；文獻(xiàn)[3]提出集成多個(gè)字符建議的魯棒場(chǎng)景文本提取方法；文獻(xiàn)[4]提出基于窗口特征識(shí)別的魯棒的自然場(chǎng)景圖像文本檢測(cè)方法等。這類方法的優(yōu)點(diǎn)是對(duì)噪聲和模糊性具有很強(qiáng)的魯棒性，因?yàn)閷?duì)于窗口興趣區(qū)域的特征進(jìn)行了充分的開(kāi)發(fā)利用[5]。主要缺點(diǎn)是需要評(píng)估的矩形數(shù)量迅速增長(zhǎng)時(shí)，須找到具有不同規(guī)模、方向、旋轉(zhuǎn)和扭曲的文本，導(dǎo)致定位精度降低。

（2）使用圖像的局部屬性（如顏色、強(qiáng)度或筆劃寬度）將單個(gè)字符定位為連接組件的方法。這種方法逐漸得到流行，例如文獻(xiàn)[6]提出基于強(qiáng)度跟蹤的多方位場(chǎng)景文本檢測(cè)，設(shè)計(jì)了動(dòng)態(tài)規(guī)劃?rùn)z測(cè)方法的統(tǒng)一框架；文獻(xiàn)[7]提出利用智能手機(jī)處理的自適應(yīng)場(chǎng)景文本圖像二值化顏色檢測(cè)方法；文獻(xiàn)[8]提出基于筆劃寬度的實(shí)時(shí)無(wú)詞典場(chǎng)景文本定位與識(shí)別方法。這類方法的復(fù)雜性不依賴于所有字符尺度的文本參數(shù)，在OCR階段可檢測(cè)到字符分割的連通分量。最大缺點(diǎn)是依賴于字符是連接組件的假設(shè)，噪聲的單像素改變可能會(huì)導(dǎo)致連接組件的大小、形狀或其他屬性不發(fā)生變化，從而可能影響其分類。

本文提出了終端到終端的實(shí)時(shí)文本定位和識(shí)別方法，它不依賴于任何先驗(yàn)知識(shí)即可實(shí)現(xiàn)文本檢測(cè)，這與詞匯為基礎(chǔ)的方法存在明顯的不同。本文方法屬于第二種算法類別，因?yàn)樗紫葯z測(cè)單個(gè)字符，然后建立更復(fù)雜的字符結(jié)構(gòu)，例如字和文本線。最后，通過(guò)實(shí)驗(yàn)仿真對(duì)算法性能進(jìn)行了測(cè)試和分析。

2 算法框架描述

近期，大多數(shù)文本局部化方法都使用連接組件方法。這些方法在個(gè)體特征檢測(cè)方法上有所不同，它們可以基于邊緣檢測(cè)、特征能量計(jì)算或極值區(qū)域檢測(cè)。雖然這些方法都非常注重個(gè)性檢測(cè)，但最終分割的決策僅取決于局部特征。這種方法對(duì)噪聲和模糊圖像很敏感，因?yàn)樗蕾囉诔晒z測(cè)到的邊緣，并且只為每個(gè)字符提供一個(gè)分割，這對(duì)OCR模塊來(lái)說(shuō)可能不是最好的?，F(xiàn)有大多數(shù)方法只注重文本識(shí)別，文字位置通過(guò)人工進(jìn)行設(shè)定，只有少數(shù)的端到端文本定位和識(shí)別方法能夠處理嘈雜的數(shù)據(jù)，但它們的通用性受到詞匯字典的限制。本文提出文本線局部極值區(qū)域兩階段場(chǎng)景文本序列識(shí)別方法，所要解決的便是文本的自動(dòng)定位和處理方法的通用性問(wèn)題。

對(duì)于一組給定的訓(xùn)練圖像S={(Ii,Bi)}ni=1，其中Ii為圖像，Bi是圖像Ii中用于指定字符的位置和范圍的一組邊界框。文本檢測(cè)算法應(yīng)該能夠捕捉到字符的本質(zhì)子結(jié)構(gòu)，并且區(qū)別于局部背景，具有相互對(duì)立關(guān)系。由于S僅提供字符級(jí)注釋，需要對(duì)其字符原型進(jìn)行自動(dòng)識(shí)別[9-10]。

給定“發(fā)現(xiàn)”圖像集D和“自然詞語(yǔ)”圖像集N，算法目標(biāo)是在D中發(fā)現(xiàn)歧視其他集群的有代表性補(bǔ)丁集群及圖像集N中可視詞語(yǔ)。該算法輸出是具有最高排名的補(bǔ)丁集群K和分類集C。每個(gè)集群Kj對(duì)應(yīng)分類器Cj可檢測(cè)到在新圖像下與聚類Kj相似的補(bǔ)丁。本文提出端到端的實(shí)時(shí)文本定位和識(shí)別方法，不依賴于任何先驗(yàn)檢測(cè)知識(shí)。該方法首先檢測(cè)單個(gè)字符，然后建立更復(fù)雜的結(jié)構(gòu)模型。通過(guò)將字符檢測(cè)問(wèn)題轉(zhuǎn)換成一組有效的順序極值區(qū)域（extremal regions，ER）選擇問(wèn)題，實(shí)現(xiàn)實(shí)時(shí)的檢測(cè)能力，算法框架見(jiàn)圖1所示。

Fig.1 Algorithm framework圖1 算法框架

在第一階段，利用特征計(jì)算對(duì)每個(gè)ER字符概率進(jìn)行計(jì)算，這部分算法計(jì)算復(fù)雜度較低，然后選取具有局部最大概率的特征用于第二階段，并采用復(fù)雜度更加昂貴的算法細(xì)化特征計(jì)算。利用高效聚類算法將ER處理成文本線，然后利用字符區(qū)域的標(biāo)簽以及OCR分類器合成字體。最后，在上下文中的每個(gè)字符的文本線已知的情況下，可實(shí)現(xiàn)最有可能的字符序列的快速選取，實(shí)現(xiàn)算法效率提升。

3 特征檢測(cè)過(guò)程

3.1 極值區(qū)域

考慮圖像映射I：D?N2→V，對(duì)于彩色圖像，V為[0,255]3。圖像I的信道是映射C：D→S，其中S是完全有序集合，fc：V→S是一個(gè)完全有序集的像素值投影。令A(yù)表示鄰接區(qū)域A?D×D。本文考慮4像素情形，具有坐標(biāo)(x±1,y)和(x,y±1)的像素是像素(x,y)的鄰接矩陣。圖像I的區(qū)域R是D的連續(xù)子集[11]：

外邊界?R相鄰但不屬于R像素集：

極值區(qū)域是其外邊界像素具有嚴(yán)格高于該區(qū)域本身值的區(qū)域：

其中，θ表示極值區(qū)域的閾值?？紤]RGB和HSI顏色空間和附加強(qiáng)度梯度通道（?），其中每個(gè)像素通過(guò)其鄰居之間的最大強(qiáng)度差近似進(jìn)行“梯度”像素分配。

在圖像中，有些字符是由較小元素或多個(gè)聯(lián)合字符組成的單個(gè)元素構(gòu)成的。采用高斯金字塔分解對(duì)圖像進(jìn)行預(yù)處理，如果字符包含多個(gè)元素，這些元素融合在一起成為單一區(qū)域，則在每級(jí)金字塔只有具有一定間隔的字符筆劃寬度被放大。

3.2 描述符的增量計(jì)算

ER快速分類關(guān)鍵是分類器特征的區(qū)域描述符獲取[12]。在閾值θ上極值區(qū)域r可構(gòu)成聯(lián)合區(qū)域，或在閾值θ-1上的更多極值區(qū)域。使用特殊描述符，并利用ER之間存在的包含關(guān)系，以增量計(jì)算方式進(jìn)行描述。令Rθ-1表示閾值θ-1上極值區(qū)域集合，在閾值θ上極值區(qū)域r∈Rθ可利用閾值θ-1上區(qū)域像素及像素值θ聯(lián)合構(gòu)成：

假設(shè)閾值u∈Rθ-1上所有極值區(qū)域描述符為?(u)。為計(jì)算區(qū)域r∈Rθ描述符?(r)，需對(duì)區(qū)域u∈Rθ-1描述符和像素{p∈D:C(p)=θ}融合，形成區(qū)域r：

其中，符號(hào)⊕表示合并區(qū)域描述符；ψ(p)表示給定像素p描述符初始化函數(shù)。這樣的描述符ψ(p)和⊕存在增量計(jì)算過(guò)程，如圖2所示。

可通過(guò)簡(jiǎn)單地依次增加閾值θ從0到255，實(shí)現(xiàn)對(duì)所有極值區(qū)域描述符的計(jì)算，在閾值θ中添加像素的計(jì)算描述符ψ，在閾值θ-1中重用區(qū)域?描述符。此外，假定單個(gè)像素ψ(p)描述符計(jì)算及組合操作⊕具有固定時(shí)間復(fù)雜度，由此產(chǎn)生的對(duì)于N個(gè)像素的圖像所有極值區(qū)域描述符的計(jì)算復(fù)雜度為O(N)，每個(gè)像素只計(jì)算一次?(p)，那么組合函數(shù)可在最多N次計(jì)算過(guò)程中完成評(píng)估，因?yàn)闃O值區(qū)域數(shù)目上限為圖像中的像素?cái)?shù)。本文使用以下增量計(jì)算描述符：

（1）面積參數(shù)a，即像素?cái)?shù)，其初始化函數(shù)是一個(gè)常數(shù)函數(shù)ψ(p)=1，組合運(yùn)算⊕表示加法操作(+)。

（2）邊界框(xmin,ymin,xmax,ymax)，表示區(qū)域右上角和左下角。坐標(biāo)為(x,y)像素p的初始化函數(shù)為(x,y,x+1,y+1)，組合操作⊕為(min,min,max,max)。該區(qū)域?qū)挾圈睾透叨萮可計(jì)算為xmax-xmin和ymax-ymin。

（3）周長(zhǎng)參數(shù)p，區(qū)域邊界長(zhǎng)度見(jiàn)圖2（a）。在像素p中當(dāng)閾值添加時(shí)，初始函數(shù)ψ(p)確定周長(zhǎng)的變化：

式中，ψ(p)的計(jì)算復(fù)雜度為O(1)，因?yàn)槊總€(gè)像素最多有4個(gè)鄰居像素。

（4）歐拉數(shù)η。歐拉數(shù)是一個(gè)二元圖像的拓?fù)涮卣?，其?jì)算形式為：其中，C1、C2和C3分別表示圖像中二進(jìn)制像素?cái)?shù)。初始化函數(shù)值ψ(p)可通過(guò)對(duì)給定閾值C(p)像素p由0到1變化所確定：

3.3 順序分類

在本文方法中，每個(gè)信道分別進(jìn)行高斯金字塔處理，然后檢測(cè)ER。為減少高誤報(bào)率和高冗余的ER檢測(cè)器，順序分類只對(duì)獨(dú)特ER對(duì)應(yīng)的字符進(jìn)行選擇。

步驟1閾值從0逐漸增加到255，對(duì)極值區(qū)域r的描述符增量計(jì)算復(fù)雜度為O(1)，這些描述符作為分類器的特征，用于對(duì)類的條件概率p(character|r)的計(jì)算，只選擇具有最大概率的極值區(qū)域進(jìn)行第二步計(jì)算，如圖3所示。

Fig.3 Conditional probability computation of a class圖3 類的條件概率計(jì)算

采用AdaBoost分類器順序分類，采用的字符特征有：縱橫比ω/h、緊性、孔數(shù)(1-η)、水平通道特征，作用是在水平投影中估計(jì)字符筆劃數(shù)。只對(duì)c的固定大小子集采樣，獲得固定復(fù)雜度計(jì)算過(guò)程。利用Logistic修正，對(duì)分類器輸出進(jìn)行概率函數(shù)p(character|r)校準(zhǔn)。通過(guò)實(shí)驗(yàn)，設(shè)置參數(shù)pmin=0.2，Δmin=0.1。

步驟2通過(guò)步驟1篩選的極值區(qū)域進(jìn)行字符和非字符類別劃分，但對(duì)這些特征進(jìn)行操作的計(jì)算復(fù)雜度也很高。本文采用支持向量機(jī)（support vector machine，SVM）和RBF（radial basis function）核函數(shù)進(jìn)行操作。該步驟中利用步驟1所有特征，并增加如下特征：開(kāi)孔面積比ah/a，其中ah表示區(qū)域孔的像素?cái)?shù)；凸殼比率ac/a，其中ac表示區(qū)域凸包的面積；外邊界拐點(diǎn)數(shù)κ，表示區(qū)域邊界周?chē)袼刂g的凹凸角變化次數(shù)。

4 算法計(jì)算步驟

4.1 文本行構(gòu)建

令R表示在前一階段中檢測(cè)到的所有通道和尺度區(qū)域（字符候選）集。搜索所有序列空間，及其對(duì)應(yīng)的子字符序列。利用底線估計(jì)和附加的外形限制進(jìn)行集群個(gè)體距離測(cè)量?；诟F舉算法進(jìn)行初始文本線候選，如算法1所示。

算法1初始文本線候選

輸入：區(qū)域集R。

輸出：三元組集T。

算法1中，對(duì)r1∈R進(jìn)行窮舉操作，利用其鄰居r2∈N(r1)和r3∈N(r2)。r2∈N(r1)指相距K=5以內(nèi)的r2與r1，該距離表示兩區(qū)域質(zhì)心距離。通過(guò)限制集合r2∈N(r1)到區(qū)域r2方式，按照自左到右方向強(qiáng)制執(zhí)行文本，其質(zhì)心在r1質(zhì)心右邊，即cx(r2)＞cx(r1)，其中cx(r)表示該區(qū)域r的質(zhì)心x的坐標(biāo)。

在窮舉搜索中，區(qū)域?qū)?r1,r2)和(r2,r3)及(r1,r2,r3)可利用約束v進(jìn)行修剪，目的是降低窮舉操作復(fù)雜度。在本文方法中，二進(jìn)制約束v使用高度比和區(qū)域距離寬度歸一化值作為特征，而三元約束v′采用文本行高度和區(qū)域質(zhì)心角度歸一化距離底線作為特征。實(shí)驗(yàn)中，AdaBoost分類器事先利用ICDAR 2013訓(xùn)練集進(jìn)行訓(xùn)練。

算法2構(gòu)建文本行，每個(gè)三元組變成長(zhǎng)度為3的文本行，利用最小二乘法估計(jì)初始基線方向b。橫框中包含所有的行文本區(qū)域計(jì)算，并保存坐標(biāo)（左）、（右）和（高）。查找行l(wèi)和l′的最小距離dist(l,l′)。兩部分區(qū)域合并，基于合并文本行區(qū)域集可實(shí)現(xiàn)對(duì)新底線方向和包圍盒坐標(biāo)更新。最小相互距離dist(l,l′)定義如下：

算法2文本線構(gòu)建

輸入：三元組集T。

輸出：文本線集L。

4.2 基于序列選擇的字符識(shí)別

令表示所有文本行區(qū)域的集合，即：

每個(gè)候選區(qū)域r∈利用Unicode碼對(duì)最近鄰分類器進(jìn)行標(biāo)記。區(qū)域r標(biāo)簽集r∈定義為：

其中，l(t)表示訓(xùn)練樣本t的標(biāo)簽；NK(f(r))表示字符特征空間f中區(qū)域r的K近鄰；是標(biāo)簽l的最大距離；A是支持Unicode字符集。

首先將區(qū)域歸一化到固定大小為35×35像素的矩陣，保留該區(qū)域的質(zhì)心和縱橫比。訓(xùn)練集由白色背景上的黑色字母圖像組成，共有5 580個(gè)訓(xùn)練樣本。最近鄰分類器NK由近似最近鄰分類器實(shí)現(xiàn)，K設(shè)定為11。為計(jì)算每個(gè)類別估計(jì)的值，每個(gè)特征表示為訓(xùn)練集的交叉驗(yàn)證乘以β的公差因子，這里選取β=2.5。

考慮將字表示為字符序列，在文本線中給定區(qū)域r1和r2，如果r1和r2是相同文本行一部分，r1為r2前身，即字符序列中與r1相關(guān)聯(lián)的字符緊接在與r2相關(guān)聯(lián)字符之前?？梢胗邢蜻B接圖G對(duì)其進(jìn)行表達(dá)，從而使節(jié)點(diǎn)對(duì)應(yīng)于標(biāo)記區(qū)域：

其中，rl表示具有標(biāo)簽l∈A的區(qū)域r。沒(méi)有由字符分類器分配任何標(biāo)簽的區(qū)域不是文本行圖的一部分。每個(gè)節(jié)點(diǎn)rl和邊具有關(guān)聯(lián)的權(quán)值s(rl)和，計(jì)算形式分別為：

其中，權(quán)重α1、α2、α3、α4可由訓(xùn)練階段確定。

字符識(shí)別置信度ω(rl)表示通過(guò)分類器區(qū)域r具有字符標(biāo)簽l的概率。利用標(biāo)簽為l的訓(xùn)練集對(duì)K近鄰模板進(jìn)行計(jì)算，獲得字符特征空間中的距離和，并利用最近模板的距離進(jìn)行歸一化：

閾值重疊區(qū)間τ(r1,r2)是區(qū)域r1和r2間隔的交集；轉(zhuǎn)移概率λ(l1,l2)表示給定語(yǔ)言模型中，標(biāo)簽l1跟隨l2的估計(jì)概率。本文算法最后一步，為每個(gè)節(jié)點(diǎn)和邊緣分配分?jǐn)?shù)，實(shí)現(xiàn)有向圖構(gòu)造。該過(guò)程中與每個(gè)文本行關(guān)聯(lián)的單詞序列作為算法的最終輸出。則本文算法計(jì)算復(fù)雜度為O(pN)，其中p為所采用的通道數(shù)，N為圖像的像素?cái)?shù)。

5 實(shí)驗(yàn)分析

硬件設(shè)置：CPU-AMD 7650K 3.30 GHz，內(nèi)存為8 GB ddr4-2400k，系統(tǒng)為Win10旗艦版。參數(shù)設(shè)置：極值區(qū)域的閾值θ∈[0,255]逐漸增加，pmin=0.2，Δmin=0.1，間距K=5，公差因子β=2.5，歸一化區(qū)域的固定大小35×35像素，其余參數(shù)b、、、在算法開(kāi)始節(jié)點(diǎn)進(jìn)行自動(dòng)估計(jì)，見(jiàn)算法2。

對(duì)比算法選取文獻(xiàn)[13-16]，其中文獻(xiàn)[13]是一種考慮紋理特征和圖像矩的自然場(chǎng)景文本識(shí)別算法；文獻(xiàn)[14]利用邊界聚類、筆劃分割和字符串片段分類實(shí)現(xiàn)對(duì)場(chǎng)景圖像中的文本局部化操作；文獻(xiàn)[15]是基于文本嵌入式分割的場(chǎng)景文本有效圖切割識(shí)別算法；文獻(xiàn)[16]也是一種局部化操作的場(chǎng)景文本識(shí)別算法。測(cè)試對(duì)象選取USTB-SV1K數(shù)據(jù)庫(kù)，其場(chǎng)景文本具有多方向特征，如圖4所示。

該數(shù)據(jù)庫(kù)是具有500幅圖像的多方向場(chǎng)景文本數(shù)據(jù)庫(kù)。圖片平均尺寸是1 600×1 200像素。場(chǎng)景圖像采集通過(guò)瀏覽器直接在亞馬遜網(wǎng)站上復(fù)制，并通過(guò)人工注釋，特定圖像與特定文本，例如企業(yè)標(biāo)志和名稱只能處于水平方向。評(píng)價(jià)指標(biāo)為：識(shí)別精度（precision）、召回率（recall）、F-score以及計(jì)算時(shí)間。前3項(xiàng)指標(biāo)定義如下：

Fig.4 USTB-SV1K database multi-direction features(partial images)圖4 USTB-SV1K數(shù)據(jù)庫(kù)多方向特征(部分圖像)

式中，TP表示正確劃分為正例個(gè)數(shù)；FP表示錯(cuò)誤劃分為正例個(gè)數(shù)；FN表示錯(cuò)誤劃分為負(fù)例個(gè)數(shù)。實(shí)驗(yàn)結(jié)果如表1所示。

Table 1 Comparison of experimental data表1 實(shí)驗(yàn)對(duì)比數(shù)據(jù)

根據(jù)表1數(shù)據(jù)，在recall指標(biāo)上，幾種對(duì)比算法性能相差不大，均分布在0.61～0.63之間。在precision指標(biāo)上，本文算法精度為0.72，相對(duì)于選取的幾種算法，具有較為明顯的優(yōu)勢(shì)，對(duì)比算法識(shí)別精度分布在0.61～0.67之間。而在計(jì)算時(shí)間上，本文算法計(jì)算時(shí)間為5.2 s，在上述幾種算法中，計(jì)算時(shí)間是最少的。對(duì)比算法中，文獻(xiàn)[14]和文獻(xiàn)[16]也都采用了局部化操作方法，因此其計(jì)算時(shí)間也相對(duì)較少，分別為6.3s和6.5s。

圖5所示為文獻(xiàn)[13-16]以及本文算法的場(chǎng)景文本識(shí)別效果，實(shí)驗(yàn)對(duì)象選自USTB-SV1K數(shù)據(jù)庫(kù)。從圖5結(jié)果可知，從分割效果上看，本文算法要明顯優(yōu)于選取的文獻(xiàn)[13-16]對(duì)比算法。文獻(xiàn)[13]算法和文獻(xiàn)[14]算法在HOWARD字符識(shí)別上效果不理想，存在較大區(qū)域的黑化現(xiàn)象。文獻(xiàn)[16]算法在REDBACK、HOWARD和LITTER字符上的識(shí)別效果不好，存在白化現(xiàn)象。文獻(xiàn)[15]算法在上述實(shí)驗(yàn)對(duì)象上的識(shí)別效果總體還可以，但是噪聲問(wèn)題比較嚴(yán)重，識(shí)別圖像不夠清晰。上述實(shí)驗(yàn)結(jié)果驗(yàn)證了本文算法的性能優(yōu)勢(shì)。

Fig.5 Image localization segmentation effect圖5 圖像局部化分割效果

6 結(jié)束語(yǔ)

本文提出了一種基于文本線局部極值區(qū)域兩階段場(chǎng)景文本序列識(shí)別方法，采用兩個(gè)階段進(jìn)行場(chǎng)景文本的識(shí)別，將第一階段的最大概率的局部特征作為第二階段的輸入，然后利用文本線處理方式和順序分類算法實(shí)現(xiàn)場(chǎng)景文本的有效識(shí)別。實(shí)驗(yàn)結(jié)果驗(yàn)證了算法性能優(yōu)勢(shì)。今后研究主要集中在以下三點(diǎn)：（1）采用更復(fù)雜和數(shù)量更大的數(shù)據(jù)庫(kù)對(duì)算法性能進(jìn)行測(cè)試；（2）對(duì)應(yīng)用系統(tǒng)開(kāi)發(fā)進(jìn)行研究，并考慮建立與真實(shí)字符系統(tǒng)的接口；（3）對(duì)算法性能進(jìn)行優(yōu)化，實(shí)現(xiàn)更佳的識(shí)別性能和更快速的計(jì)算。