尹遠(yuǎn)+余正濤

摘 要： 傳統(tǒng)銘牌字符識(shí)別主要通過計(jì)算銘牌字符圖片的灰度平均值來判定，由于銘牌字符具有筆畫方向特征、輪廓特征，同時(shí)字符之間存在著一定的排列特征。提出融合字符及字符排列特征的銘牌識(shí)別方法，首先對(duì)銘牌字符圖片分別進(jìn)行橫、豎、撇三個(gè)方向上的小波變換，求出三個(gè)方向上的小波平均能量，再提取出字符的邊緣方向直方圖，以小波平均能量和邊緣方向直方圖構(gòu)成特征向量，用支持向量機(jī)分類器訓(xùn)練并構(gòu)建候選字符識(shí)別模型，得到候選字符，然后利用銘牌字符排列特點(diǎn)和銘牌的樣本數(shù)據(jù)訓(xùn)練構(gòu)建N階馬爾科夫字符排列模型，借助于模型對(duì)候選字符進(jìn)行約束獲得銘牌識(shí)別結(jié)果，最后對(duì)電力設(shè)備銘牌進(jìn)行識(shí)別實(shí)驗(yàn)。結(jié)果表明，提出的方法表現(xiàn)了很好的效果，比OCR軟件識(shí)別的準(zhǔn)確率提高了12.6%。

關(guān)鍵詞： 設(shè)備銘牌； 字符識(shí)別； 筆畫方向特征； 輪廓特征； 字符排列特征

中圖分類號(hào)： TN919?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）22?0006?03

0 引 言

銘牌字符不同于具有白色背景的普通文檔字符，它一般出現(xiàn)在彩色背景中，字符可能出現(xiàn)傾斜，而且字符數(shù)量遠(yuǎn)遠(yuǎn)少于普通文檔，一般同時(shí)包含文字、數(shù)字和字母，識(shí)別這種字符對(duì)于設(shè)備的管理具有重要意義[1]。目前的銘牌字符識(shí)別是提取字符特征建立模版，利用模版匹配來進(jìn)行字符識(shí)別。其中，字符特征的提取和匹配是最關(guān)鍵的部分。對(duì)于特征的提取，Yang等人提出以字符的孔洞數(shù)[2]、字符每一行由白到黑跳變的像素個(gè)數(shù)以及字符經(jīng)過Gabor[3]變換之后的紋理特征來作為字符的識(shí)別特征；Chen等人提出以字符的小波能量[4]作為字符識(shí)別特征的方法，其中小波能量是一種細(xì)節(jié)特征，可以較好地體現(xiàn)字符在不同筆畫方向上的頻譜能量[5]；Wei等人利用字符的開閉環(huán)特征[6]訓(xùn)練BP神經(jīng)網(wǎng)絡(luò)[7]來進(jìn)行字符的識(shí)別，通過判斷字符的形狀有沒有構(gòu)成封閉的區(qū)域，以構(gòu)成不同類型的封閉區(qū)域作為字符的識(shí)別特征。對(duì)于銘牌字符模版的匹配，傳統(tǒng)方法是將字符分割成很多小塊，然后計(jì)算出所有小塊的灰度平均值[8]來進(jìn)行匹配，字符中的漢字、數(shù)字和字母筆畫彎折的部分具有豐富的筆畫方向特征[9]，通過小波變換可以把字符筆畫方向的變化這一局部細(xì)節(jié)信息反映在頻譜的高頻部分，同時(shí)銘牌字符的輪廓線條存在著很多方向突變，具有豐富的形狀輪廓信息，邊緣方向直方圖[10]可以體現(xiàn)字符的整體形狀輪廓信息。銘牌上的內(nèi)容一般是某一領(lǐng)域的相關(guān)術(shù)語，字符只有通過固定的排列才能構(gòu)成這些術(shù)語，通過N階馬爾科夫方法[11]構(gòu)建的字符排列模型可以體現(xiàn)出字符之間的特定排列特征。所以本文將它們?nèi)诤显阢懪谱R(shí)別的特征提取和結(jié)果匹配中，提高銘牌字符識(shí)別的準(zhǔn)確率。以電力設(shè)備銘牌識(shí)別實(shí)驗(yàn)為例，其結(jié)果也驗(yàn)證了本文提出方法的有效性。

1 銘牌字符預(yù)處理

在進(jìn)行銘牌字符識(shí)別之前，需要對(duì)銘牌上的字符做預(yù)處理，包括字符圖像的二值化、字符圖像的去傾斜、以及字符圖像的分割。設(shè)備銘牌的圖像通常是彩色的，為了方便對(duì)字符的分割以及識(shí)別，首先要對(duì)字符圖像進(jìn)行二值化，本文采用全局最大方差閾值法來確定對(duì)字符圖像進(jìn)行二值化的灰度閾值K。設(shè)灰度圖像的灰度級(jí)區(qū)間為[0，M]，某一灰度級(jí)K將該區(qū)間分為兩組，分別為[0，K]和[K+1，M]，記為C0和C1，則這兩個(gè)灰度區(qū)間之間平均灰度的方差為：

[δ2K=ω0μ0-μ2+ω1μ1-μ2=（μω（K）+μ（K））2ω（K）（1-ω（K））] （1）

式中：μ0和μ1分別為C0和C1的平均灰度；ω0和ω1分別為C0和C1所占像素點(diǎn)數(shù)量與總像素點(diǎn)數(shù)量的比值。在[0，M]之間不斷變換K的值，直到求出式（1）中δ2（K）為最大值時(shí)的K值，這個(gè)值就是對(duì)字符圖像進(jìn)行二值化的灰度閾值K。到此，完成了設(shè)備銘牌上字符的灰度二值化。

由于拍攝角度的原因，設(shè)備銘牌上的字符會(huì)與水平線之間存在一個(gè)微小的夾角θ。為了方便特征的提取，需要對(duì)字符圖像進(jìn)行去傾斜。由于銘牌上的字符是橫排書寫的，即從左往右書寫，對(duì)字符圖像分別進(jìn)行x軸和y軸方向上的投影，其投影長(zhǎng)度分別為L(zhǎng)1和L2，然后檢測(cè)y軸上灰度值為1的起始點(diǎn)的坐標(biāo)，其到x軸的距離記為L(zhǎng)3，設(shè)字符圖像的去傾斜角度為θ，則：

[θ=arctan L2-L3L1] （2）

對(duì)于設(shè)備銘牌上的字符，如果最左側(cè)字符的y軸投影坐標(biāo)大于最右側(cè)字符的y軸投影坐標(biāo)，則將整個(gè)字符的投影區(qū)域逆時(shí)針旋轉(zhuǎn)去傾斜角θ即可，反之，則順時(shí)針旋轉(zhuǎn)去傾斜角θ即可。在進(jìn)行字符圖像的二值化和去傾斜之后，接下來進(jìn)行字符圖像的分割和歸一化。設(shè)備銘牌字符的分割可分為行分割與字間分割，首先進(jìn)行的是銘牌字符的行分割，對(duì)銘牌字符進(jìn)行y軸方向的投影，可以得到銘牌字符在y軸方向的像素分布，在像素分布圖中有一些地方為零，它們對(duì)應(yīng)兩行之間的空白，可以根據(jù)y軸方向的像素分布來計(jì)算每一行的寬度以及行與行之間的距離，在進(jìn)行字符圖像的行分割之后，再進(jìn)行每一行字符圖像的字間分割。與行分割類似，只需要對(duì)某一行字符圖像做x軸方向的投影，可以得到銘牌字符在x軸方向的像素分布，在像素分布圖中有一些地方為零，它們對(duì)應(yīng)兩個(gè)字之間的空白，可以根據(jù)這個(gè)空白的距離對(duì)一行字符做字間分割。對(duì)于字符圖像，本文將采用線性歸一的方法將其壓縮為32×32的像素點(diǎn)陣，在歸一化的過程中，若某一個(gè)方向先歸一化達(dá)到32點(diǎn)陣，另一個(gè)方向的歸一化即停止，這樣可以使得在歸一化的過程中不會(huì)造成字形的破壞。

2 候選字符的識(shí)別與排列

本文選取小波能量和邊緣方向直方圖作為銘牌字符識(shí)別的特征，它們對(duì)字符的細(xì)節(jié)、紋理、頻譜有較好的表現(xiàn)能力，并使用這些特征訓(xùn)練支持向量機(jī)（SVM）分類器，通過被訓(xùn)練的分類器得到識(shí)別出的候選字符，并對(duì)候選字符進(jìn)行排列得到最終的銘牌識(shí)別結(jié)果。

2.1 候選字符的識(shí)別

本文將預(yù)處理之后的字符圖像進(jìn)行小波分解，獲取其在橫、豎、撇這三個(gè)方向上的平均能量。將字符圖像的平均能量記為Eav，則：

[Eav=1MNx=0M-1y=0N-1f（x，y）2] （3）

式中：f（x，y）表示某個(gè)字符的圖像；[fx，y]表示該圖像像素值的絕對(duì)值；M和N表示該圖像的寬和高。設(shè)經(jīng)過小波分解后得到的低頻分量圖像為A（f），它包含了字符的輪廓信息，高頻分量圖像為Bd，j（f），則它們的平均能量為：

[Af： Eav（A（f））=1MNx=0M-1y=0N-1A[f（x，y）]2] （4）

[Bd，jf： Eav（Bd，j（f））=1MNx=0M-1y=0N-1Bd，j[f（x，y）]2] （5）

式中：d=1，2，3表示橫、豎、撇三個(gè)方向；j=1，2，3表示進(jìn)行小波分解的次數(shù)。這樣，高頻分量圖像就有9個(gè)能量特征，再加上低頻分量圖像的能量特征，就得到了一個(gè)字符圖像的10維能量特征向量，即：

[EavEavAf，EavB1，1f，EavB1，2f，EavB3，3f] （6）

提取字符圖像的邊緣方向直方圖需要先提取字符的邊緣形狀。本文提取字符的邊緣圖像使用的是Canny算子。Canny算子的實(shí)現(xiàn)是一個(gè)多階段的處理過程，首先對(duì)于圖像進(jìn)行高斯平滑，然后對(duì)于平滑后的圖像用Roberts算子進(jìn)行變換，對(duì)變換后的圖像，將360°的角度空間均分為72級(jí)，計(jì)算圖像中邊界點(diǎn)處法向量的方向角分別落在這72級(jí)空間中的頻率，這樣就得到了字符圖像的邊緣方向直方圖向量。提取字符圖像的特征之后，本文構(gòu)建并訓(xùn)練支持向量機(jī)分類器來識(shí)別候選字符。設(shè)訓(xùn)練字符圖像為B，其小波能量特征向量為B=（B0，B1，B2，…，B9），邊緣方向直方圖向量為Y=（Y0，Y1，Y2，…，Yn），待識(shí)別的字符圖像為A，其小波能量特征向量為A=（A0，A1，A2，…，A9），邊緣方向直方圖向量為X=（X0，X1，X2，…，Xn），T1和T2為設(shè)定的閾值，則當(dāng)：

[DX，Y=i=0n（Xi-Yi）2

同時(shí)成立時(shí)，字符B被識(shí)別為字符A的一個(gè)候選字符，候選字符可能有多個(gè)。下一步就需要對(duì)候選字符做正確排列，得到最終的銘牌識(shí)別結(jié)果。

2.2 候選字符的排列

根據(jù)銘牌所用的領(lǐng)域術(shù)語，構(gòu)建字符排列模型，通過模型對(duì)候選字符進(jìn)行正確的排列。設(shè)由k個(gè)候選字符組成的排列（m1，m2，...，mk）組成術(shù)語S的概率為P（S），根據(jù)N階馬爾科夫模型，術(shù)語S出現(xiàn)的概率僅僅與前面n-1個(gè)術(shù)語有關(guān)，則：

[PS=P（m1，m2，...，mk）=i=1kN（mi-n+1，...，mi）N（mi-n+1，...，mi-1）] （8）

式（8）即為N階馬爾科夫字符排列模型。其中N（mi-n+1，...，mi）和N（mi-n+1，...，mi-1）分別表示候選字符排列（mi-n+1，...，mi）和（mi-n+1，...，mi-1）在所有候選字符排列中出現(xiàn)的次數(shù)。對(duì)這k個(gè)候選字符，根據(jù)式（8）求出其按不同排列組成不同術(shù)語的概率，并將這些概率從高到低排列，然后將組成概率最大的那個(gè)術(shù)語作為最終的銘牌識(shí)別結(jié)果。

3 實(shí)驗(yàn)與結(jié)果分析

本文以電力設(shè)備銘牌字符識(shí)別實(shí)驗(yàn)為例，選取了360張電力設(shè)備的銘牌圖片作為實(shí)驗(yàn)樣本，其中有120張為純漢字銘牌圖片，120張為包含漢字、字母、數(shù)字的銘牌圖片，120張為包含字母、數(shù)字的銘牌圖片。在實(shí)驗(yàn)樣本中與OCR識(shí)別軟件的對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。

從表1可以看出，本文的方法在識(shí)別銘牌字符的綜合準(zhǔn)確率上比OCR軟件提升了12.6%。為了進(jìn)一步說明本文提出的方法的有效性，設(shè)計(jì)了兩個(gè)實(shí)驗(yàn)，用一款OCR文字識(shí)別軟件的實(shí)驗(yàn)結(jié)果作為對(duì)比。

實(shí)驗(yàn)一：識(shí)別字符數(shù)較少的設(shè)備銘牌實(shí)驗(yàn)（銘牌內(nèi)容為“110 kV下倉(cāng)線端子箱”）。

實(shí)驗(yàn)二：識(shí)別字符傾斜的設(shè)備銘牌實(shí)驗(yàn)（銘牌內(nèi)容為“電池組Ⅱ”）。

從兩個(gè)實(shí)驗(yàn)結(jié)果可以看出，本文方法可以正確識(shí)別出設(shè)備銘牌上的字符，而傳統(tǒng)的OCR軟件在實(shí)驗(yàn)中不能得到識(shí)別結(jié)果。

4 結(jié) 論

本文提出的設(shè)備銘牌字符識(shí)別方法，以字符的小波能量和邊緣方向直方圖作為其特征向量，用支持向量機(jī)分類器來構(gòu)建候選字符判定模型，通過字符排列模型對(duì)候選字符進(jìn)行最優(yōu)排列，得到最終的銘牌識(shí)別結(jié)果。相比傳統(tǒng)OCR識(shí)別軟件，識(shí)別的準(zhǔn)確率得到了提高，更適合用于設(shè)備銘牌字符的識(shí)別。

參考文獻(xiàn)

[1] WANG Dahan， LIU Chenglin. Learning confidence transformation for handwritten chinese text recognition [J]. International journal on document analysis and recognition， 2014， 17（3）： 205?219.

[2] PAL Arpan， CHATTOPADHYAY Tanushyam， SINHA Aniruddha. Context?aware television?internet mash?ups using logo detection and character recognition [J]. Pattern analysis and applications， 2015， 18（1）： 191?205.

[3] CHIANG Yaoyi， CRAIG A. Recognizing text in raster maps [J]. GeoInformatica， 2015， 19（1）： 1?27.

[4] NAMANE A， GUESSOUM A， SOUBARI E H. CSM neural network for degraded printed character optical recognition [J]. Journal of visual communication and image representation， 2014， 25（5）： 120?127.

[5] CHANG J K， RYOO Seungteak， LIM Heuiseok. Real?time vehicle tracking mechanism with license plate recognition from road images [J]. The journal of supercomputing， 2013， 65（1）： 353?364.

[6] RYU Sangjin， KIM In?Jung. Discrimination of similar characters using nonlinear normalization based on regional importance measure[J]. International journal on document analysis and recognition， 2014， 17（1）： 79?89.

[7] ELAGOUNI Khaoula， GARCIA Christophe， MAMALET Franck. Text recognition in multimedia documents： a study of two neural?based OCRs using and avoiding character segmentation[J]. International journal on document analysis and recognition， 2014， 17（1）： 19?31.

[8] PORWAL Utkarsh， SHI Zhixin， SETLUR Srirangaraj. Machine learning in handwritten arabic text recognition[J]. Handbook of statistics， 2013， 31： 443?469.

[9] MATEI O， POP P C， V?LEAN H. Optical character recognition in real environments using neural networks and K?nearest neighbor[J]. Applied intelligence， 2013， 39（4）： 739?748.

[10] 王愷，李成學(xué)，王慶人，等.異態(tài)漢字識(shí)別方法研究[J].軟件學(xué)報(bào)，2014，25（10）：2266?2281.

[11] BERTOLDI Nicola， SIMIANER Patrick， CETTOLO Mauro. Online adaptation to post?edits for phrase?based statistical machine translation[J]. Machine translation， 2014， 28（3/4）： 309?339.