宋志平，朱亞俐，徐學(xué)斌，吾爾尼沙·買買提，庫爾班·吾布力,2?

(1.新疆大學(xué) 信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830017；2.新疆多語種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室，新疆 烏魯木齊 830017)

0 引言

隨著文檔圖像規(guī)模越來越大，對于英文和中文的光學(xué)字符識別[1]（Optical Character Recognition,OCR）技術(shù)已經(jīng)十分成熟.在OCR識別技術(shù)的帶動下，人們對于少數(shù)民族文字研究也越來越廣泛，其中印刷體維吾爾文文檔圖像檢索的研究可以加快維吾爾文數(shù)字圖書館的建設(shè)與發(fā)展，對促進(jìn)我國少數(shù)民族文化的發(fā)展具有極其重要的意義.

在文檔圖像領(lǐng)域中Manmatha等[2?3]第一次提出一種基于詞圖像匹配的關(guān)鍵詞檢索算法，在對手稿圖像進(jìn)行詞圖像分割的基礎(chǔ)上實(shí)現(xiàn)了手稿圖像的檢索，在接下來的研究工作中，該團(tuán)隊(duì)提取了手寫體單詞圖像的多維輪廓特征，并用動態(tài)時(shí)間扭曲（Dynamic Time Warping,DTW）算法對單詞圖片進(jìn)行檢索.Rothfeder等[4]在檢索中對樣本圖像提取Harris角點(diǎn)序列，對查詢詞也提取同樣的特征，度量值設(shè)置為像素灰度差的平方和（Sum of Squared Differences,SSD）的計(jì)算值.Vadivukarassi等[5]提出了一種提取關(guān)鍵圖像特征的HOG-SIFT算法，最后利用子空間聚類算法從圖像數(shù)據(jù)庫中提取目標(biāo)圖像.Niaz等[6]提出了一種基于索引和檢索的英語文檔索引系統(tǒng)，將含有英文文本的文檔圖像分成連接詞，每個(gè)文本用一組特征表示，分別提取圖像的DCT和DWT特征，然后利用歐氏距離進(jìn)行關(guān)鍵詞檢索.黃祥琳等[7]提出一種不經(jīng)過ORC識別情況下，將中文文檔圖像分割成單個(gè)中文字符圖片，再對中文字符圖像的筆畫特征數(shù)據(jù)進(jìn)行提取，最后利用WMHD進(jìn)行關(guān)鍵詞檢索.魏宏喜等[8]建立了基于詞定位法的蒙古文圖像檢索系統(tǒng)，系統(tǒng)中圖像通過文字輪廓、投影特征和筆畫的交集來表達(dá)，將視覺特征集成到BOVW[9]模型中并用于檢索任務(wù).

目前關(guān)于維吾爾文文檔圖像的研究進(jìn)展迅速，例如周文杰[10]用形態(tài)學(xué)梯度算法對維吾爾文文檔圖像進(jìn)行單詞切分，并通過切分后單詞圖像的LBP特征實(shí)現(xiàn)檢索.李靜靜等[11]提出層級匹配方法實(shí)現(xiàn)對關(guān)鍵詞進(jìn)行精確檢索.本文設(shè)計(jì)了一種由粗到細(xì)層次匹配的維吾爾文關(guān)鍵詞圖像二次檢索框架，該方法主要包括4部分：文檔圖像采集與預(yù)處理、單詞切分、粗略檢索、二次檢索，具體框架如圖1所示.首先，對預(yù)處理后的印刷體文檔圖像進(jìn)行單詞切分生成單詞數(shù)據(jù)集，并使用灰度直方圖特征對單詞圖像進(jìn)行粗略檢測，過濾掉無需檢索的單詞.其次，在粗略檢索的基礎(chǔ)上，使用Hu不變矩特征對粗略匹配檢索回的候選單詞圖像庫進(jìn)行二次精確檢索.

圖1 基于關(guān)鍵詞的文檔圖像系統(tǒng)檢索框架

1 基于印刷體關(guān)鍵詞檢索研究

1.1 文檔圖像采集與預(yù)處理

本文通過掃描維吾爾文版《馬列主義經(jīng)典著作選編》書籍，構(gòu)建了1 000張純文本文檔圖像數(shù)據(jù)庫，隨機(jī)抽取了115張文檔圖像進(jìn)行試驗(yàn).在將紙質(zhì)書籍文本掃描成電子文檔圖像的過程中，由于噪聲、設(shè)備及其它因素的干擾，降低了文檔圖像的質(zhì)量，從而影響了圖像特征有效信息的提取.因此本文通過圖像預(yù)處理方法來增強(qiáng)圖像質(zhì)量，預(yù)處理操作包括：灰度化（加權(quán)平均法）、二值化（Otus）、噪聲去除（中值濾波）及傾斜校正（Hough變換）.預(yù)處理前后效果如圖2（a）、圖2（b）所示，可以看出預(yù)處理后圖形中的字跡相比處理前更清晰，內(nèi)容結(jié)構(gòu)也比較容易辨識，這說明預(yù)處理后的圖像要比灰度圖像的特征更加明顯.文獻(xiàn)[12]采用連體段的特征聚類方式，將圖文混合布局的維吾爾文文檔圖像進(jìn)行單詞切分，由于本文使用的數(shù)據(jù)集是純文本版面，因此本文采用周文杰等[13]提出的基于形態(tài)學(xué)分析和像素積分投影算法對維吾爾文文檔印刷圖像的單詞進(jìn)行切分，效果如圖2（c）所示.

圖2 文檔圖像預(yù)處理

1.2 特征提取

1.2.1 灰度直方圖

灰度直方圖[14]（gray histogram）是灰度級的函數(shù)，它表示圖像中處于該灰度級具有的像素?cái)?shù)量.直方圖曲線的橫軸是圖像的像素灰度等級，縱軸表示該灰度級出現(xiàn)的概率，計(jì)算公式如下：

其中：i表示灰度級，L表示灰度級種類數(shù)，n表示圖像中具有灰度級i像素的個(gè)數(shù)，N表示圖像總的像素?cái)?shù).

1.2.2 灰度直方圖性質(zhì)

在圖像檢索算法中，灰度直方圖算法是最簡單的算法之一，該算法容易實(shí)現(xiàn)，運(yùn)算速度快，具有旋轉(zhuǎn)、比例和位移不變性，檢索結(jié)果不會漏掉相似圖像[15].但該算法也存在缺陷，在圖像中各像素的灰度值都是具有二維位置信息的，而直方圖只統(tǒng)計(jì)某一灰度值像素的多少和其在圖像中的比例，對具有同一灰度的像素在圖像中的位置信息無法確定.這會導(dǎo)致不同的圖像具有相同直方圖，如圖3 (a)、圖3 (b)、圖3 (c)所示.

圖3 不同圖像具有相同直方圖

1.2.3 Hu不變矩

Hu不變矩（invariant momcnts）是Hu[16]在1962年首先提出用來描述圖像的形態(tài)特征，該特征具有旋轉(zhuǎn)、縮放和平移不變性，因此被廣泛用于圖像特征提取.假設(shè)圖像f(x,y)是分段連續(xù)的，其(p+q)階笛卡兒系幾何矩與幾何中心矩μpq定義為：

歸一化的(p+q)階中心矩ηpq定義為：

其中：γ=(p+q+2)/2,p+q=2,3,···.圖像的中心距具有平移不變性和縮放不變性的特點(diǎn).幾何中心矩可用于描述區(qū)域的形狀.

二維不變矩理論是在笛卡兒坐標(biāo)系下，通過歸一化中心矩ηpq從而推導(dǎo)出的7個(gè)不變矩，并被證明其對平移、縮放和旋轉(zhuǎn)具有不變性，這為圖像的不變矩研究奠定了理論基礎(chǔ)，使其廣泛的應(yīng)用在圖像處理上，7個(gè)二維不變矩的計(jì)算公式如下：

1.2.4 改進(jìn)的Hu不變矩

Hu不變矩是基于圖像區(qū)域且與圖像的灰度相關(guān)，其計(jì)算量大所以Hu矩也稱為區(qū)域矩.然而維吾爾文文字構(gòu)成筆畫簡單且很多主體筆畫相同，其寬度和高度相互之間不等、書寫形式與一般字母不同，多由一些弧線和曲線所組成，屬于非區(qū)域結(jié)構(gòu).因此原始的Hu不變矩不能很好地對其邊界信息進(jìn)行有效描述，主要是因?yàn)棣?0是與區(qū)域相關(guān)的面積比例因子，然而對于邊界像素的計(jì)算使得μ00因子失效，不滿足邊界矩的不變性.為了得到適用于區(qū)域封閉和不封閉結(jié)構(gòu)的統(tǒng)一矩公式，本文利用矩之間的比值來消掉比例因子μ00，從而使不變矩與面積或結(jié)構(gòu)的比例縮放無關(guān)僅與幾何形狀有關(guān).改進(jìn)的Hu矩計(jì)算公式如下：

其中：Ψ1代表了形狀特征的曲率半徑，當(dāng)區(qū)域形狀為直線特征時(shí)曲率半徑為1.當(dāng)區(qū)域形狀為圓時(shí)曲率半徑為0.為了提高相對矩對形狀的描述能力，本文在Hu不變矩中加入離心率特征：

其中：離心率Ψ8表示形狀特征最大軸與最小軸的比值，滿足形狀特征的集合不變性.

2 實(shí)驗(yàn)結(jié)果分析

本文實(shí)驗(yàn)在Windows10環(huán)境下展開，處理器型號為Intel Core I5-8300，運(yùn)行內(nèi)存8 GB，具體程序是在python3.7開發(fā)環(huán)境下編程調(diào)試，并借助OpenCV-3.4.2.16開發(fā)平臺實(shí)現(xiàn).文檔圖像數(shù)據(jù)庫源于《馬列主義經(jīng)典著作選編》維吾爾文版書籍，為模擬不同辦公環(huán)境，采用不同打印機(jī)，將紙質(zhì)文檔掃描為文檔圖像，尺寸為716×1 011，300 dpi.建立了1 000張文檔圖像，隨機(jī)選取了115張文檔圖像并切分成24 460張單詞圖像，然后在其中選取10個(gè)具有豐富意義的關(guān)鍵詞圖像作為查詢關(guān)鍵詞圖像，并在數(shù)據(jù)庫中進(jìn)行檢索實(shí)驗(yàn).檢索性能的評價(jià)指標(biāo)有準(zhǔn)確率（precision）、召回率（recall）、F值，TP（True Positive）：檢索為關(guān)鍵詞，實(shí)際也為關(guān)鍵詞；FP（False Positive）：檢索為關(guān)鍵詞，實(shí)際是非關(guān)鍵詞；TN（True Negative）：未被檢索到的關(guān)鍵詞，實(shí)際是非關(guān)鍵詞；FN（False Negative）：未被檢索到的關(guān)鍵詞，實(shí)際是關(guān)鍵詞，指標(biāo)計(jì)算公式如下：

2.1 基于灰度直方圖的粗略檢索實(shí)驗(yàn)

本文首先在維吾爾文單詞數(shù)據(jù)集上，評估了灰度直方圖算法在維吾爾文文檔數(shù)據(jù)集上的性能，通過調(diào)節(jié)閾值過濾掉不相關(guān)單詞圖像，在保持召回率的同時(shí)盡可能準(zhǔn)確地定位目標(biāo)關(guān)鍵詞.

表1展示了灰度直方圖特征的檢索結(jié)果，其檢索平均準(zhǔn)確率為47.35%，而這些正確的關(guān)鍵詞圖像占所標(biāo)注關(guān)鍵詞圖像總個(gè)數(shù)的91.33%，F(xiàn)值平均值為61.99%.由表1可知，第5個(gè)關(guān)鍵詞準(zhǔn)確率與F值在這10個(gè)查詢關(guān)鍵詞中最高，分別為60.52%、69.69%，即表示共檢索回76個(gè)單詞圖像，其中目標(biāo)關(guān)鍵詞包含46個(gè).相反也有準(zhǔn)確率較差的關(guān)鍵詞，第8個(gè)關(guān)鍵詞準(zhǔn)確率在這10個(gè)查詢關(guān)鍵詞中最差，為36.36%，即共檢索到55個(gè)單詞圖像，其中目標(biāo)關(guān)鍵詞圖像僅包含20個(gè).召回率效果最好的是第2、第9兩個(gè)關(guān)鍵詞，為100%.表示標(biāo)注關(guān)鍵詞均被召回；而召回率最差的是第5個(gè)關(guān)鍵詞，為82.14%，即從56個(gè)標(biāo)注關(guān)鍵詞圖像中成功召回46個(gè)目標(biāo)關(guān)鍵詞圖像.

表1 基于灰度直方圖的粗略匹配結(jié)果

經(jīng)分析得出，粗匹配階段準(zhǔn)確率普遍偏低，召回率較高.這是因?yàn)樵撾A段是關(guān)鍵詞初步篩選的過程，未對關(guān)鍵詞圖像提取有效的特征而直接使用像素信息進(jìn)行匹配，該階段僅僅對數(shù)據(jù)庫中一些不相關(guān)的詞圖像和切分錯(cuò)誤的單詞圖像進(jìn)行過濾，以保證盡可能多地召回目標(biāo)詞.目的在于如果對圖像庫中所有單詞圖像均進(jìn)行特征提取、匹配，明顯會增加檢索復(fù)雜度，做許多無意義的匹配.因此本文通過閾值的設(shè)置，過濾一部分無需匹配的單詞構(gòu)成候選單詞集合，并通過中間閾值的設(shè)定，在保證召回率的情況下盡可能準(zhǔn)確檢索到目標(biāo)關(guān)鍵詞.

2.2 基于Hu不變矩的二次檢索實(shí)驗(yàn)

本節(jié)前三組實(shí)驗(yàn)是在沒有粗略檢索的基礎(chǔ)上，比較了改進(jìn)Hu不變矩與原始的Hu不變矩算法在維吾爾文文檔圖像數(shù)據(jù)庫上檢索性能.表2中數(shù)據(jù)為使用Hu不變矩算法在維吾爾文文檔圖像中的匹配結(jié)果，其中準(zhǔn)確率平均值為39.79%，召回率的平均值為44.21%，F(xiàn)值平均值為36.82%.其中第5個(gè)查詢關(guān)鍵詞的檢索準(zhǔn)確率最高，為55.81%.即共檢索到43個(gè)單詞圖像，其中目標(biāo)關(guān)鍵詞包含24個(gè).準(zhǔn)確率最差的是第7個(gè)查詢關(guān)鍵詞，為28.20%，即共檢索回39個(gè)單詞圖像，其中正確單詞圖像為11個(gè).對于召回率而言，第8個(gè)關(guān)鍵詞圖像召回率最好，為65.21%，表示共標(biāo)注23個(gè)關(guān)鍵詞圖像，其中有15個(gè)目標(biāo)關(guān)鍵詞被召回.第3個(gè)關(guān)鍵詞圖像召回率最低，為32.14%.即共標(biāo)注56個(gè)關(guān)鍵詞圖像，其中召回18個(gè).表3是采用本文改進(jìn)后的Hu不變矩算法的檢索結(jié)果，其準(zhǔn)確率平均值為54.22%，召回率平均值為54.27%，F(xiàn)值平均值為53.86%.其中第6個(gè)查詢關(guān)鍵詞檢索準(zhǔn)確率最高，為62.79%，即表示共檢索回43個(gè)單詞圖像，其中關(guān)鍵詞圖像包含27個(gè).而第7、第8兩個(gè)關(guān)鍵詞圖像召回率在10個(gè)查詢關(guān)鍵詞中最高，均為65.21%.即表示共標(biāo)注23個(gè)關(guān)鍵詞圖像，其中15個(gè)目標(biāo)關(guān)鍵詞被召回.

表2 基于Hu不變矩的關(guān)鍵詞檢索結(jié)果

表3 基于改進(jìn)的Hu不變矩的關(guān)鍵詞檢索結(jié)果

由表3可知，本文改進(jìn)后的Hu不變矩算法相較于表2中原始的Hu不變矩算法，在準(zhǔn)確率和召回率上均有大幅提升.為進(jìn)一步驗(yàn)證本文方法的有效性、同時(shí)考慮實(shí)際掃描中可能存在的問題，通過對數(shù)據(jù)庫圖像進(jìn)行隨機(jī)旋轉(zhuǎn)、隨機(jī)縮放、隨機(jī)遮擋之后的檢索效果進(jìn)行對比，選擇以上3種變換的原因是考慮到存在書籍掃描發(fā)生傾斜、字體大小不一致和書籍破損與字跡不清等情況，為了模擬以上情況選擇了旋轉(zhuǎn)、縮放、遮擋3種變換，其檢索效果如圖4所示.

圖4 基于幾何變換下的實(shí)驗(yàn)結(jié)果對比

由圖4可知，在經(jīng)過幾何變換后，本文改進(jìn)后的Hu不變矩算法相對于原始Hu算法在檢索準(zhǔn)確率和召回率上都有明顯提升，從圖4左圖可以看出經(jīng)過縮放后的準(zhǔn)確率要優(yōu)于旋轉(zhuǎn)和遮擋，從圖4右圖可以看出經(jīng)過旋轉(zhuǎn)后的召回率要優(yōu)于其它兩種變換，而遮擋變換后的檢索效果是最差的，這是由于改進(jìn)后的Hu矩能有效地描述圖像的邊界和一些不封閉的結(jié)構(gòu)特征信息，可以過濾掉很多相似的圖形使得檢索準(zhǔn)確率更高.但其整體上效果并不理想，原因在于其特征維度較低未能完全表示出關(guān)鍵詞圖像的全部圖像信息，難免會檢索回與目標(biāo)關(guān)鍵詞無關(guān)的圖像.因此，可以看出單一特征對圖像的表達(dá)都具有局限性，無法從不同角度衡量圖像，但對不同特征進(jìn)行融合可以很好地解決這一問題.因此本文在灰度直方圖粗略匹配的基礎(chǔ)上，使用改進(jìn)后的Hu不變矩對粗略匹配檢索回的候選單詞圖像庫進(jìn)行二次精確檢索，其效果如表4所示.

表4 基于灰度直方圖+改進(jìn)的Hu不變矩的關(guān)鍵詞檢索結(jié)果

由表4可知，采用二次檢索的準(zhǔn)確率平均值為78.36%，召回率平均值為81.68%，F(xiàn)值的平均值為78.59%.其中第1個(gè)查詢關(guān)鍵詞圖像準(zhǔn)確率在這10個(gè)查詢關(guān)鍵詞中效果最好，為97.05%，即共檢索回34個(gè)單詞圖像，其中檢索正確的關(guān)鍵詞為33個(gè).而對于召回率而言，第2個(gè)關(guān)鍵詞檢索效果最好，為100%，即標(biāo)注關(guān)鍵詞均被召回.

該階段是關(guān)鍵詞圖像的二次精確檢索，將灰度直方圖特征與Hu不變矩特征進(jìn)行分層次融合，可以有效地描述圖像的邊界和空間幾何信息，其次能有效地彌補(bǔ)灰度直方圖不能描述圖像空間位置信息的缺點(diǎn)，通過在粗略匹配形成的候選單詞圖像集合中進(jìn)一步實(shí)現(xiàn)對關(guān)鍵詞的精確檢索.相比表1中灰度直方圖粗略匹配效果，其平均準(zhǔn)確率提升了31.01%，召回率降低了9.65%.而相比表3中改進(jìn)的Hu不變矩的檢索結(jié)果，其在準(zhǔn)確率和召回率上分別提升了24.14%、27.41%.相比第一階段的粗略匹配，需要進(jìn)行特征提取和匹配的單詞圖像數(shù)量已大幅度減少，能有效降低系統(tǒng)復(fù)雜度，提高檢索效率.

2.3 與現(xiàn)有方法對比

為進(jìn)一步驗(yàn)證本文提出方法的性能，在相同數(shù)據(jù)庫上和已有的Hu+MB-LBP+OSVM[10]關(guān)鍵詞檢索方法與模板匹配+HOG+OSVM[11]關(guān)鍵詞檢索方法做了比較，3種方法的準(zhǔn)確率、召回率對比情況見表5.由表5可知，基于Hu+MB-LBP+OSVM檢索方法的平均檢索準(zhǔn)確率為86.70%，平均召回率為78.30%.基于模板匹配+HOG+OSVM關(guān)鍵詞檢索方法的平均檢索準(zhǔn)確率為91.74%，平均召回率為79.31%.本文方法在維吾爾文文檔圖像關(guān)鍵詞檢索中的平均準(zhǔn)確率為78.36%，平均召回率為81.68%.相較Hu+MB-LBP+OSVM關(guān)鍵詞檢索方法，本文方法在準(zhǔn)確率上降低了8.34%，召回率提升了3.38%.而相較模板匹配+HOG+OSVM關(guān)鍵詞檢索方法，本文方法在準(zhǔn)確率上降低了13.38%，召回率提升了2.37%.相較前兩種關(guān)鍵詞檢索方法，本文方法在召回率上有大幅提升，在準(zhǔn)確率上還有較大的提升空間.

表5 基于維吾爾文文檔關(guān)鍵詞圖像檢索結(jié)果對比

3 結(jié)論

針對維吾爾文單詞圖像的特點(diǎn)提出了一種特征分層融合的關(guān)鍵詞圖像二次檢索方法，首先利用灰度直方圖特征簡單快速地過濾掉部分不需要檢索的單詞圖像，其次采用改進(jìn)的Hu不變矩特征對粗略匹配檢索回的單詞圖像庫進(jìn)行二次精確檢索.通過在粗略檢索召回率略有損失的情況下極大提高圖像檢索的準(zhǔn)確率，并通過實(shí)驗(yàn)證明該方法的有效性.

隨著對關(guān)鍵詞檢索研究的深入，維吾爾文文檔圖像的關(guān)鍵詞檢索依然是一個(gè)具有挑戰(zhàn)性的研究方向，尤其是關(guān)鍵詞圖像特征選取的研究，因此我們下一步工作將更加深入分析維吾爾文單詞圖像的特點(diǎn)并通過尋找新的特征進(jìn)行融合來提高檢索效果.本文的研究主要是建立在純文本的印刷體維吾爾文文檔圖像上，而現(xiàn)實(shí)中的文檔圖像還包含表格、圖片等信息，因此，需增加具有復(fù)雜布局的文檔圖像以及手寫體的文檔圖像，同時(shí)單詞切分方法也有待改進(jìn)提高，實(shí)驗(yàn)中的測試關(guān)鍵詞數(shù)目以及文檔圖像規(guī)模還會繼續(xù)擴(kuò)大，進(jìn)而降低偶然因素對檢索結(jié)果的影響.