田娟娟，冀小平

(太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024)

基于興趣點(diǎn)方向梯度直方圖的圖像檢索方法

田娟娟，冀小平

(太原理工大學(xué) 信息工程學(xué)院，山西 太原 030024)

提出了一種基于圖像興趣點(diǎn)方向梯度直方圖的檢索方法。為了提高檢索準(zhǔn)確度，首先采用直方圖均衡化增強(qiáng)圖像對(duì)比度，然后利用SURF(Speeded Up Robust Features)檢測(cè)子檢測(cè)圖像中的興趣點(diǎn)，以興趣點(diǎn)為中心，對(duì)興趣點(diǎn)鄰域內(nèi)分塊方向梯度直方圖進(jìn)行圖像特征描述，最后進(jìn)行相似性度量。該算法通過(guò)直方圖均衡化，提取到圖像中更豐富的細(xì)節(jié)信息，尤其對(duì)于顏色單一與顏色較深的圖像，而且算法中充分利用了圖像中包含信息量較多的圖像興趣點(diǎn)。實(shí)驗(yàn)證明，該算法提高了圖像檢索的準(zhǔn)確度，相比其他算法取得了更好的檢索結(jié)果。

直方圖均衡化；SURF檢測(cè)子；興趣點(diǎn)；方向梯度直方圖

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及終端設(shè)備的普及，圖像成為目前廣泛應(yīng)用的信息載體，利用圖像進(jìn)行匹配、檢索等相關(guān)的技術(shù)給人們的生活帶來(lái)很多便利，關(guān)于這方面的技術(shù)研究也受到更多學(xué)者的關(guān)注。目前基于內(nèi)容的圖像檢索主要基于圖像的全局特征或者在圖像均勻分塊的基礎(chǔ)上進(jìn)行適當(dāng)?shù)臋?quán)值調(diào)整來(lái)得到比較滿意的檢索結(jié)果或者基于圖像的綜合特征[1]。但是傳統(tǒng)的圖像分塊只是比較簡(jiǎn)單的取圖像中心，將圖像分割為半徑不同的圓或者大小不同的矩形[2]，或者將圖像水平、垂直等分為若干塊，中間部分取權(quán)值相比邊緣區(qū)域較大，突出圖像的中心區(qū)域[3-4]，這樣的檢索方法對(duì)于圖像信息在中心的圖像可以得到比較滿意的結(jié)果，但是對(duì)于其他類型圖像則具有一定的局限性而且需要處理的數(shù)據(jù)量比較大。興趣點(diǎn)是圖像中含有信息量多但計(jì)算量少的特征點(diǎn)。近年來(lái)，更多的學(xué)者提出了基于興趣點(diǎn)的圖像檢索算法，其主要方法為利用興趣點(diǎn)檢測(cè)子檢測(cè)興趣點(diǎn)，然后利用興趣點(diǎn)的局部特征進(jìn)行特征描述，最后進(jìn)行相似性度量。如宋真等人[5]利用SURF檢測(cè)子[6]檢測(cè)興趣點(diǎn)并提出基于興趣點(diǎn)環(huán)形區(qū)域的顏色特征和Gabor小波紋理特征，閆允一等人[7]用同樣的方法檢測(cè)興趣點(diǎn)并提出基于興趣點(diǎn)的環(huán)形鄰域的偽澤尼克矩。

但是SURF算子在檢測(cè)興趣點(diǎn)時(shí)，需要將彩色圖像轉(zhuǎn)換為灰度圖像，在這個(gè)過(guò)程中會(huì)忽略圖像顏色比較單一或者圖像顏色比較深的區(qū)域的特征信息，導(dǎo)致檢測(cè)出的興趣點(diǎn)數(shù)目減少。因此本文提出利用直方圖均衡化增強(qiáng)圖像對(duì)比度之后再進(jìn)行興趣點(diǎn)檢測(cè)。實(shí)驗(yàn)證明[8]，SURF檢測(cè)算法相比于Harris角檢測(cè)器[9]、Hessian-Laplace算子[10]，提取興趣點(diǎn)的速度快，而且具有旋轉(zhuǎn)不變性以及對(duì)光照等因素具有很強(qiáng)的魯棒性。因此本文采用SURF檢測(cè)子提取圖像興趣點(diǎn)并且提出基于興趣點(diǎn)鄰域內(nèi)加權(quán)分塊方向梯度直方圖的圖像特征描述方法。實(shí)驗(yàn)結(jié)果證明該方法可以降低圖像背景對(duì)圖像內(nèi)容的影響，有效提高興趣點(diǎn)檢測(cè)數(shù)目，而且該算法檢索速度快，可以取得較好的檢索性能。

1 興趣點(diǎn)檢測(cè)

1.1 直方圖均衡化

在用SURF檢測(cè)子檢測(cè)圖像興趣點(diǎn)之前，需將彩色圖像轉(zhuǎn)化為灰度圖像，但是大多數(shù)圖像由于其灰度分布集中在較窄的區(qū)間，引起圖像細(xì)節(jié)不夠清晰，采用直方圖修整后可以使圖像灰度間距拉開(kāi)或者使圖像灰度分布比較均勻，從而可以增大灰度之間的差異，使圖像細(xì)節(jié)比較清晰，達(dá)到增強(qiáng)的目的。因此文中采用直方圖均衡化進(jìn)行圖像增強(qiáng)。

1.2 積分圖像

SURF興趣點(diǎn)檢測(cè)利用積分圖像來(lái)提高計(jì)算速度，因此本文首先介紹積分圖像的概念。圖像I中任意一點(diǎn)x=(x,y)處的積分值Iε(x)定義為圖像I由點(diǎn)x與圖像邊緣構(gòu)成矩形區(qū)域的所有像素的總和，即

(1)

式中：I(i,j)為圖像I中任意一點(diǎn)的像素值。

1.3 興趣點(diǎn)檢測(cè)

基于Hessian矩陣在計(jì)算時(shí)間與準(zhǔn)確度方面的優(yōu)勢(shì)，SURF算法中采用Hessian矩陣檢測(cè)興趣點(diǎn)。在圖像I中，任意一點(diǎn)在尺度處的Hessian矩陣定義為

(2)

在實(shí)際應(yīng)用中，高斯算子需要離散化并將其尾部裁減，但是即使這樣也有可能會(huì)發(fā)生混疊，因此高斯濾波器并非在任何情況下都是理想濾波器。同Lowe[11]替代思想類似，SURF算子用box濾波器來(lái)代替高斯濾波器，通過(guò)分析可以得到，box濾波器與離散高斯濾波器具有相當(dāng)?shù)男阅?。如圖1表示近似的高斯二階差分濾波器：box濾波器及各塊對(duì)應(yīng)的權(quán)值。

圖1 大小為9×9的box濾波器，分別對(duì)應(yīng)于y方向、xy方向、x方向二階高斯差分

尺度空間用圖像金字塔來(lái)表示。金字塔的頂端由大小不一的box濾波器與圖像卷積得到。大小為9×9的濾波器與圖像卷積輸出為原始層，尺度s=1.2(對(duì)應(yīng)于σ=1.2的高斯差分)，其他層通過(guò)box模板增大的濾波器與圖像卷積得到。SURF檢測(cè)子將尺度空間化分為若干組，每組之間濾波器大小翻倍，同時(shí)興趣點(diǎn)抽取的采樣間隔也翻倍。圖2為本文的尺度空間構(gòu)造。

圖2 尺度空間

為了確定某尺度下興趣點(diǎn)的位置，在3×3×3鄰域內(nèi)采用非最大值抑制，Hessian矩陣的行列式的最大值就可以內(nèi)插在尺度圖像空間中。

2 基于興趣點(diǎn)的特征提取

方向梯度直方圖(Histogram of Oriented Gradient，HOG)曾被Lowe等人[11]用于SIFT算法中特征向量的描述，之后在2005年計(jì)算機(jī)視覺(jué)與模式識(shí)別(Computer Vision and Pattern Recognition，CVPR)會(huì)議上，法國(guó)國(guó)家計(jì)算機(jī)及自動(dòng)控制研究所的Dalal等人[12]提出將方向梯度直方圖作為一種解決人體目標(biāo)檢測(cè)的圖像描述子，該方法使用方向梯度直方圖特征來(lái)表達(dá)人體，提取人體的外形信息與運(yùn)動(dòng)信息，形成豐富的特征集。在這里將改進(jìn)后的方向梯度直方圖用于圖像興趣點(diǎn)特征描述。

2.1 利用一階微分計(jì)算圖像梯度

在圖像處理中，常用一份微分模板求梯度近似值，實(shí)驗(yàn)表明模板[-1,0,1]效果最好。在圖像I中，任意一點(diǎn)(x,y)利用此模板計(jì)算的水平和垂直方向的梯度分別為

Ih(x,y)=I(x+1,y)-I(x-1,y)?x,y

(3)

Iv(x,y)=I(x,y+1)-I(x,y-1)?x,y

(4)

該像素點(diǎn)的梯度值以及梯度方向分別為

(5)

(6)

2.2 改進(jìn)后的方向梯度直方圖

基于孟繁杰等人提出的興趣點(diǎn)環(huán)形顏色直方圖特征描述的思想，文中提出分塊方向梯度直方圖進(jìn)行特征描述。在圖像中，興趣點(diǎn)是很重要的局部特征，包含著圖像的諸多特征信息，觀察標(biāo)記著興趣點(diǎn)的圖像可以發(fā)現(xiàn)，興趣點(diǎn)周圍的像素點(diǎn)有大部分位于圖像的邊緣或者圖像中灰度變化比較大的點(diǎn)附近，同樣也包含著圖像的重要信息。因此在本文的方法中以圖像興趣點(diǎn)為中心，取其鄰域內(nèi)的8個(gè)像素點(diǎn)與該興趣點(diǎn)構(gòu)成一個(gè)3×3的矩陣，由式(3)～式(5)分別求得這些像素點(diǎn)的梯度幅值以及梯度方向。為了充分考慮興趣點(diǎn)的空間分布信息，取圖像中心為中心點(diǎn)，將圖像均勻劃分為2×2即4個(gè)子塊，統(tǒng)計(jì)興趣點(diǎn)落在每個(gè)子塊的數(shù)目并求得每個(gè)分塊中興趣點(diǎn)占總興趣點(diǎn)總數(shù)量的比例Pi，作為各塊的權(quán)值，其中i的取值為1，2，3，4，然后在4個(gè)分塊中分別建立方向梯度直方圖。梯度方向取0°～360°，將梯度方向均勻劃分為12個(gè)區(qū)間，用j表示，j的取值為1，2，…，12。分別統(tǒng)計(jì)各子塊中屬于各個(gè)像素點(diǎn)的梯度方向區(qū)間，梯度幅值為同一子塊中各個(gè)區(qū)間中各像素點(diǎn)梯度幅值的和Gij，并將各分塊中梯度幅值乘以每個(gè)分塊所對(duì)應(yīng)的權(quán)值作為各子塊最終的梯度幅值Dij，其中Dij=Gij×Pi。這樣每個(gè)子塊對(duì)應(yīng)的方向梯度直方圖橫軸為各個(gè)方向區(qū)間，縱軸為Dij，其特征描述向量可以表示為，整幅圖像其特征可以用2×2×12=48維特征向量表示，向量表示形式為[D11,D12,…,D112,…,D41,D42,…,D412]。為了使其具有光照不變性，將特征描述向量歸一化，如下式：

(7)

其中:i=1,2,3,4;j=1,2,…,12。

3 相似度度量

(8)

4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)采用從Corel圖像庫(kù)中抽取的1 000幅圖像，分別包括人類、動(dòng)物、風(fēng)景等。實(shí)驗(yàn)中每類庫(kù)中分別取得10幅圖片，統(tǒng)計(jì)返回圖像總數(shù)分別為10、20、30時(shí)各類圖像的平均檢索率，見(jiàn)表1。

為驗(yàn)證本文算法的檢索，在基于相同的軟硬件平臺(tái)下，將該算法與文獻(xiàn)[7]的平均檢索準(zhǔn)確率進(jìn)行比較，結(jié)果如表1所示。

表1 本文算法與文獻(xiàn)[7]的檢索性能比較 %

表1中P10、P20、P30分別指返回圖像為10、20、30對(duì)應(yīng)的圖像檢索準(zhǔn)確率。由表1可以看出，本文算法優(yōu)于文獻(xiàn)[7]。

圖3是對(duì)上述兩種不同算法對(duì)馬類圖像的檢索結(jié)果比較圖。返回圖像共20幅，左上角第一幅為待檢索圖像，其余19幅為檢索結(jié)果，其中查準(zhǔn)圖像分別為17幅、19幅。因此本文算法準(zhǔn)確度更高。

圖3 不同算法對(duì)馬類圖像的檢索結(jié)果(截圖)

5 結(jié)語(yǔ)

本文提出一種基于興趣點(diǎn)分塊方向梯度直方圖的圖像檢索算法，該算法就SURF算法檢測(cè)興趣點(diǎn)少的問(wèn)題提出利用直方圖均衡化增強(qiáng)灰度圖像對(duì)比度，然后再進(jìn)行興趣點(diǎn)檢測(cè)，取興趣點(diǎn)鄰域內(nèi)像素點(diǎn)得到分塊方向梯度直方圖。該算法充分利用了圖像中包含較多信息量的點(diǎn)，不包含圖像顏色特征，圖像檢測(cè)出的興趣點(diǎn)數(shù)目明顯增多，花費(fèi)時(shí)間較少，相比其他算法取得更優(yōu)的檢索結(jié)果。

[1] 王爽，潘靜.一種基于顏色與紋理特征的圖像模糊檢索算法[J].電子測(cè)量技術(shù)，2014，38(2)：54-57.[2] 潘永勝，冀小平.一種新的多特征融合圖像檢索方法[J].科學(xué)技術(shù)與工程，2014，14(15)：225-229.

[3] 肖瀟，王憲保，莊德文，等.基于均勻區(qū)域分割的圖像檢索研究[J].計(jì)算機(jī)科學(xué)，2012，39(6)：255-257.

[4] 李雪艷，冀小平.基于分塊顏色特征和相關(guān)反饋的圖像檢索技術(shù)[J].電視技術(shù)，2013，37(7)：29-32.

[5] 宋真，顏永豐.基于興趣點(diǎn)綜合特征的圖像檢索[J].計(jì)算機(jī)應(yīng)用，2012，32(10)：2840-2842.

[6] BAY H，TUYTELAARS T. SURF： Speeded up robust features[J].Computer Vision and Image Understanding， 2008，3(110)：346-359.

[7] 閆允一，姜帥，郭寶龍.結(jié)合穩(wěn)定興趣點(diǎn)和Gabor小波的圖像檢索[J].西安電子科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2014，41(5)：134-140.

[8] MIKOLAJCZYK K， SCHMID C. A performance evaluation of local descriptors[J].IEEE Trans. Pattern Analysis And Machine Intelligence，2005，10(27)： 1615-1630.

[9] 高晶，吳育峰，吳昆，等.基于角點(diǎn)檢測(cè)的圖像匹配算法[J].儀器儀表學(xué)報(bào)，2013，8(34)：1717-1725.

[10] MIKOLAJCZYK K， SCHMID C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision，2004，1(60)：63-86.

[11] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision，2004， 60(2)：91-110.

[12] DALAL N， TRIGGS B. Histograms of oriented gradients for human detection[C]//Proc. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego：IEEE Press，2005： 886-893.

冀小平(1959— )，副教授，主研圖像處理。

責(zé)任編輯：閆雯雯

Image Retrieval Based on Histogram of Oriented Gradient of Interest Points

TIAN Juanjuan, JI Xiaoping

(InformationEngineeringCollege,TaiyuanUniversityofTechnology,Taiyuan030024,China)

A novel algorithm for image retrieval based on Histogram of Oriented Gradient(HOG) of interest points is presented. In order to improve the precision of the retrieval results, the contrast of image with histogram equalization is enhanced firstly and the interest points with SURF are detected. Then image features with HOG based on the blocks of the region centered at interest points are described. Finally, similar images are outputed. This algorithm extracts more detailed information through histogram equalization and better uses the interest points which contain the most information of an image. The experimental results show that this algorithm improves the precision of the retrieval results and get more satisfied retrieval results compared with other algorithms.

histogram equalization; Speeded Up Robust Features; interest points; histogram of oriented gradient

【本文獻(xiàn)信息】田娟娟，冀小平.基于興趣點(diǎn)方向梯度直方圖的圖像檢索方法[J].電視技術(shù),2015，39(13).

TP391.41

A

10.16280/j.videoe.2015.13.021

田娟娟(1989— )，女，碩士研究生，主研圖像處理；

2015-03-10