劉雪亭，李太君，肖 沙，賈已真

（海南大學(xué)信息科學(xué)技術(shù)學(xué)院，海南 ?？?570228）

一種融合信息熵和改進(jìn)SIFT算法的圖像檢索方法

劉雪亭，李太君，肖 沙，賈已真

（海南大學(xué)信息科學(xué)技術(shù)學(xué)院，海南 ?？?570228）

針對圖像檢索中基于單一全局顏色特征或局部特征的檢索方法存在查準(zhǔn)率和查全率低等問題，提出了一種融合信息熵和改進(jìn)尺度不變特征變換算法的圖像檢索方法。首先，利用改進(jìn)的尺度不變特征變換算法提取圖像的局部特征；然后，計(jì)算圖像的全局顏色特征和信息熵；最后，利用信息熵動態(tài)分配全局顏色特征和局部特征的權(quán)重，計(jì)算圖像間的相似度進(jìn)行圖像檢索。實(shí)驗(yàn)結(jié)果表明：該方法的檢索性能優(yōu)于顏色直方圖法和尺度不變特征變換算法。

信息熵；顏色特征；尺度不變特征變換；圖像檢索

0 引言

隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，圖像數(shù)據(jù)庫規(guī)模越來越大，基于內(nèi)容的圖像檢索技術(shù)也逐漸成為研究熱點(diǎn)［1－3］，并在視頻檢索、網(wǎng)絡(luò)圖像查詢、醫(yī)學(xué)圖像挖掘、安防監(jiān)控和圖像過濾等領(lǐng)域得到廣泛應(yīng)用［4］。基于內(nèi)容的圖像檢索技術(shù)主要集中在基于顏色等全局特征的檢索技術(shù)［5］，即根據(jù)目標(biāo)圖像的顏色特征值與圖像庫中的圖像進(jìn)行相似性檢測，得到與目標(biāo)圖像最相近的一組圖像供用戶選擇［6］。然而，在圖像檢索中單純依靠全局特征的準(zhǔn)確性不能滿足理想的效果。為了更準(zhǔn)確地描述圖像的特征，文獻(xiàn)［7］提出了一種基于尺度不變特征變換（SIFT）的圖像檢索方法，將圖像內(nèi)容轉(zhuǎn)換成128維的向量集合，通過計(jì)算向量之間的歐氏距離進(jìn)行相似度度量，圖像檢索效果較理想。但SIFT算法僅適用于灰度圖像，對形狀相似、顏色不同的物體檢索效果有待提高。另外，SIFT算法計(jì)算復(fù)雜度較高、響應(yīng)時間長［8］，對大型的圖像庫難以滿足檢索的實(shí)時性要求［9－10］。

針對以上問題，提出了一種基于信息熵和改進(jìn)SIFT算法的圖像檢索方法。為了全面地描述圖像的內(nèi)容以提高檢索精度，本文選用圖像的全局顏色特征和局部特征描述圖像內(nèi)容，并對SIFT算法進(jìn)行了改進(jìn)以提高算法的有效性。在融合顏色特征和SIFT特征時，采用信息熵動態(tài)分配兩者的權(quán)重以獲取更優(yōu)的檢索結(jié)果，并通過實(shí)驗(yàn)結(jié)果分析證明了該方法具有較好的可靠性和有效性。

1 局部特征

SIFT算法是由Lowe在1999年提出的［11］，并在2004年進(jìn)行了完善總結(jié)［12］。在提取SIFT特征時，Lowe首先對圖像進(jìn)行尺度變換建立高斯尺度空間，進(jìn)一步建立高斯差分尺度空間進(jìn)行極值點(diǎn)檢測，使圖像具有尺度不變性。極值點(diǎn)檢測通過對每個像素點(diǎn)和其同一層周圍的8個像素點(diǎn)以及相鄰上下層的18個相鄰像素點(diǎn)（共26個點(diǎn)）進(jìn)行比較，將極值點(diǎn)作為候選關(guān)鍵點(diǎn)。然后，對候選關(guān)鍵點(diǎn)進(jìn)一步檢驗(yàn)精確定位關(guān)鍵點(diǎn)。在檢測到關(guān)鍵點(diǎn)后，Lowe利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個關(guān)鍵點(diǎn)指定方向，使得SIFT特征具有旋轉(zhuǎn)不變性。特征點(diǎn)的描述方法是根據(jù)關(guān)鍵點(diǎn)周圍的16個4×4的鄰域的梯度信息來描述，統(tǒng)計(jì)每個鄰域內(nèi)8個方向的梯度方向直方圖，生成128維的特征向量。

SIFT特征點(diǎn)具有尺度、旋轉(zhuǎn)不變性，特征點(diǎn)數(shù)量多且保證唯一性，能夠較好地描述圖像的局部特征［13］。然而，SIFT特征向量維數(shù)較高，算法復(fù)雜度較高，在圖像檢索效率中難以滿足實(shí)時性的需求。

為了達(dá)到圖像檢索的實(shí)時性要求，需對SIFT算法進(jìn)行改進(jìn)。利用更改描述區(qū)域形狀的方法對SIFT特征向量進(jìn)行降維，在保證精度情況下提高檢索效率。采取特征點(diǎn)的“方環(huán)”鄰域作為描述區(qū)域，選擇關(guān)鍵點(diǎn)周圍16×16的鄰域作為描述范圍。其中，每一“環(huán)”的半徑為2個像素值，共有4環(huán)。由于描述區(qū)域從矩形變成了本身就具有旋轉(zhuǎn)不變性的“環(huán)”狀，從而不用再考慮關(guān)鍵點(diǎn)坐標(biāo)軸的調(diào)整。生成描述子的過程如圖1所示，生成32維的特征描述子，可表示為：這種方法獲得特征向量的統(tǒng)計(jì)鄰域范圍與原始SIFT算法相同，但是能夠在保證不變性的基礎(chǔ)上將特征向量從128維降低到32維，大大降低了運(yùn)算時間，提高了算法的有效性，能滿足圖像檢索中對實(shí)時性的要求。

圖1 描述子的生成過程

2 顏色特征和信息熵計(jì)算

HSV顏色模型包括色調(diào)h、飽和度s和亮度v這3個要素，更適合人的視覺感知。將圖像從RGB模型轉(zhuǎn)換到HSV模型的公式如下：

其中，RGB圖像的3個參數(shù)R、G、B均是［0，255］中的值，所以本文對HSV顏色空間模型進(jìn)行72個等級的量化，其中，h分量采用8級量化、s分量和v分量均采用3級量化。將圖像轉(zhuǎn)換到HSV空間后，提取72維的顏色直方圖作為顏色特征向量，可表示為：

顏色信息熵能夠描述圖像的全局顏色分布差異程度，為每張圖像的特有，隨圖像的不同而變化。根據(jù)量化后的HSV空間統(tǒng)計(jì)計(jì)算可以得到72種顏色出現(xiàn)的概率，用（p0，p1，p2，…，p71）表示，其中，pi為第i種顏色在圖像中出現(xiàn)的概率。圖像的顏色信息熵可以表示為：

3 融合多特征的圖像檢索

3.1 顏色相似度

設(shè)目標(biāo)圖像和圖像庫中的一張圖像的顏色特征向量分別為C0（k）和C1（k），利用歐氏距離計(jì)算得出兩張圖像的顏色距離為：

采用相同的方法可以計(jì)算出目標(biāo)圖像與圖像庫中其余圖像的顏色距離DC（0，2），DC（0，3），…，DC（0，n），得到目標(biāo)圖像與圖像庫中n個圖像的顏色距離DC。為了便于融合多種特征，本文將顏色距離DC歸一化得到歸一化的顏色相似度dC。

3．2 SIFT特征相似度

設(shè)R0i（k）和R1j（k）分別為目標(biāo)圖像的第i個特征點(diǎn)和圖像庫中一張圖像的第j個特征點(diǎn)的特征向量，則其歐式距離為：

在圖像的歐式空間中尋找向量R0i（k）的最近鄰R1p（k）和次最近鄰R1q（k），計(jì)算出最近距離以及最近距離的比值與閾值Threhold進(jìn)行比較，如果該比值小于Threhold，則認(rèn)為目標(biāo)圖像的第i個特征點(diǎn)與模板圖像的第p個特征點(diǎn)匹配成功，即滿足

否則，目標(biāo)圖像的第i個特征點(diǎn)匹配不成功。比較之后計(jì)算出這兩張圖像中的匹配成功的特征點(diǎn)對數(shù)N（0，1）。本文設(shè)Threhold閾值為0.5。

假設(shè)N0和N1分別為上述兩張圖像中SIFT特征點(diǎn)的個數(shù)，則定義這兩張圖像的SIFT特征相似度為：

3.3 圖像相似度

上文可以獲取圖像的全局顏色特征和局部特征，若將這兩個特征簡單的按照固定權(quán)重分配不能適應(yīng)所有圖像。本文采用基于顏色信息熵的方法動態(tài)分配顏色特征權(quán)重α和SIFT特征的權(quán)重β，采用以下公式進(jìn)行圖像匹配：

式中，H0和H1分別為目標(biāo)圖像和模板圖像的顏色信息熵；similar為目標(biāo)圖像與模板圖像的匹配相似度；dc（0，1）為顏色相似度；ds（0，1）為SIFT特征的相似度。將目標(biāo)圖像與圖像庫中的圖像進(jìn)行依次匹配，得到一組圖像的匹配相似度數(shù)據(jù)，根據(jù)相似度大小的排序，選取一組相似度指數(shù)較高的圖像作為返回信息。

4 結(jié)果分析

本文從圖像庫Corel中選出20類共1 000張圖像作為圖像庫，包括公交車、大象、恐龍、建筑等每類圖像50張。在每類圖像中隨機(jī)抽取出10張作為查詢圖像進(jìn)行檢索，將每類圖像10次檢索的查準(zhǔn)率和查全率的平均值作為檢索結(jié)果。實(shí)驗(yàn)中，用基于顏色直方圖的圖像檢索、SIFT特征的圖像檢索［7］和本文的圖像檢索方法分別對20類圖像進(jìn)行了檢索，統(tǒng)計(jì)數(shù)據(jù)，得到下面的實(shí)驗(yàn)結(jié)果。

文中選取查準(zhǔn)率、查全率和檢索時間作為系統(tǒng)性能的評價指標(biāo)，定義如下：

其中，P為查準(zhǔn)率；Q為查全率；x為檢索出相關(guān)圖像的數(shù)量；y為檢索出的圖像數(shù)量；n為圖像庫中相關(guān)圖像的總量。

圖2和圖3分別為算法的查準(zhǔn)率和查全率，表1為算法的平均查準(zhǔn)率和平均查全率。從圖2、圖3和表1中可以看出：顏色直方圖的檢索方法在查準(zhǔn)率和查全率上都較差；基于SIFT算法的圖像檢索效果則有明顯提升，查準(zhǔn)率和查全率均達(dá)到60%以上；由于加入了顏色特征，本文算法將查準(zhǔn)率和查全率均提高到了80%以上，檢索效果較為理想。采用本文的算法對一建筑圖像集進(jìn)行檢索，按照相似度從高到低選出4張，如圖4a～圖4d所示。從圖4中可以看出：檢索返回的圖像均為相關(guān)的建筑圖像，不足之處就是圖像4c的相似度應(yīng)該低于后面幾張圖像，出現(xiàn)檢索誤差。

圖2 算法的查準(zhǔn)率

圖3 算法的查全率

針對本文選取的圖像庫，3種算法的檢索時間如圖5所示?；陬伾狈綀D的檢索時間最短，平均僅需7.34 s；基于SIFT算法的檢索時間最長，平均超過了120 s；本文算法在保證檢索效果的基礎(chǔ)上將平均檢索時間降低到61 s，提高了檢索效率，這是因?yàn)楸疚乃惴ù蟠蠼档土薙IFT特征描述子的維數(shù)。

表1 算法的平均查準(zhǔn)率和平均查全率 %

圖4 本文算法對建筑圖像集的檢索結(jié)果

圖5 算法的檢索時間

5 結(jié)論

本文提出了一種融合全局顏色特征和SIFT特征的圖像檢索方法。算法使用顏色直方圖表述圖像的全局特征，使用改進(jìn)描述子的SIFT特征表述圖像的局部特征，使用信息熵動態(tài)分配顏色特征和SIFT特征的權(quán)重。研究結(jié)果表明：本文算法在檢索查準(zhǔn)率和查全率上遠(yuǎn)遠(yuǎn)高于顏色直方圖方法，但是檢索時間較長；本文算法在檢索查準(zhǔn)率和查全率上比SIFT算法均能提高20%左右，檢索時間比SIFT算法降低了50%左右。本文算法在檢索效果上能達(dá)到最優(yōu)，雖在檢索效率上有所提高，但要滿足對大規(guī)模圖像庫的檢索效率仍有待提高，這也是以后的重點(diǎn)研究內(nèi)容。

參考文獻(xiàn)：

［1］ 吳偉文.基于計(jì)算機(jī)視覺的目標(biāo)圖像檢索相關(guān)技術(shù)的研究［D］.廣州：華南理工大學(xué)，2012.

［2］ 楊得國，楊勐，姜金娣，等.一種改進(jìn)的局部區(qū)域特征醫(yī)學(xué)圖像分割方法［J］.河南科技大學(xué)學(xué)報：自然科學(xué)版，2012，33（2）：30－33.

［3］ 李新忠，臺玉萍，聶兆剛，等.激光散斑技術(shù)中的圖像細(xì)分方法［J］.河南科技大學(xué)學(xué)報：自然科學(xué)版，2013，34（5）：91－95.

［4］ 張俊.基于局部特征集合的圖像匹配技術(shù)研究與應(yīng)用［D］.杭州：浙江大學(xué)，2011.

［5］ 孫思，趙珊，魏從剛.基于視覺點(diǎn)特征的圖像檢索技術(shù)研究［J］.計(jì)算機(jī)科學(xué)，2013，40（6）：196－198.

［6］ 周明全，耿國華，韋娜.基于內(nèi)容圖像檢索技術(shù)［M］.北京：清華大學(xué)出版社，2007.

［7］ 吳銳航，李紹滋，鄒豐美.基于SIFT特征的圖像檢索［J］.計(jì)算機(jī)應(yīng)用研究，2008（2）：478－481.

［8］ Chiu L C，Chang T S，Chen JY，et al.Fast SIFT Design for Real-Time Visual Feature Extraction［J］.IEEE Transaction on Image Processing，2013，22（8）：3158－3166.

［9］ 何云峰，周玲，于俊清，等.基于局部特征聚合的圖像檢索方法［J］.計(jì)算機(jī)學(xué)報，2011，34（11）：2224－2233.

［10］ 蘇艷蘋，廉飛宇.基于參考點(diǎn)的圖像可變目標(biāo)快速檢測方法研究［J］.鄭州大學(xué)學(xué)報：理學(xué)版，2013，45（3）：45－49.

［11］ Lowe D G.Object Recognition from Local Scale-invariant Features［C］／／In International Conference on Computer Vision. Greece，Corfu，1999：1150－1157.

［12］ Lowe D G.Distinctive Image Features from Scale-invariant Keypoints［J］.International Journal of Computer Vision，2004，60（2）：91－110.

［13］ 楊敬輝，楊晶東.多假設(shè)跟蹤的移動機(jī)器人SLAM算法［J］.遼寧工程技術(shù)大學(xué)學(xué)報：自然科學(xué)版，2013（8）：1107－1111.

TP391.41

A

1672－6871（2014）06－0042－05

海南省科技興海專項(xiàng)基金項(xiàng)目（XH201311）

劉雪亭（1990－），女，山東臨清人，碩士生；李太君（1964－），男，通信作者，廣東廉江人，教授，碩士，碩士生導(dǎo)師，主要研究方向?yàn)榫W(wǎng)絡(luò)與流媒體.

2013－12－10