文政穎，李運娣

(河南工程學(xué)院 計算機(jī)學(xué)院，河南 鄭州 451191)

語義指向性特征聚類的圖像檢索算法研究

文政穎，李運娣

(河南工程學(xué)院 計算機(jī)學(xué)院，河南 鄭州 451191)

在大型多媒體數(shù)據(jù)庫中，需要進(jìn)行圖像檢索實現(xiàn)感興趣圖像的準(zhǔn)確索引和多媒體數(shù)據(jù)庫的準(zhǔn)確訪問。傳統(tǒng)方法采用關(guān)聯(lián)信息人工標(biāo)注方法進(jìn)行圖像檢索，隨著數(shù)據(jù)庫中圖像信息的增大，標(biāo)注檢索效率較低。為提高大型多媒體數(shù)據(jù)庫中圖像檢索的效率和精度，提出了一種基于語義指向性特征聚類的圖像檢索算法。該算法通過圖像向量量化編碼實現(xiàn)圖像壓縮，對圖像中的文本信息點進(jìn)行頻域特征點歸類，對出現(xiàn)重疊文本的圖像幀序列進(jìn)行向量量化分解，提取梯度差異信息特征，實現(xiàn)語義指向性特征聚類，將窗口中梯度最大值進(jìn)行自適應(yīng)加權(quán)，提取量化編碼壓縮圖像的語義特征信息，采用模糊C均值聚類算法對提取的語義特征進(jìn)行分類標(biāo)注，由此實現(xiàn)大型多媒體數(shù)據(jù)庫中圖像的準(zhǔn)確檢索和調(diào)度。仿真結(jié)果表明，該算法的圖像檢索準(zhǔn)確度較高，圖像幀差為零，輸出圖像的峰值信噪比優(yōu)于傳統(tǒng)方法，展示了較好的圖像檢索能力。

語義；聚類；圖像檢索；向量量化

0 引 言

隨著計算機(jī)網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，信息的載體不再局限于文本信息，大量富含了聲音、視頻和圖像的多媒體信息作為未來信息存儲和傳輸?shù)闹饕d體，記錄了人們生產(chǎn)和生活的各類數(shù)據(jù)信息。在當(dāng)今大數(shù) 據(jù)時代，大量的多媒體信息通過網(wǎng)絡(luò)多媒體數(shù)據(jù)庫進(jìn)行信息存儲和數(shù)據(jù)傳輸，多媒體數(shù)據(jù)庫中存儲有海量的音視頻和圖像等信息，而圖像檢索是實現(xiàn)大型多媒體數(shù)據(jù)準(zhǔn)確訪問和信息索引的基礎(chǔ)。在大型多媒體數(shù)據(jù)庫中，需要進(jìn)行圖像檢索實現(xiàn)感興趣圖像的準(zhǔn)確索引和多媒體數(shù)據(jù)庫的準(zhǔn)確訪問。因此，研究大型多媒體數(shù)據(jù)庫中的圖像檢索算法，在進(jìn)行多媒體數(shù)據(jù)庫訪問和調(diào)度中具有重要意義，相關(guān)的算法研究受到重視。

圖像的優(yōu)化檢索是進(jìn)行多媒體數(shù)據(jù)庫訪問和調(diào)度的基礎(chǔ)，圖像檢索也是實現(xiàn)視頻檢索的第一步，通過圖像檢索為視頻訪問和檢索提供準(zhǔn)確的索引和標(biāo)注。傳統(tǒng)的圖像檢索方法主要有人工標(biāo)注法、文本檢測法、圖像編碼法和圖像紋理信息特征提取方法[1-3]等。其中人工標(biāo)注法是通過人工方法進(jìn)行圖像中文字和圖像信息的自動標(biāo)注，該方法可靠簡單，但是效率不高[4]。文本檢測法是通過提取拍攝的圖像和視頻中的文本信息，通過關(guān)鍵詞索引方法實現(xiàn)圖像檢索。該算法在進(jìn)行圖像檢索中具有高效性，但是在進(jìn)行圖像索引時受到疊加文本的干擾較大，尤其是對視頻圖像中的疊加文本的自動識別能力不高，導(dǎo)致檢索精度不高[5]。圖像編碼法是通過圖像向量量化編碼實現(xiàn)圖像檢索，隨著信息編碼技術(shù)的發(fā)展，該技術(shù)成為圖像索引的一個重要工具。采用量化編碼算法進(jìn)行圖像檢索保留圖像的邊緣和細(xì)節(jié)，但是算法的計算開銷較大，圖像檢索的實時性不好。另外，文獻(xiàn)[6]提出一種基于建模離散點Delaunay斷層分割和紋理信息特征提取的圖像檢索和視覺重構(gòu)方法，在三角網(wǎng)約束曲面中進(jìn)行計算機(jī)視覺特征提取和亞像素特征匹配，實現(xiàn)計算機(jī)視覺重構(gòu)和建模，提高了圖像檢索精度，但是該方法在受到不規(guī)則噪點的干擾下，視覺重構(gòu)和檢索的抗干擾性不好，準(zhǔn)確度不高。

針對上述問題，提出一種基于語義指向性特征聚類的圖像檢索算法。對圖像進(jìn)行向量量化編碼實現(xiàn)圖像壓縮，提取量化編碼壓縮圖像的語義特征信息，采用模糊C均值聚類算法對提取的語義特征進(jìn)行分類標(biāo)注，由此實現(xiàn)大型多媒體數(shù)據(jù)庫中圖像的準(zhǔn)確檢索和信息索引，最后通過仿真進(jìn)行了性能測試，驗證了算法的有效性。

1 預(yù)備知識和圖像向量量化編碼

1.1 圖像檢索預(yù)備知識描述及算法設(shè)計原理

在大型多媒體數(shù)據(jù)庫中，為了實現(xiàn)感興趣目標(biāo)圖像的準(zhǔn)確檢索和訪問，需要對目標(biāo)圖像進(jìn)行信息特征提取和分類識別。為了實現(xiàn)圖像檢索，需要把大型多媒體數(shù)據(jù)庫中的圖像分成3×3拓?fù)浣Y(jié)構(gòu)，設(shè)置4個圖像檢索輸入通道，分別為水平方向、垂直方向、左對角線方向以及右對角線方向。采用p1，p2和p3分別代表圖像檢索通道中的輸入像素節(jié)點，以近鄰點為中心構(gòu)建圖像的向量量化特征編碼模型，把p2當(dāng)作圖像檢索的語義特征引導(dǎo)輪廓演化聚類中心，初始化水平集函數(shù)φ，得到用單個檢索節(jié)點適應(yīng)度的相位滑動平均窗口。把4個檢索通道的語義檢索圖像按橫向和豎向進(jìn)行分解，提取圖像在四個檢索通道中的梯度圖，得到輸入向量值分別為x1，x2，x3和x4，表示為：

(1)

其中，m為邊緣特征的像素灰度值中值，定義域為Ω的大型多媒體數(shù)據(jù)庫待檢索圖像I(x,y)被邊緣輪廓曲線C劃分為具有不同語義特征的區(qū)域R1和R2，其中一個為圖像中的文本區(qū)域，一個為圖像的背景區(qū)域。在曲線長度約束下，得到一個C-V模型擬合下的圖像檢索的區(qū)域分布函數(shù)：

(2)

其中，c1和c2分別表示大型多媒體數(shù)據(jù)庫中圖像的目標(biāo)區(qū)域和背景區(qū)域的局部二值擬合特征系數(shù)；Length(C)表示待檢索圖像的邊緣輪廓的歸一化長度；Area(inside(C))表示輪廓曲線的梯度模；μ、ν、λ1和λ2表示各檢索語義特征自適應(yīng)修正權(quán)重系數(shù)，均為大于0的常數(shù)。

以上述圖像檢索的區(qū)域分布函數(shù)為目標(biāo)函數(shù)進(jìn)行優(yōu)化求解，在各個圖像檢索通道方向進(jìn)行語義指向性特征提取，結(jié)合數(shù)據(jù)聚類算法進(jìn)行圖像的分類檢索，根據(jù)上述算法原理進(jìn)行算法設(shè)計。

1.2 圖像向量量化編碼預(yù)處理

(3)

(4)

其中，‖sj‖表示sj中訓(xùn)練樣本向量的個數(shù)。

通過上述算法設(shè)計，實現(xiàn)大型多媒體數(shù)據(jù)庫中的圖像向量量化編碼，根據(jù)編碼輸出進(jìn)行語義指向性特征聚類處理，實現(xiàn)圖像檢索。

2 語義指向性特征聚類及算法改進(jìn)實現(xiàn)

2.1 圖像的語義指向性特征提取

在上述圖像向量量化編碼的基礎(chǔ)上，進(jìn)行圖像檢索算法優(yōu)化設(shè)計。據(jù)分析得知，傳統(tǒng)方法采用關(guān)聯(lián)信息人工標(biāo)注方法進(jìn)行圖像檢索，隨著數(shù)據(jù)庫中圖像信息的增大，標(biāo)注檢索效率降低。為了克服傳統(tǒng)方法的弊端，文中提出一種基于語義指向性特征聚類的圖像檢索算法。

對數(shù)據(jù)的圖像量化編碼信息進(jìn)行特征提取和特征壓縮處理，提取量化編碼壓縮圖像的語義特征信息，采用模糊C均值聚類算法對提取的語義特征進(jìn)行分類標(biāo)注[9-10]，進(jìn)行圖像檢索。首先構(gòu)建圖像語義指向性特征數(shù)據(jù)采集模型，在對大型多媒體數(shù)據(jù)庫訪問中，對大型多媒體數(shù)據(jù)庫中的一幅RGB彩色圖像通過語義狀態(tài)特征信息進(jìn)行圖像邊緣特征提取。其中，對圖像輸出的向量量化編碼進(jìn)行語義指向性特征提取的過程描述為：假設(shè)圖像檢索區(qū)域中文本模塊的輸入特征信息時間序列為x(t)，t=0,1,…n-1，對圖像的量化編碼信息的定位區(qū)間描述為：

u=[u1,u2,…,uN]∈RmN

(5)

在上述語義信息實體模型中，在橫向和豎向兩個梯度方向?qū)D像的像素點樣本進(jìn)行自組織神經(jīng)網(wǎng)絡(luò)訓(xùn)練，進(jìn)行模糊規(guī)則下推理，求得最大梯度差像素：

(6)

其中，m,n分別是大型多媒體數(shù)據(jù)庫中的圖像向量量化的梯度特征差異圖的高度和寬度。

提取梯度特征差異信息中的語義指向性波束函數(shù)，對窗口中梯度最大值進(jìn)行自適應(yīng)加權(quán)，得到輸出的加權(quán)向量為：

x(t)=(x0(t),x1(t),…，xk-1(t))T

(7)

采用一個1×N的窗口來遍歷被檢索圖像的非文本像素集合，確定窗口大小N，對于所確定的疑似文本像素輸入檢測函數(shù)x(t)，經(jīng)過閾值判決，計算其與所有輸出像素特征窗口加權(quán)向量ωj的空間距離，表示為：

(8)

其中，ωj為檢索圖像的縱向的最大梯度差加權(quán)系數(shù)，表示為：

ωj=(ω0j,ω1j,…，ωk-1,j)T

(9)

通過對圖像中的有用文本進(jìn)行語義指向性特征提取，各自判決的文本像素為TLX、TLY，文本像素的判決式為：

(10)

設(shè)多媒體數(shù)據(jù)庫中與語義信息相關(guān)的圖像類別總數(shù)為m，在最小窗口距離下計算信息索引的指向性聚焦特征Nj*，其中網(wǎng)絡(luò)節(jié)點的最小距離為：

(11)

由于把圖像分成3×3拓?fù)浣Y(jié)構(gòu)，結(jié)合圖的向量量化編碼輸出，設(shè)圖像所屬類別的對象集合Fm(x,y)為第m幀(x,y)處的像素灰度值，由此得到輸出的語義指向性特征為：

(12)

(13)

通過上述分析，實現(xiàn)了圖像的語義指向性特征提取。

2.2 FCM特征聚類及圖像檢索算法實現(xiàn)

在語義特征提取的基礎(chǔ)上，對輸出的語義指向性特征提取結(jié)果進(jìn)行數(shù)據(jù)聚類處理，采用模糊C均值(Fuzzy C-Means,FCM)聚類算法進(jìn)行特征數(shù)據(jù)聚類[11-13]。假設(shè)輸入的大型多媒體數(shù)據(jù)庫中待檢索圖像的語義指向性特征數(shù)據(jù)為一個有限數(shù)據(jù)集：

X={x1,x2,…,xn}?Rs

(14)

圖像經(jīng)過LGB向量量化編碼后輸出的語義特征集合中含有n個聚類特征樣本，其中樣本xi，i=1,2,…,n的隸屬度屬性矢量為：

xi=(xi1,xi2,…,xis)T

(15)

利用輸出的語義指向性特征的均勻遍歷特性在特征空間進(jìn)行數(shù)據(jù)聚類中心的搜索[14-15]，有限的語義特征集合X分為c類，其中1

(16)

其中，Vi為在縱向的最大梯度差全局搜索下聚類中心的第i個矢量。

在聚類中心的輻射半徑內(nèi)，通過連通區(qū)的長、寬和面積等參量信息的估計，對圖像檢索的輸出邊緣像素點進(jìn)行邊緣密度求解，結(jié)果為：

(17)

(18)

結(jié)合上述LGB編碼結(jié)果，調(diào)整加權(quán)得到Nj*幾何鄰域NEj*(t)，得到圖像檢索的模糊劃分矩陣為：

(19)

(20)

此時，求得檢索目標(biāo)函數(shù)的極值為：

(21)

(22)

其中，m為文本像素圖像的權(quán)重指數(shù)；(dik)2為背景人物等圖像的樣本xk與文本像素樣本Vi的測度距離，用歐氏距離表示為：

(dik)2=‖xk-Vi‖2

(23)

且滿足：

(24)

通過上述處理，采用語義指向性特征提取和FCM聚類方法，通過對圖像中的文本信息分析和特征提取，結(jié)合約束條件式(24)，經(jīng)過閾值判決，實現(xiàn)圖像優(yōu)化檢索，達(dá)到多媒體數(shù)據(jù)庫準(zhǔn)確訪問和圖像索引的目的。

3 仿真實驗與結(jié)果分析

為了測試文中算法在實現(xiàn)大型多媒體數(shù)據(jù)庫中圖像檢索的應(yīng)用性能，對其進(jìn)行仿真。采用Matlab仿真軟件進(jìn)行算法編程設(shè)計，圖像采集來自于大型多媒體網(wǎng)絡(luò)數(shù)據(jù)庫DeepWeb2016。網(wǎng)絡(luò)數(shù)據(jù)庫中存有大量的視頻圖像信息，檢索的目標(biāo)是通過辨識視頻圖像幀中的文本信息，實現(xiàn)視頻中幀圖像的準(zhǔn)確定位和索引。仿真實驗中，相關(guān)參數(shù)設(shè)定為：Gmax=30，D=12，c=3，NP=30，F(xiàn)=0.5，CR=0.1，m=2；視頻幀差序列采集的初始頻率f1=2.1Hz，終止頻率f2=0.23Hz，圖像檢索中的外界信息干擾強(qiáng)度為SNR=-10dB，權(quán)重系數(shù)ω設(shè)定為0.9。另外，為了定量分析圖像檢索的性能，分別定義信噪比和峰值信噪比為(單位dB)：

(25)

(26)

根據(jù)上述仿真環(huán)境和參數(shù)設(shè)定，進(jìn)行圖像檢索仿真分析，以數(shù)據(jù)庫中一幀含有文本像素的圖像為樣本進(jìn)行測試。待檢索原始圖像和LGB編碼輸出如圖1所示。

圖1 圖像采集和編碼

通過LGB向量量化編碼，進(jìn)行圖像特征壓縮，以此為基礎(chǔ)進(jìn)行圖像的語義指向性特征提取和FCM聚焦分析，結(jié)果如圖2所示。

在此基礎(chǔ)上，采用模糊C均值聚類算法對提取的語義特征進(jìn)行分類標(biāo)注，由此實現(xiàn)大型多媒體數(shù)據(jù)庫中圖像的準(zhǔn)確檢索和信息索引。通過語義指向性聚類后圖像檢索的輸出結(jié)果如圖3所示。

圖2 圖像語義指向性特征提取結(jié)果

圖3 語義文本標(biāo)注圖像檢索輸出

由圖3可見，采用文中算法進(jìn)行圖像檢索，通過語義指向性特征提取，能準(zhǔn)確檢索到待分析圖像，無輸出幀差。為了驗證文中算法的普適性，以簡單背景圖像、復(fù)雜背景圖像、英文文本圖像和縱向文本圖像為例，采用文中算法分別進(jìn)行檢索，得到的輸出結(jié)果如圖4所示。

(a)簡單背景圖像的檢索結(jié)果

(b)復(fù)雜背景圖像的檢索結(jié)果

(c)具有英文文本圖像的檢索結(jié)果

(d)縱向排列文本圖像的檢索結(jié)果圖4 各類背景下的檢索結(jié)果

由上述結(jié)果可得，采用文中算法進(jìn)行多媒體數(shù)據(jù)庫的圖像檢索，無論何種文本背景，通過語義指向性特征聚類，都能得到準(zhǔn)確的檢索結(jié)果輸出，展示了較好的普適性。

為了定量分析文中算法的性能，以PSNR為測試指標(biāo)，以其中的一組圖像檢索為例，采用文中算法和傳統(tǒng)算法得到的對比結(jié)果如圖5所示。

圖5 性能對比測試

從圖5可見，采用文中算法進(jìn)行圖像檢索輸出的PSNR較高，說明圖像檢索的精度較好，質(zhì)量較高，性能優(yōu)越。

4 結(jié)束語

大量的多媒體信息通過網(wǎng)絡(luò)多媒體數(shù)據(jù)庫進(jìn)行信息存儲和數(shù)據(jù)傳輸，多媒體數(shù)據(jù)庫中存儲有海量的音視頻和圖像等信息，需要進(jìn)行圖像檢索實現(xiàn)數(shù)據(jù)庫的準(zhǔn)確訪問和信息調(diào)度。為此，提出了一種基于語義指向性特征聚類的圖像檢索算法。對圖像進(jìn)行向量量化編碼實現(xiàn)圖像壓縮，提取量化編碼壓縮圖像的語義特征信息，采用模糊C均值聚類算法對提取的語義特征進(jìn)行分類標(biāo)注，由此實現(xiàn)大型多媒體數(shù)據(jù)庫中圖像的準(zhǔn)確檢索和信息索引。實驗結(jié)果表明，采用該算法的圖像檢索準(zhǔn)確度較高，幀差為零，輸出的峰值信噪比較高，性能優(yōu)越于傳統(tǒng)算法。

[1] 章登義,吳文李,歐陽黜霏.基于語義度量的RDF圖近似查詢[J].電子學(xué)報,2015,43(7):1320-1328.

[2] 羅海馳,李岳陽,孫 俊.一種基于自適應(yīng)神經(jīng)模糊推理系統(tǒng)的圖像濾波方法[J].計算機(jī)科學(xué),2013,40(7):302-306.

[3] 杜 輝.基于小波變換的彩色圖像中快速人臉檢測算法[J].科技通報,2012,28(12):88-90.

[4]ChongFT,HeckMJR,RanganathanP,etal.Datacenterenergyefficiency:improvingenergyefficiencyindatacentersbeyondtechnologyscaling[J].IEEEDesign&Test,2014,31(1):93-104.

[5]WangLin,ZhangFa,ArocaJA,etal.GreenDCN:ageneralframeworkforachievingenergyefficiencyindatacenternetworks[J].IEEEJournalonSelectedAreasinCommunications,2014,32(1):4-15.

[6]KaramiE,DobreOA.IdentificationofSM-OFDMandAL-OFDMsignalsbasedontheirsecond-ordercyclostationarity[J].IEEETransactionsonVehicularTechnology,2015,64(3):942-953.

[7]MohammadkarimiM,DobreOA.BlindidentificationofspatialmultiplexingandAlamoutispace-timeblockcodeviaKolmogorov-Smirnov(K-S)test[J].IEEECommunicationsLetters,2014,18(10):1711-1714.

[8] 王云燁,李 勃,董 蓉,等.基于透射率空間與色彩紋理相關(guān)性的圖像分割[J].電子測量技術(shù),2015,38(1):41-46.

[9] 張 宇，王曉燕.基于混合灰度差指標(biāo)的低空目標(biāo)圖像檢測方法[J].電子測量與儀器學(xué)報,2015,29(8):1196-1202.

[10] 余 淮,楊 文.一種無人機(jī)航拍影像快速特征提取與匹配算法[J].電子與信息學(xué)報,2016,38(3):509-516.

[11] 郭復(fù)勝,高 偉.基于輔助信息的無人機(jī)圖像批處理三維重建方法[J].自動化學(xué)報,2013,39(6):834-845.

[12] 鄭海峰.基于多尺度Retinex的超聲圖像去噪及增強(qiáng)技術(shù)[J].激光雜志,2016,37(3):71-73.

[13] 代具亭,湯心溢,王世勇,等.掃描型紅外焦平面探測器圖像實時傳輸系統(tǒng)[J].激光與紅外,2016,46(4):476-480.

[14] 馮 洋.基于改進(jìn)的奇異值分解的紅外弱小目標(biāo)檢測[J].激光技術(shù),2016,40(3):335-338.

[15]AchantaR,ShajiA,SmithK,etal.SLICsuperpixelscomparedtostate-of-the-artsuperpixelmethods[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(11):2274-2281.

Investigation on Image Retrieval Algorithm with Semantic Directed Feature Clustering

WEN Zheng-ying，LI Yun-di

(School of Computer，Henan University of Engineering，Zhengzhou 451191，China)

In large multimedia database,it is necessary to carry out the image retrieval to realize the accurate index of the interested image and correct access of the multimedia database.Traditional methods take the manually labeling method of association information for image retrieval,and with the increase of the image information in database,the efficiency is low.In order to improve the efficiency and precision of image retrieval in large multimedia database,an image retrieval algorithm is proposed based on semantic directed feature clustering.The algorithm uses vector quantization for image compression,and the frequency domain feature point of text information in the image are classified.The text image frame sequence is taken with vector quantization decomposition,extraction of feature of gradient difference information,realization of the feature clustering of semantic orientation,adaptive weighting of the maximum gradient in the window.Semantic feature information of the quantization coding compression image is extracted,and fuzzy C-means clustering algorithm is used to extract semantic features labeling,realizing the exact matching and scheduling of large multimedia database.Simulation results show that the accuracy of the algorithm for image retrieval is improved,and image frame difference is zero,and output image PSNR is more than traditional methods,which has good image retrieval performance.

semantic;clustering;image retrieval;vector quantization

2016-04-27

2016-08-10

時間：2017-02-17

河南省高等學(xué)校重點科研項目(15A520055)

文政穎(1979-)，女，碩士，副教授，研究方向為圖像處理與計算機(jī)應(yīng)用。

http://www.cnki.net/kcms/detail/61.1450.TP.20170217.1632.064.html

TP391

A

1673-629X(2017)04-0083-05

10.3969/j.issn.1673-629X.2017.04.019