王玉晶

(阿壩師范學(xué)院教務(wù)處， 四川 汶川 623002)

基于最優(yōu)特征加權(quán)的圖像分類算法

王玉晶

(阿壩師范學(xué)院教務(wù)處， 四川 汶川 623002)

通過研究圖像分類過程中特征選擇和分類器構(gòu)建問題， 提出了一種基于最優(yōu)特征加權(quán)的圖像分類算法. 首先提取圖像的顏色和紋理特征， 接著采用混沌粒子群優(yōu)化算法對特征的權(quán)值進(jìn)行求解， 確定每一個特征對圖像分類的貢獻(xiàn)， 最后采用相關(guān)向量機(jī)對加權(quán)的圖像樣本集進(jìn)行學(xué)習(xí)， 構(gòu)建分類器， 從而實(shí)現(xiàn)圖像的分類. 實(shí)驗結(jié)果表明， 相對于當(dāng)前較流行的圖像分類模型， 該模型不僅能夠提高圖像的分類準(zhǔn)確率， 而且能夠大幅度減少了圖像的分類時間， 具有一定的實(shí)際應(yīng)用價值.

圖像分類； 特征選擇； 混沌粒子群算法； 相關(guān)向量機(jī)

0 引 言

隨著圖像處理技術(shù)的不斷成熟， 網(wǎng)絡(luò)上圖像數(shù)量急劇增加， 對大規(guī)模圖像進(jìn)行有效管理， 快速、 準(zhǔn)確找到用戶需要的圖像具有十分重要的意義[1]. 圖像分類是圖像管理中的關(guān)鍵技術(shù)， 因此， 如何構(gòu)建性能優(yōu)異的圖像分類模型， 提高圖像的檢索效率和正確率顯得尤為重要[2].

為了提高圖像分類的正確率， 提出一種混沌粒子群(Particles Swarm Optimization， PSO)算法優(yōu)化特征權(quán)值的圖像分類模型(PSO-RVM)， 該模型采用混沌粒子群算法確定特征權(quán)值， 并采用相關(guān)向量機(jī)(Relevance Vector Machine, RVM)構(gòu)建圖像分類器. 仿真實(shí)驗結(jié)果表明， PSO-RVM不僅提高了圖像分類的正確率， 而且圖像分類速度得到大幅提升， 具有較高的實(shí)際應(yīng)用價值.

1 相關(guān)研究工作

圖像分類屬計算模式識別中的多分類問題， 因此， 特征提取和選擇、 分類器設(shè)計是兩個最為關(guān)鍵的過程[3]. 當(dāng)前圖像分類特征主要有顏色、 紋理、 形狀等， 由于單一特征只能描述圖像一方面的信息， 當(dāng)圖像受到外界影響時， 就難以準(zhǔn)確描述圖像類別信息[4]. 而不同特征可以從多方面描述圖像類別信息， 實(shí)現(xiàn)優(yōu)勢互補(bǔ)， 因此當(dāng)前學(xué)者們主要提取多種特征進(jìn)行圖像分類[5]. 然而多特征數(shù)量比較大， 使圖像分類器的輸入向量維數(shù)過高， 在圖像分類器學(xué)習(xí)過程中， 易出現(xiàn)“維數(shù)災(zāi)”等難題， 而且特征之間存在一些冗余信息， 對圖像分類結(jié)果產(chǎn)生不利影響， 為此， 將特征輸入到分類器學(xué)習(xí)之前， 需求對特征進(jìn)行優(yōu)化和選擇[6]. 當(dāng)前傳統(tǒng)特征選擇算法主要有： 主成分分析、 線性判別分析等， 這些算法具有速度快、 效率高等優(yōu)點(diǎn)， 但得到的結(jié)果可解釋性差， 破壞了原始特征表示的意義[7-8]. 隨后有學(xué)者提出了基于群智能算法的圖像特征選擇方法， 如遺傳算法、 粒子群優(yōu)化算法等[9-10]， 它們根據(jù)特征對圖像分類結(jié)果的貢獻(xiàn)給每一個特征賦予一個權(quán)值， 成為主要圖像特征選擇算法， 然而傳統(tǒng)群智能算法存在一定的缺陷， 如局部最優(yōu)， 對后繼圖像分類結(jié)果產(chǎn)生不利影響[11]. 當(dāng)前圖像分類器主要采用神經(jīng)網(wǎng)絡(luò)、 支持向量機(jī)等進(jìn)行構(gòu)建[12-13]， 神經(jīng)網(wǎng)絡(luò)要求訓(xùn)練樣本大、 支持向量機(jī)， 存在學(xué)習(xí)效率低等不足. 相關(guān)向量機(jī)是一種新發(fā)展起來的機(jī)器學(xué)習(xí)算法， 解決了神經(jīng)網(wǎng)絡(luò)要求訓(xùn)練樣本大， 避免了支持向量機(jī)學(xué)習(xí)效率低等缺陷， 為圖像分類器的構(gòu)建提供了一種新的工具[14].

2 PSO-RVM 的圖像分類原理

基于PSO-RVM的圖像分類模型工作原理為： 首先提取圖像的顏色和紋理特征， 并進(jìn)行歸化一化處理， 然后采用混沌粒子群優(yōu)化(CPSO)算法確定特征的相應(yīng)權(quán)值， 最后采用RVM構(gòu)建圖像分類器， 具體如圖 1 所示.

圖 1 PSO-RVM的圖像分類原理Fig.1 Principle of PSO-RVM image classification

3 PSO-RVM的圖像分類模型

3.1 提取圖像特征

3.1.1 提取圖像的紋理特征

紋理是一種重要的圖像特征， 可以描述圖像中反復(fù)出現(xiàn)的局部模式和排列規(guī)則， 其中灰度共生矩陣是一種常用的圖像紋理特征提取算法. 灰度共生矩陣表示兩個像素同時出現(xiàn)的概率(P(i,j,d,θ))， 其計算公式為

P(i,j,d,θ)=

{[(x,y),(x+dx,y+dy)|f(x,y)=i,

式中：x，y是像素的坐標(biāo)；i，j是灰度值； dx， dy是位置偏移量；d是像素間的距離；θ為灰度共生矩陣的生成方向.

Haralick等定義了14個灰度共生矩陣特征參數(shù)， 通過對圖像的紋理分析研究， 結(jié)果表明， 在14個灰度共生矩陣的紋理特征中， 僅有4個特征是不相關(guān)的， 為此， 本文采用該4個特征描述圖像的紋理特征.

1) 角二階矩(ASM). 角二階矩是圖像灰度分布均勻性的度量， 紋理粗時ASM值大， 紋理細(xì)時ASM值小， 其定義如下

2) 慣性矩(CON). 慣性矩反映了圖像的清晰度， 紋理溝紋深時CON值大， 效果清晰， 紋理溝紋淺時CON值小， 效果模糊， 其定義如下

3) 熵(ENT). 熵是圖像所具有的信息量的度量， 若圖像沒有任何紋理， 則ENT值幾乎為0， 紋理復(fù)雜時ENT值大， 紋理簡單時ENT值小， 其定義如下

(4)

4) 相關(guān)性(COR). 相關(guān)性反應(yīng)灰度共生矩陣的元素在行方向或列方向的相似度， 其定義如下

分別統(tǒng)計角二階矩、 慣性矩、 熵、 相關(guān)性4個參量在0°, 45°, 90°, 135°方向上的值， 將角二階矩、 慣性矩、 熵、 相關(guān)性的均值和方差共8個量作為紋理特征.

3.1.2 提取圖像的顏色特征

顏色是一種非常穩(wěn)定的圖像特征， 其中顏色矩是一種簡單有效的顏色特征描述方法， 由于顏色信息主要分布于低階矩中， 因此， 提取圖像的一階矩和二階矩作為顏色特征. 設(shè)i通道的第j個像素為pij，N為像素總數(shù)， 每一個顏色通道的一階矩和二階矩計算公式分別為

3.2 混沌粒子群優(yōu)化算法

3.2.1 標(biāo)準(zhǔn)粒子群優(yōu)化算法

Kennedy等通過對模擬鳥群覓食進(jìn)行分析， 提出了PSO算法， 假設(shè)待求解問題的搜索空間為D維， 第i個粒子的當(dāng)前最優(yōu)解為pbest， 整個群體的全局最優(yōu)解為gbest， 每次迭代， 粒子的位置和速度的更新公式為

3.2.2 粒子群優(yōu)化算法的混沌機(jī)制

針對標(biāo)準(zhǔn)PSO算法存在早熟收斂、 易于陷入局部極值、 解的精度低等問題， 將混沌系統(tǒng)引入到PSO算法中， 首先利用混沌序列對粒子位置進(jìn)行初始化， 提高種群的多樣性， 選擇最優(yōu)的初始種群； 然后在粒子群搜索過程中， 對最優(yōu)位置進(jìn)行混沌處理， 把混沌序列中的最優(yōu)位置粒子代替當(dāng)前粒子群中一個粒子的位置， 這樣在迭代中產(chǎn)生局部最優(yōu)解的許多鄰域點(diǎn)， 加快找到最優(yōu)解的速度.

Logistic混沌映射是一種經(jīng)典的混沌系統(tǒng)， 其定義如下

式中：μ表示控制參數(shù)[15].

令xk是通混沌運(yùn)算映射到[0,1]區(qū)間后的向量，βk為迭代k次后的混沌向量， 則施加了隨機(jī)擾動后的混沌向量xk+i可以表示為

3.3 混沌粒子群優(yōu)化算法確定權(quán)值

1) 采集圖像， 提取顏色和紋理共10個特征， 并對該10個特征進(jìn)行歸一化處理， 組合得到圖像分類的特征向量集.

2) 設(shè)置PSO算法的相應(yīng)參數(shù)， 主要包括： 最大的迭代次數(shù)tmax， 慣性權(quán)重ω， 學(xué)習(xí)因子c1、c2， 混沌擾動范圍等.

3) 隨機(jī)產(chǎn)生一個10維分量的向量， 向量的值在[0 1]范圍內(nèi)， 該10維向量分別表示10個特征向量的權(quán)值， 采用Logisic映射產(chǎn)生N個初始種群向量， 從N個初始群中選擇性能最好的M個解組成初始粒子群， 隨機(jī)初始化速度.

4) 評價每個粒子的適應(yīng)度， 如果粒子適應(yīng)度fi優(yōu)于pbest和gbest， 則更新pbest和gbest.

5) 更新粒子的位置和速度.

6) 根據(jù)Logistic混沌產(chǎn)生混沌序列， 并將其通過逆映射， 返回到原解空間， 在原解的空間對每個可行解計算其適應(yīng)度值fi， 得到性能最好的可行解， 用性能最好的可行解替代當(dāng)前群體中粒子的位置.

7) 判斷是否滿足條件， 若滿足則停止， 輸出最優(yōu)位置， 即10個特征向量的最優(yōu)權(quán)值.

3.4 構(gòu)建圖像分類器

式中：ωi為噪聲.

通過核函數(shù)K(x,xi)的線性組合形式描述RVM， 即

(12)

式中：w=[w0,w1,…,wN]T為權(quán)值向量.

RVM的概率模型可以描述為

(13)

引入超參數(shù)β， 整個訓(xùn)練樣本數(shù)據(jù)組的似然函數(shù)表示為

p(t|

式中：t=[t0,t1,…,tN]T.

式中：a=[a0,a1,…,aN]T為超參數(shù).

根據(jù)貝葉斯公式即可得到w后驗分布的數(shù)學(xué)表達(dá)式

p(w|

式中：p(w|a)與p(t|w,β)皆為高斯分布.

p(t|a,β)中不含有w, 則可將其看作一個系數(shù)， 因此可寫為

p(w|t,a,a)=N(w|

式中：Σ是協(xié)方差矩陣；μ是均值向量， 它們分別為

其中，A=diag(a0,a1,…,aN).

w的后驗分布必須對β和aj進(jìn)行優(yōu)化， 可得到aj和β的計算公式

其中，μj為μ的第j個元素，Σjj是矩陣Σ的第j個對角元.

對于新輸入的一組數(shù)據(jù)x*， 對應(yīng)輸出為t*,

t*=φ(x*)μ.

4 仿真實(shí)驗

4.1 數(shù)據(jù)來源

為了測試PSO-RVM圖像分類模型的有效性， 在Intel? Core(TM) i5-2450M 2.85 GHz CPU， 4 GB RAM， Windows 7 操作系統(tǒng)， Matlab 2013環(huán)境下仿真實(shí)驗. 數(shù)據(jù)來源于標(biāo)準(zhǔn)圖像分類試數(shù)據(jù)庫： Pascal VOC 2012， 該數(shù)據(jù)庫包含20類彩色圖像， 具體為： 鳥、 貓、 奶牛、 狗、 馬、 綿羊、 飛機(jī)、 自行車、 船、 公交車、 小汽車、 摩托車、 火車、 瓶子、 椅子、 餐桌、 盆景、 沙發(fā)和電視與顯示器， 共計11 540個圖像. 本文選擇鳥、 狗、 飛機(jī)、 瓶子、 盆景等5類圖像作為仿真對象.

4.2 結(jié)果與分析

4.2.1 與其它特征提取算法的性能對比

為提高CPSO算法選擇特征的優(yōu)越性， 采用主成分分析算法(PCA)、 遺傳算法(GA)、 標(biāo)準(zhǔn)粒子群算法(PSO)進(jìn)行對比實(shí)驗， 其PCA選擇累計貢獻(xiàn)率為90%的向量， 而GA、 PSO、 CPSO算法通過確定特征權(quán)選擇特征向量， 所有分類器均采用RVM構(gòu)建， 每一種算法均運(yùn)行10次實(shí)驗， 它們的平均分類正確率如圖 2 所示.

圖 2 不同特征選擇算法的平均分類正確率對比Fig.2 Comparison of average classification accuracy for different feature selection algorithms

從圖 2 可以看出： 相對于PCA算法， GA、 PSO、 CPSO算法的平均分類正確率均得到一定的提高， 這主要是因為PCA算法是一種線性特征提取算法， 而圖像受到光照等外界因素的影響， 特征之間不是簡單的線性變化關(guān)系， 同時PCA算法是對特征融合和降維， 丟失了部分有用信息， 而GA、 PSO、 CPSO算法為確定特征權(quán)值， 通過特征權(quán)值確定每一個特征對圖像分類結(jié)果的作用， 可以獲得更加理想的圖像分類效果.

4.2.2 與其它分類器的性能對比

為了測試RVM構(gòu)建圖像分類器的優(yōu)越性， 采用最近鄰算法(KNN)、 支持向量機(jī)(SVM)、 BP神經(jīng)網(wǎng)絡(luò)(BPNN)構(gòu)建分類器進(jìn)行對比實(shí)驗， 所有特征的權(quán)值采用CPSO算法進(jìn)行確定， 每一種模型均運(yùn)行10次實(shí)驗， 統(tǒng)計它們平均分類的正確率， 結(jié)果如圖 3 所示.

圖 3 不同分類器的平均分類率對比Fig.3 Comparison of average classification accuracy of different classifiers

從圖 3 可知， 相對于其它圖像分類器， RVM的分類正確率最高， 這主要是由于RVM具有更優(yōu)的非線性學(xué)習(xí)和泛化性能， 構(gòu)建的圖像分類器可以更加準(zhǔn)確地描述圖像特征向量與圖像類別之間的非線性映射關(guān)系， 因此RVM提高了圖像分類的正確率， 降低了圖像的誤分率.

4.2.3 不同模型的分類速度對比

速度也是評價圖像分類模型的一個有意義指標(biāo)， 所有模型的圖像平均分類時間如表 1 所示.

表 1 不同模型的平均分類時間對比

從表 1 可知， 相對于PCA算法， GA、 PSO、 CPSO算法的平均分類時間相對較高， 但是PCA算法的分類正確率太低， 不能滿足圖像管理實(shí)際應(yīng)用要求， 相對于GA、 PSO算法， CPSO算法的分類速度得到提高， 可以很好地滿足網(wǎng)絡(luò)圖像分類的在線要求. 同時SVM、 BPNN， RVM的分類速度也得到加快， 雖然KNN 分類速度最快， 但存在分類正確率低， 錯誤差高的缺陷， 因此PSO-RVM的圖像分類綜合性能最優(yōu).

5 結(jié) 語

為了獲得更好的圖像分類結(jié)果， 結(jié)合CPSO算法和RVM的優(yōu)點(diǎn)， 提出一種混沌粒子群算法優(yōu)化特征值的的圖像分類模型. 仿真實(shí)驗結(jié)果表明， 該模型加快了圖像分類的速度， 提高了圖像的分類正確率， 可以滿足圖像分類的實(shí)際應(yīng)用需求.

[1]Lu D, Weng Q. A survey of image classification methods and techniques for improving classification performance[J]. International Journal of Remote Sensing, 2007, 28(5)： 823-870.

[2]劉麗, 匡綱要. 圖像紋理特征提取方法綜述[J]. 中國圖像圖形學(xué)報， 2009， 14(4)： 623-635. Liu Li， Kuang Gangyao. Overview of image textural feature extraction methods[J]. Journal of Image and Graphics， 2009， 14(4)： 623-635. (in Chinese)

[3]楊關(guān)， 馮國燦， 陳偉福， 等. 紋理分析中的圖模型[J]. 中國圖象圖形學(xué)報， 2011， 16(10)： 1818-1825. Yang Guan， Feng Guocan， Chen Weifu， et al. Graphical models in texture analysis[J]. Journal of Image and Graphics， 2011， 16(10)： 1818-1825. (in Chinese)

[4]陳凱， 肖國強(qiáng)， 潘珍， 等. 單尺度詞袋模型圖像分類方法[J]. 計算機(jī)應(yīng)用研究， 2011， 10(28)： 3986-3988. Chen Kai， Xiao Guoqiang， Pan Zhen， et al. Single-scale image classification employing Bag-of-Words model[J]. Application Research of Computers， 2011， 10(28)： 3986-3988. (in Chinese)

[5]Zhang B C， Gao Y S， Zhao S Q， et al. Local derivative pattern versus local binary pattern： face recognition with high-order local pattern descriptor[J]. IEEE Transactions on Image Processing， 2010， 19(2)： 533-544.

[6]張剛， 馬宗民. 一種采用Gabor小波的紋理特征提取方法[J]. 中國圖像圖形學(xué)報， 2010， 15(2)： 248-254. Zhang Gang， Ma Zongmin. An approach of using gabor wavelets for texture feature extraction[J]. Journal of Image and Graphics， 2010， 15(2)： 248-254. (in Chinese)

[7]王向陽， 楊紅穎， 鄭宏亮， 等. 基于視覺權(quán)值的分塊顏色直方圖圖像檢索算法[J]. 自動化學(xué)報， 2010， 36(10)： 1489-1492. Wang Xiangyang， Yang Hongying， Zheng Hongliang， et al. A color block-histogram image retrieval based on visual weight[J]. Acta Automatica Sinica， 2010， 36(10)： 1489-1492. (in Chinese)

[8]李大湘， 彭進(jìn)業(yè)， 賀靜芳. 基于EMD-CkNN多示例學(xué)習(xí)算法的圖像分類[J]. 光電子·激光， 2010， 21(2)： 304-306. Li Daxiang， Peng Jinye， He Jingfang. Image categorization based on EMD-CkNN multi-instance learning algorithm[J]. Journal of Optoelectronics Laser， 2010， 21(2)： 304-306. (in Chinese)

[9]杜娟， 孫君頂. 基于特征加權(quán)和支持向量機(jī)的圖像分類研究[J]. 激光與紅外， 2013， 43(3)： 315-318. Du Juan， Sun Junding. Image classification based on feature weighting and support vector machine[J]. Laser & Infrared， 2013， 43(3)： 315-318. (in Chinese)

[10]劉一鳴. 自適應(yīng)量子行為粒子群算法及其在圖像分類中的應(yīng)用研究[D]. 杭州： 浙江大學(xué)， 2011.

[11]Jiang S H， Chen B F. Method of image retrieval based on integrating low level feature with relevance feedback[J]. Machine Building and Automation， 2009， 38(3)： 51-53.

[12]劉亞楠， 涂錚錚， 羅斌. 基于加權(quán)高階奇異值分解的支持張量機(jī)圖像分類[J]. 微電子學(xué)與計算機(jī)， 2014， 31(5)： 28-31. Liu Yanan， Tu Zhengzheng， Luo Bin. Support tensor machine image classification based on weighted high-order singular value decomposition[J]. Microelectronics & Computer， 2014， 31(5)： 28-31. (in Chinese)

[13]謝文蘭， 石躍祥， 肖平. 應(yīng)用BP神經(jīng)網(wǎng)絡(luò)對自然圖像分類[J]. 計算機(jī)工程與應(yīng)用， 2010， 46(2)： 163-166. Xie Wenlan， Shi Yuexiang， Xiao Ping. Classification of natural image based on BP neural network[J].Computer Engineering and Applications， 2010， 46(2)： 163-166. (in Chinese)

[14]柳長源， 畢曉君， 韋琦. 基于相關(guān)向量機(jī)的含噪聲人臉圖像識別[J]. 吉林大學(xué)學(xué)報(工學(xué)版)， 2013， 43(4)： 1121-1125. Liu Changyuan， Bi Xiaojun， Wei Qi. Noisy face images recognition based on relevance vector machine[J]. Journal of Jilin University (Engineering and Technology Edition)， 2013， 43(4)： 1121-1125. (in Chinese)

[15]高雷阜， 劉旭旺. 一種基于混沌的自適應(yīng)粒子群全局優(yōu)化方法[J]. 計算機(jī)工程與應(yīng)用， 2010， 46(3)： 51-53. Gao Leifu， Liu Xuwang. Adaptive particle swarm global optimization algorithm based on chaos[J]. Computer Engineering and Applications， 2010， 46(3)： 51-53. (in Chinese)

Image Classification Algorithm Based on Optimal Feature Weighting

WANG Yu-jing

(Dean’s Office of Aba Teachers University, Wenchuan 623002, China)

This article focuses on the problem of feature selection and classifier construction in the image classification process. An image classification algorithm based on optimal feature weighting was proposed. Firstly, collect the color and texture feature of images. Secondly, calculate the weights of each feature using chaotic particle swarm optimization algorithm, where the weights represents contributions of correspond feature to the classification model is determined. Finally, the weighted vector sample set is studied by the relevant vector machine, and then construct the classifier to achieve the image classification. Experiment results show that the proposed algorithm not only can improve the accuracy of image classification, but also reduce the classification time, which means that it has a certain practical value compared with the popular image classification model.

image classification; features selection; particles swarm optimization algorithm; relevance vector machine

2016-08-23

四川省教育廳重點(diǎn)科研資助項目(15ZA0339)； 阿壩師范學(xué)院校級科研基金資助項目(ASC15-20)

王玉晶(1982-)， 女， 講師， 碩士， 主要從事模式識別、 智能算法的研究.

1673-3193(2017)02-0196-06

TP391

A

10.3969/j.issn.1673-3193.2017.02.018