儲(chǔ)岳中 李家浩 張學(xué)鋒 紀(jì) 濱

(安徽工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 安徽 馬鞍山 243002)

0 引 言

圖像分類是當(dāng)前計(jì)算機(jī)視覺、深度學(xué)習(xí)和人工智能等領(lǐng)域的研究熱點(diǎn)。在圖像分類這一研究課題下，文獻(xiàn)[1]對(duì)該課題近些年的發(fā)展作出總結(jié)和展望，表示多特征融合這一策略對(duì)圖像分類具有非常關(guān)鍵的研究意義，并且在選取特征與分類器這兩個(gè)關(guān)鍵環(huán)節(jié)的處理對(duì)最終分類效果具有深遠(yuǎn)影響，往往多特征伴隨著高維度數(shù)據(jù)且伴有各類噪聲影響。壓縮感知技術(shù)研究的熱潮下，文獻(xiàn)[2]提出稀疏表示下的人臉識(shí)別算法，通過訓(xùn)練樣本來計(jì)算稀疏系數(shù)與字典，然后計(jì)算殘差來獲得最終分類的方法，取得很高的識(shí)別率。從字典學(xué)習(xí)的角度，文獻(xiàn)[3]提出KSVD字典學(xué)習(xí)算法，通過k次迭代，每步計(jì)算SVD分解來更新字典原子與對(duì)應(yīng)系數(shù)的方法，從而獲得優(yōu)化的解。文獻(xiàn)[4]在其基礎(chǔ)上改進(jìn)并提出LC-KSVD算法，通過整合構(gòu)建字典與優(yōu)化線性分類器到重建的目標(biāo)函數(shù)中，聯(lián)合獲取更優(yōu)化的學(xué)習(xí)字典。近些年各類基于稀疏表示的改進(jìn)方法被不斷提出[5]，但很少有多特征融合結(jié)合稀疏表示分類器展開研究的方法，由于單一特征對(duì)圖像描述不足以及分類器性能存在的差異性，導(dǎo)致傳統(tǒng)的分類方法在最后的分類效果上性能的局限性較大。多特征融合的分類算法近些年不斷被提出，文獻(xiàn)[6]根據(jù)特征不確定性提出一種新度量方式去對(duì)各類特征貢獻(xiàn)進(jìn)行調(diào)整，以保證融合算法的魯棒性和穩(wěn)定性。由于多特征融合所帶來的特征維度過高以及特征表現(xiàn)不明確等問題，文獻(xiàn)[7]提出多內(nèi)核低秩字典學(xué)習(xí)方法(MKLDPL)，能夠有效通過對(duì)多特征進(jìn)行多核字典學(xué)習(xí)。圍繞圖像分類這一主題，結(jié)合多特征融合思想，稀疏表示分類器可有效減少遮擋、旋轉(zhuǎn)等因素對(duì)圖像識(shí)別的影響，為圖像分類提供了新的手段。

針對(duì)特征提取與分類器融合等問題，本文通過自適應(yīng)的融合多特征所生成的稀疏表示分類器結(jié)果，并結(jié)合整體特征與局部輪廓特征在不同分類情景下的權(quán)重比等因素，通過對(duì)多特征分類器融合決策的方法充分發(fā)揮各特征在不同分類情景下的最大優(yōu)勢。實(shí)驗(yàn)表明，多特征稀疏表示分類器融合的分類方法，較單一特征分類器的效果有顯著提升，構(gòu)成了一種容錯(cuò)性高且魯棒性強(qiáng)的多特征融合圖像分類系統(tǒng)。

1 多特征提取

1.1 全局Gist特征提取

Gist最早是由文獻(xiàn)[8]提出，而后在2006年文獻(xiàn)[9]提出對(duì)圖像使用多尺度多方向Gabor濾波器組進(jìn)行處理的Gist特征提取方法，全局Gist特征提取一般采用4個(gè)尺度、8個(gè)方向的Gabor濾波器組進(jìn)行全局特征的提取。對(duì)圖像進(jìn)行全局Gist特征提取的具體步驟如下：

(1) 將一張大小為m×n的灰度圖片劃分成ma×nb個(gè)分塊圖片，每張分塊圖片的大小為m*×n*，其中m*=m/ma，n*=n/nb。

(2) 使用Jc個(gè)通道的Gabor濾波器對(duì)每塊局部圖像進(jìn)行卷積濾波，其中Jc個(gè)數(shù)等于濾波器尺度與方向數(shù)的乘積，濾波產(chǎn)生的各網(wǎng)格各通道后級(jí)聯(lián)的結(jié)果為該圖像塊Gist特征，公式為：

(1)

式中：Gi的維數(shù)是Jc×m*×n*，由于默認(rèn)尺度為4個(gè)尺度、8個(gè)方向，所以i=[1,2,…,32]。

(3) 將Gi(x,y)經(jīng)濾波器處理后的特征值取均值，再將均值化以后的特征值組合起來，融合形成最終整張圖片的Gist特征，即:

(2)

本文在提取研究目標(biāo)圖像的Gist特征時(shí)，選擇4×4的網(wǎng)格對(duì)整張圖像進(jìn)行劃分，即最后得到的特征維數(shù)為32×16=512維。該特征很好地保留了整張照片的全局特征信息，

由于PCA 降維方法能夠?qū)?shù)據(jù)進(jìn)行壓縮，消除冗余和數(shù)據(jù)噪聲，盡可能保留原始數(shù)據(jù)中的重要特征信息，最大限度地減少降維帶來的損失，所以采用PCA方法對(duì)Gist特征進(jìn)行降維，以達(dá)到最優(yōu)化效果，縮短分類時(shí)間。

1.2 Dense-SIFT特征提取

SIFT特征描述子是由Lowe[10]于2004年提出的一種對(duì)圖像縮放、旋轉(zhuǎn)和仿射變換具有不變形的特征描述子，根據(jù)Koendetink[11]建立的高斯核為唯一線性核理論，提取該特征首先通過對(duì)樣本二維平面空間與DoG(Difference of Gaussian)中同時(shí)檢測局部極值點(diǎn)，DoG算子如下：

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(3)

式中：L代表圖像的尺度空間，I(x,y)代表圖像(x,y)位置的像素值，G(x,y,σ)為二維高斯核函數(shù)。Lowe在原論文中建議SIFT描述子使用在特征點(diǎn)尺度空間內(nèi)4×4的窗口中計(jì)算的8個(gè)方向的梯度信息，共4×4×8=128維向量表示，最終各訓(xùn)練樣本生成的特征向量為m×n，其中n為圖像生成的特征向量個(gè)數(shù)。

Dense SIFT特征提取是由SIFT特征提取演變而來，相較SIFT特征描述子更加均勻平衡地分布在圖像的各區(qū)域。由于其特征點(diǎn)檢測這一部分不同于SIFT特征，通過對(duì)圖像進(jìn)行等大小的網(wǎng)格劃分，設(shè)定一個(gè)固定大小n×n的正方形滑動(dòng)窗口，如圖1所示。按照Bin size進(jìn)行左右上下滑動(dòng)，截取生成采樣空間塊，生成8個(gè)方向上的梯度直方圖，然后將每個(gè)采樣空間塊n×n的8位維度連接起來，形成Dense-Sift描述符。

圖1 Dense-SIFT滑動(dòng)窗口的特征采樣

1.3 方向梯度直方圖

方向梯度直方圖(histofram orented gradient，HOG)是由Dalal[12]在2005年提出，具有很強(qiáng)的圖像特征描述能力，對(duì)圖像幾何與光照的形變都具有較強(qiáng)的魯棒性。HOG特征對(duì)邊緣尤為敏感，在作為融合決策中能夠充分發(fā)揮局部特征對(duì)分類所產(chǎn)生的重要影響，所以本文選取該特征作為多特征稀疏表示分類之一。HOG算法首先將像素大小為m×n的測試圖像樣本劃分成大小為mi×ni的細(xì)胞，并將2×2個(gè)細(xì)胞組成一個(gè)塊，水平方向和垂直方向分別按照一個(gè)細(xì)胞大小的步長為滑動(dòng)窗口，計(jì)算各像素點(diǎn)的梯度大小和方向，每個(gè)細(xì)胞內(nèi)按照像素的梯度方向形成的方向直方圖，方向直方圖的組數(shù)b，最后獲得36×(m/mi-1)×(n/ni-1)個(gè)特征向量，圖2中對(duì)樣本圖像的邊緣信息進(jìn)行描述。

圖2 圖像灰度圖的HOG特征對(duì)應(yīng)輪廓圖

由圖2可發(fā)現(xiàn)，HOG特征對(duì)樣本幾何變化性具有較強(qiáng)的魯棒性，對(duì)樣本局部輪廓特征具有良好表現(xiàn)，類似于其他特征提取生成特征向量的高維數(shù)問題，本文同樣對(duì)生成的HOG特征向量進(jìn)行降維處理，最大程度保存其特征表達(dá)的完整性。

2 多稀疏表示分類器構(gòu)成

2.1 稀疏表示分類(SRC)方法

設(shè)有M類訓(xùn)練樣本，Ki=[ki1,ki2,…,kini]∈Rm×ni表示第i類訓(xùn)練樣本所構(gòu)成的樣本集合，kij∈Rm表示第i類第j個(gè)訓(xùn)練樣本圖像向量，其中m為訓(xùn)練樣本圖像向量的維數(shù)，ni為第i類訓(xùn)練樣本的個(gè)數(shù)。D=[D1,D1,…,DM]∈Rm×n表示整個(gè)訓(xùn)練樣本圖像的訓(xùn)練樣本矩陣，n為訓(xùn)練樣本圖像的總數(shù)，令矩陣D為字典，給定測試樣本y可由字典D表示，即y=Dx。其中，y可由所在類組成的圖像向量線性表示，即y=ki1xi1+ki2xi2+…+kinxin，x為該測試樣本對(duì)應(yīng)字典D的稀疏表示編碼，若訓(xùn)練樣本數(shù)量足夠多，y對(duì)應(yīng)字典D所生成的稀疏表示編碼x稀疏，由于m<

(4)

式(4)為NP問題，由文獻(xiàn)[13]提出的可將l0范數(shù)問題轉(zhuǎn)化為求解l1范數(shù)最優(yōu)化問題，由于數(shù)據(jù)量過多且存在不同程度噪音等影響，加入誤差約束項(xiàng)：

(5)

class(y)=argminri(y)

(6)

最終基于式(6)的分類規(guī)則對(duì)測試圖像y進(jìn)行分類。

2.2 多分類器權(quán)重融合

通過對(duì)不同特征生成的分類器進(jìn)行準(zhǔn)確率驗(yàn)證，分別構(gòu)造多個(gè)稀疏分類器，根據(jù)不同的分類器在所有特征情況下的準(zhǔn)確率進(jìn)行權(quán)重分配，通過迭代更新不同特征分類器的權(quán)重占比，最后通過最終決策分類器輸出結(jié)果。

文獻(xiàn)[14]提出關(guān)于多分類器融合判別系統(tǒng)，多分類器融合決策的關(guān)鍵問題是特征多樣性以及決策融合方法合理性，不同多分類器融合決策系統(tǒng)對(duì)不同的需求模型有不同的性能表現(xiàn)?；诖烁拍?，結(jié)合在圖像分類這一多因素影響的復(fù)雜課題下，具備單一特征信息的分類模型很難具有很良好表現(xiàn)，例如全局Gist特征雖然能夠在全局上很好把握整體輪廓圖像特征完整性，但對(duì)于局部特征具有較高決策權(quán)重比的分類任務(wù)下，僅單靠全局Gist特征來對(duì)圖像進(jìn)行決策分類，效果并不理想。Hog特征著重提取圖像輪廓與方向梯度特征，對(duì)表現(xiàn)圖像局部特征有著顯著的效果，但整體旋轉(zhuǎn)變化魯棒性并不強(qiáng)，在多分類器融合決策下，能夠很好應(yīng)對(duì)復(fù)雜情況下的圖像分類問題。

本文通過引入自適應(yīng)調(diào)節(jié)各分類器在最終決策結(jié)果的影響因子權(quán)重比，通過各特征稀疏表示分類器對(duì)不同樣本存在不同程度的準(zhǔn)確性；通過獎(jiǎng)懲因子?合理地對(duì)各分類器進(jìn)行自適應(yīng)權(quán)重調(diào)節(jié)，?的參數(shù)大小選取對(duì)分類準(zhǔn)確率也有一定影響；通過不斷迭代與自適應(yīng)更新參數(shù)獲得最優(yōu)多分類器融合決策模型。整個(gè)分類決策建模過程如圖3所示。

圖3 基于多特征稀疏表示分類器的圖像識(shí)別算法流程圖

具體過程如下：

步驟1首先根據(jù)第2節(jié)提出的三種特征提取的方法分別對(duì)整個(gè)訓(xùn)練樣本進(jìn)行特征提取，獲得三組訓(xùn)練樣本特征矩陣：

Dk=[D1,D2,…,DM]∈Rd×n

(7)

式中:d為該特征維數(shù)，M為樣本總類別數(shù)，k為第k類特征，Dik為第i類樣本的第k類特征向量。

(8)

步驟3構(gòu)造分配各稀疏表示分類器初始權(quán)重，按照首次各子分類器輸出的分離程度P，獲得初始化特征權(quán)重系數(shù)為：

(9)

Wi代表第i類稀疏表示分類所分配的初始化權(quán)重比。

步驟4融合各加權(quán)稀疏表示分類器的分類結(jié)果，確定圖像所屬類別：

(10)

(11)

3 實(shí)驗(yàn)及結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

仿真環(huán)境為Windows 7操作系統(tǒng)，Intel Core i7 CPU，內(nèi)存16 GB，編程環(huán)境為MATLAB 2016a。

為了驗(yàn)證本文方法相較單個(gè)特征提取之后的分類效果有較高提升，基于cifar-10圖像數(shù)據(jù)數(shù)據(jù)集進(jìn)行驗(yàn)證實(shí)驗(yàn)，本實(shí)驗(yàn)所有數(shù)據(jù)來自CIFAR-10數(shù)據(jù)集。該數(shù)據(jù)集共有60 000幅樣本圖樣，樣本大小均為32×32，像素分為10類，每類6 000幅圖。這里訓(xùn)練樣本集分5批，每批樣本集包括帶標(biāo)簽的樣本10 000幅，另剩下10 000幅作為一批用于測試樣本集。由于該數(shù)據(jù)集中樣本均為彩色圖片，本文進(jìn)行所有實(shí)驗(yàn)之前，先進(jìn)行預(yù)處理，均對(duì)圖片進(jìn)行了灰度化與歸一化處理，轉(zhuǎn)換為灰度圖進(jìn)行特征提取，如圖4所示。

圖4 Cifar-10數(shù)據(jù)庫部分預(yù)處理后的圖像

3.2 單個(gè)特征下的圖像分類對(duì)比實(shí)驗(yàn)

驗(yàn)證根據(jù)Gist、Dense-SIFT和HOG三種特征，分別對(duì)其結(jié)合各自生成的稀疏表示器進(jìn)行單一決策與聯(lián)合決策的圖像分類實(shí)驗(yàn)。通過對(duì)比單一特征的稀疏表示分類器在不同圖集的正確率，來顯示不同圖像分類任務(wù)下各特征對(duì)分類結(jié)果有不同的表現(xiàn)。

表1顯示了不同特征生成的稀疏表示分類器在各測試樣本圖集上的識(shí)別正確率。由表1可以明顯發(fā)現(xiàn)不同特征所生成的稀疏表示分類在不同子集上的識(shí)別率有著明顯的差異，由此可看出，僅對(duì)圖像進(jìn)行單一的特征提取并不具備良好的分類能力。其中Gist特征稀疏表示分類相比HOG特征稀疏表示分類，在分類準(zhǔn)確率上有3%～5%的提升，而Dense-SIFT特征描述子所生成的稀疏表示分類從識(shí)別率上明顯優(yōu)于其他兩種，Dense-SIFT特征更加注重對(duì)全局特征信息的均衡表示。

表1 單特征稀疏表示分類器在不同訓(xùn)練集識(shí)別率 %

由第2.2節(jié)提出的融合決策方法，對(duì)各特征進(jìn)行自適應(yīng)權(quán)重融合后，不同特征在不同訓(xùn)練集合上圖像識(shí)別率以及權(quán)重比如表2所示。

表2 本文方法在不同訓(xùn)練集下的各特征權(quán)重與識(shí)別率

由表2可看出，Gist特征與Dense-SIFT所占比重較大，通過結(jié)合三類特征各自的稀疏表示分類器的分類結(jié)果聯(lián)合決策，圖像識(shí)別的準(zhǔn)確率在五個(gè)不同圖集上有著不同程度的提升，通過調(diào)整獎(jiǎng)懲因子?的參數(shù)權(quán)重比，來觀測其對(duì)準(zhǔn)確率的影響。如圖5所示。

圖5 獎(jiǎng)懲因子變化所對(duì)應(yīng)分類準(zhǔn)確率

由圖5可以看出，獎(jiǎng)懲因子?的數(shù)值變化對(duì)準(zhǔn)確率也有著很大影響，通過實(shí)驗(yàn)可以證明在驗(yàn)證圖集的分類任務(wù)下，以因子?=5可讓整個(gè)聯(lián)合決策分類器效果達(dá)到最佳。

3.3 基于不同分類器的分類對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文算法相較單一決策分類器的準(zhǔn)確率有明顯差距，選取SVM、GSRC[15]、KNN、與本文方法在不同圖集上進(jìn)行驗(yàn)證比較，結(jié)果如表3所示。

表3 本文方法與其他分類器方法在不同圖集準(zhǔn)確率

%

由表3可看出，僅提取單特征產(chǎn)生的稀疏表示分類器進(jìn)行分類決策的實(shí)驗(yàn)與基于不同分類器在不同子集的實(shí)驗(yàn)作對(duì)比，傳統(tǒng)KNN分類器分類準(zhǔn)確率僅為0.23至0.25之間，本文方法相對(duì)SVM與GSRC分類器的分類效果與分類精度有著顯著的提升。從以上基于單特征下與不同分類器下的2組對(duì)比實(shí)驗(yàn)，可以發(fā)現(xiàn)，通過使用多稀疏表示分類的融合決策模型進(jìn)行圖像分類，相比單一特征的圖像分類方法表現(xiàn)出了更好的識(shí)別效果。

4 結(jié) 語

本文提出了一種多稀疏表示分類器融合的圖像分類方法，通過構(gòu)造3種特征所生成的稀疏表示分類器的融合決策模型，并自適應(yīng)調(diào)整每個(gè)稀疏表示分類之間的權(quán)重，最后通過線性加權(quán)的方式對(duì)圖像進(jìn)行分類。實(shí)驗(yàn)數(shù)據(jù)表明，本文方法較好地克服了單特征存在的特征局限性以及不同特征對(duì)不同樣本分類情況下的影響權(quán)重比不同的問題。在接下來的研究當(dāng)中，主要還會(huì)對(duì)選擇組成多稀疏表示分類器的特征這一方向從深度學(xué)習(xí)與字典學(xué)習(xí)等方向?qū)ふ覉D像分類更佳的解決方案。