潘惠蘋(píng),任 艷,徐 春

(1.廣東工商職業(yè)技術(shù)大學(xué) 計(jì)算機(jī)學(xué)院,廣東 肇慶 526000;2.菲律賓克里斯汀大學(xué) 國(guó)際學(xué)院,菲律賓 馬尼拉 1004; 3.新疆財(cái)經(jīng)大學(xué) 信息管理學(xué)院,新疆 烏魯木齊 830012)

圖像識(shí)別由于受到環(huán)境和拍攝角度的影響,識(shí)別難度提升,特別是針對(duì)復(fù)雜環(huán)境的局部圖像識(shí)別,其復(fù)雜度更高。在進(jìn)行圖像識(shí)別之前,對(duì)圖像關(guān)鍵特征的有效提取非常重要[1],這是因?yàn)閳D像特征的維度一般較高,而高維數(shù)據(jù)的分類識(shí)別運(yùn)算復(fù)雜程度高,因此識(shí)別準(zhǔn)確率不高。

當(dāng)前,關(guān)于圖像識(shí)別的研究較多。白潔等[2]將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)用于小規(guī)模圖像樣本識(shí)別,經(jīng)過(guò)降維之后,CNN能夠獲得較高的圖像樣本識(shí)別準(zhǔn)確率;曾長(zhǎng)雄[3]對(duì)當(dāng)前常用圖像識(shí)別算法進(jìn)行了應(yīng)用場(chǎng)景及優(yōu)缺點(diǎn)分析,研究結(jié)果均指出高維圖像樣本存在識(shí)別準(zhǔn)確率低的問(wèn)題。為了解決這個(gè)問(wèn)題,蘇樹(shù)智等[4]提出采用圖強(qiáng)化典型相關(guān)分析對(duì)圖像樣本特征進(jìn)行更加全面的提取,結(jié)果表明可以更有效地獲取圖像數(shù)據(jù)的完整特征,有助于提高圖像識(shí)別準(zhǔn)確率。但是,這種對(duì)圖像特征進(jìn)行全面提取的方法必然增加識(shí)別運(yùn)算的復(fù)雜度,并降低了圖像識(shí)別效率,不利于流動(dòng)圖像的快速識(shí)別等需求。

核典型相關(guān)分析(Kernel canonical correlation analysis,KCCA)技術(shù)作為多維特征相關(guān)分析的重要方法,結(jié)合核技巧,可以將不同維度的圖像特征經(jīng)過(guò)相關(guān)分析,去除冗余圖像特征。這樣便降低了因圖像全面特征參與識(shí)別運(yùn)算導(dǎo)致的復(fù)雜度,為圖像識(shí)別算法提供有效的圖像特征。支持向量機(jī)(Support vector machine,SVM)是目前最常用的分類器,在高維空間劃分中表現(xiàn)出較好的性能,且分類效率高于CNN。

本文嘗試結(jié)合2種方法來(lái)實(shí)現(xiàn)更準(zhǔn)確的圖像識(shí)別。首先,采用KCCA技術(shù)用于圖像特征相關(guān)分析,提取有效的圖像樣本特征。然后,采用SVM判別器進(jìn)行圖像識(shí)別,充分利用SVM快速判別的優(yōu)勢(shì),同時(shí)為了保證圖像識(shí)別準(zhǔn)確率,采用KCCA技術(shù)進(jìn)行圖像特征預(yù)處理。

1 KCCA

1.1 典型相關(guān)分析

典型相關(guān)分析(Canonical correlation analysis,CCA)主要用于2個(gè)多維數(shù)據(jù)的相關(guān)性量化分析,設(shè)有X=[x1x2…xM],Y=[y1y2…yM]2個(gè)樣本,CCA主要策略是對(duì)式(1)和(2)進(jìn)行組合,獲取兩者間相關(guān)性最大值[5]。

(1)

(2)

式中:相關(guān)性最大值所對(duì)應(yīng)的系數(shù)為φ(x)和φ(y)。

設(shè)X和Y的協(xié)方差矩陣分別為Cxx和Cyy,互協(xié)方差矩陣為Cxy,則有[6]

(3)

式中

Cxx=cov(x,x)=E(x2)-(E(x))2

(4)

Cyy=cov(y,y)=E(y2)-(E(y))2

(5)

Cxy=cov(x,y)=E(xy)-E(x)E(y)

(6)

(7)

可以通過(guò)拉格朗日函數(shù)法求解式(7),獲得最佳φ(x)和φ(y)。

1.2 KCCA

在CCA基礎(chǔ)上引入核函數(shù),構(gòu)建KCCA方法,較好地解決了2種不同維數(shù)特征之間的相關(guān)分析問(wèn)題,主要結(jié)構(gòu)如圖1所示[7,8]。

圖1 KCCA結(jié)構(gòu)圖

設(shè)有映射函數(shù)φ(x)滿足K(x,y)=〈φ(x),φ(y)〉,則稱K(x)為核函數(shù),對(duì)歸0化的樣本X=[x1x2…xN],Y=[y1y2…yN]進(jìn)行φ函數(shù)映射,然后根據(jù)式(3)求解樣本X和Y的相關(guān)系數(shù),式(3)變?yōu)閇9]

(8)

(9)

2 SVM

設(shè)樣本集(xi,yi),i=1,2,…,n,可以被線性方程經(jīng)過(guò)非線性SVM映射得到[10]

yi(wTxi+b)-1≥0i=1,2,…,n

(10)

式中:wT為權(quán)重矩陣,b表示偏置。

(11)

式中:ai為拉格朗日系數(shù)。

分別對(duì)式(11)關(guān)于w和b求偏導(dǎo),得到[12]

(12)

求解Q(a)獲得最大值對(duì)應(yīng)的a*,則[13]

(13)

最優(yōu)SVM為

f(x)=sgn((w*)T+b)

(14)

對(duì)待識(shí)別的圖像樣本特征進(jìn)行核相關(guān)分析,選擇KCCA處理后的圖像樣本進(jìn)行SVM判別,求解圖像識(shí)別的超平面,其主要流程如圖2所示。

圖2 KCCA-SVM圖像識(shí)別流程圖

3 實(shí)例仿真

為了驗(yàn)證KCCA-SVM的圖像識(shí)別性能,進(jìn)行實(shí)例仿真。仿真對(duì)象為表1的加利福尼亞大學(xué)爾灣分校(University of California Irvine,UCI)機(jī)器學(xué)習(xí)數(shù)據(jù)集。首先,對(duì)不同參數(shù)條件下KCCA-SVM的圖像識(shí)別性能進(jìn)行了測(cè)試分析。其次,將KCCA-SVM與現(xiàn)有常用圖像識(shí)別算法進(jìn)行了性能對(duì)比。

表1 圖像樣本集表

3.1 不同核函數(shù)的圖像識(shí)別性能

在進(jìn)行KCCA時(shí),選擇合適的核函數(shù)對(duì)典型相關(guān)分析的圖像特征提取效果差異較大,而圖像特征直接影響了SVM圖像識(shí)別性能,因此本文選擇不同的核函數(shù)進(jìn)行典型相關(guān)分析,然后進(jìn)行SVM圖像識(shí)別。圖3顯示,4類圖像樣本集受不同的KCCA核函數(shù)的影響,其識(shí)別準(zhǔn)確率有較大差異,其中多項(xiàng)式核在4類圖像樣本上的KCCA-SVM識(shí)別準(zhǔn)確率最差,而高斯核在ORL和PIE集上的KCCA-SVM識(shí)別準(zhǔn)確率更高一些,Sigmoid核在Yale和AR集上的KCCA-SVM識(shí)別準(zhǔn)確率更優(yōu)。因此在選擇KCCA核函數(shù)時(shí),應(yīng)根據(jù)具體的樣本集來(lái)選擇合適的核函數(shù),本文對(duì)4類圖像集的識(shí)別仿真選擇對(duì)應(yīng)識(shí)別準(zhǔn)確率更高的核函數(shù)。

為進(jìn)一步驗(yàn)證不同核函數(shù)的KCCA-SVM圖像識(shí)別穩(wěn)定性,對(duì)其識(shí)別準(zhǔn)確率的RMSE值進(jìn)行仿真,統(tǒng)計(jì)結(jié)果如表2所示。

圖3 不同核函數(shù)的圖像識(shí)別準(zhǔn)確率圖

表2 不同核函數(shù)的KCCA-SVM識(shí)別準(zhǔn)確率表

從表2得,KCCA采用高斯核在ORL和PIE集上的識(shí)別準(zhǔn)確率RMSE值更低,而KCCA采用Sigmoid核在Yale和AR集上的識(shí)別準(zhǔn)確率RMSE值更優(yōu)。通過(guò)統(tǒng)計(jì)不同核函數(shù)在4類圖像樣本集上的RMSE值,再次印證高斯核在ORL和PIE集上的圖像識(shí)別準(zhǔn)確率和穩(wěn)定性更高,Sigmoid核在Yale和AR集上的識(shí)別準(zhǔn)確率和穩(wěn)定性方面表現(xiàn)更優(yōu)。

3.2 不同圖像維度的圖像識(shí)別性能

為了進(jìn)一步驗(yàn)證KCCA-SVM在圖像識(shí)別中的性能,選擇同一圖像的不同圖像維度進(jìn)行KCCA處理,接著進(jìn)行SVM判別,其不同維度的圖像識(shí)別準(zhǔn)確率如表3所示。

由表3得,圖像維數(shù)對(duì)圖像識(shí)別的準(zhǔn)確率影響明顯,在維數(shù)為10時(shí),圖像識(shí)別準(zhǔn)確率最低,而維數(shù)為20和25時(shí),識(shí)別準(zhǔn)確率較高,兩者值非常接近。當(dāng)維數(shù)較少時(shí),不足以包含圖像所包含的重要特征,造成識(shí)別準(zhǔn)確率低的情況,而當(dāng)維數(shù)增加到20后,繼續(xù)增加維數(shù),準(zhǔn)確率并未出現(xiàn)明顯提高。這主要是因?yàn)榫S數(shù)增加到20后,所選取的圖像特征已經(jīng)能較全面地包含圖像樣本內(nèi)容,即使再增加圖像特征,準(zhǔn)確率也不再大幅提升。下文繼續(xù)對(duì)不同維數(shù)的圖像識(shí)別穩(wěn)定性進(jìn)行仿真,統(tǒng)計(jì)結(jié)果如表4所示。

表3 不同維數(shù)的KCCA-SVM識(shí)別準(zhǔn)確率表

表4 不同維數(shù)的KCCA-SVM識(shí)別準(zhǔn)確率RMSE表

由表4得,維數(shù)增加,其對(duì)應(yīng)圖像識(shí)別準(zhǔn)確率RMSE值在降低,這說(shuō)明維數(shù)的增加對(duì)圖像識(shí)別的穩(wěn)定性有明顯的正向提升。維數(shù)從20增加至25,雖然識(shí)別準(zhǔn)確率不再明顯提升,但其RMSE值仍在下降,表明圖像特征的全面提取更有利于圖像識(shí)別的穩(wěn)定性提升。圖像維數(shù)提升能夠提高識(shí)別穩(wěn)定性,但也帶來(lái)了更大的識(shí)別運(yùn)算量,影響識(shí)別效率,所以在圖像識(shí)別的維數(shù)選擇時(shí),應(yīng)根據(jù)實(shí)際情況選擇。本文選擇4類數(shù)據(jù)集的維數(shù)為20,進(jìn)行KCCA-SVM識(shí)別運(yùn)算。

3.3 不同算法的圖像識(shí)別性能

分別采用SVM[14]、神經(jīng)網(wǎng)絡(luò)(Neural network,NN)[15]、CNN[16]算法和KCCA-SVM進(jìn)行圖像識(shí)別,其識(shí)別準(zhǔn)確率與維數(shù)關(guān)系如圖4所示。

圖4 4種算法的識(shí)別準(zhǔn)確率圖

綜合圖4得,在4類數(shù)據(jù)集的最高識(shí)別準(zhǔn)確率方面,KCCA-SVM算法最好,CNN次之,SVM算法最差。在維數(shù)的[0,10]階段,4種算法的識(shí)別準(zhǔn)確率先大幅提升,而后緩慢提升,對(duì)ORL和AR集,4種算法的識(shí)別準(zhǔn)確率均達(dá)到了穩(wěn)定。對(duì)Yale集,SVM算法從維數(shù)10開(kāi)始便出現(xiàn)了震蕩,保持識(shí)別準(zhǔn)確率在0.7左右震蕩,其他3種算法達(dá)到了穩(wěn)定值。對(duì)PIE集,SVM仍維持0.68左右的震蕩,本文KCCA-SVM算法也出現(xiàn)了微量震蕩,而NN和CNN算法分別出現(xiàn)了準(zhǔn)確率先升后降的問(wèn)題,前者在維數(shù)為24之后開(kāi)始下行,CNN算法在維數(shù)20后準(zhǔn)確率緩慢下降,這主要是因?yàn)榫S數(shù)增加,需要參與NN網(wǎng)絡(luò)計(jì)算的特征增加,網(wǎng)絡(luò)復(fù)雜度提升,造成識(shí)別準(zhǔn)確率下降。NN識(shí)別對(duì)圖像特征維數(shù)依賴性強(qiáng),對(duì)于高維圖像數(shù)據(jù)的NN類算法識(shí)別,圖像樣本最好先經(jīng)過(guò)降維處理后再訓(xùn)練。

橫向?qū)Ρ?KCCA-SVM算法在AR集上表現(xiàn)了更高的識(shí)別準(zhǔn)確率,達(dá)到了0.94,而在Yale集上識(shí)別準(zhǔn)確率最低。在維數(shù)為20左右時(shí),除了PIE集的準(zhǔn)確率有輕微震蕩,其他3種數(shù)據(jù)集均達(dá)到了穩(wěn)定值。

3.4 人臉圖像識(shí)別性能

此外,采用了人臉庫(kù)CAS-PEAL-R1對(duì)所提算法進(jìn)行了驗(yàn)證。中國(guó)科學(xué)院計(jì)算所的CAS-PEAL-R1數(shù)據(jù)庫(kù)示例如圖5所示。全部圖像的尺寸統(tǒng)一為32×32。

圖5 CAS-PEAL-R1示例圖

將本文提出的KCCA-SVM算法與SVM、CNN算法進(jìn)行了對(duì)比,識(shí)別準(zhǔn)確率以及消耗時(shí)間結(jié)果如表5所示。從表5中可以看出,相比其它3種算法,本文算法在5次重復(fù)的實(shí)驗(yàn)中均保持了較好時(shí)間效率,識(shí)別準(zhǔn)確率也有所提升。

表5 3種識(shí)別方法性能比較表

4 結(jié)束語(yǔ)

采用KCCA-SVM算法用于圖像識(shí)別,選擇合適的KCCA核函數(shù),本文算法在高維圖像樣本識(shí)別中能夠獲得較高的識(shí)別準(zhǔn)確率和穩(wěn)定性,相比于常用圖像識(shí)別算法,在常用公開(kāi)圖像樣本集中,KCCA-SVM識(shí)別算法能夠獲得更高的圖像識(shí)別準(zhǔn)確率。后續(xù)研究將從多核KCCA以及對(duì)支持向量機(jī)(Twin support vector machine,TWSVM)方面等著手進(jìn)行相關(guān)分析,結(jié)合SVM來(lái)提高圖像識(shí)別的穩(wěn)定性,降低因維數(shù)變化而帶來(lái)的準(zhǔn)確率震蕩影響。