顧高升，葛洪偉,2+，周夢璇

1.江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122

2.江南大學 輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122

基于廣義均值的魯棒典型相關(guān)分析算法*

顧高升1，葛洪偉1,2+，周夢璇1

1.江南大學 物聯(lián)網(wǎng)工程學院，江蘇 無錫 214122

2.江南大學 輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122

+Corresponding autho author:r:E-mail:ghw8601@163.com

GU Gaosheng,GE Hongwei,ZHOU Mengxuan.Robust canonical correlation analysis based on generalized mean.Journalof Frontiersof Computer Science and Technology,2017,11(7)：1140-1149.

廣義均值；均方誤差；典型相關(guān)分析；魯棒性；魯棒典型相關(guān)分析

1 引言

典型相關(guān)分析（canonical correlation analysis，CCA）[1]是一種研究同一對象兩組變量之間相關(guān)性的多元統(tǒng)計方法，可用于數(shù)據(jù)的特征抽取、降維和可視化。與單模態(tài)的主成分分析（principal component analysis，PCA）[2]不同，CCA更適用于多模態(tài)數(shù)據(jù)[3]的特征抽取與融合。CCA通過最大化不同模態(tài)間的相關(guān)性，消除數(shù)據(jù)間的冗余信息，提取重要特征，強化后續(xù)學習（如分類）任務的性能。近年來，CCA及其衍生模型成功應用于人臉識別、氣象分析、生物信息融合和社會科學等領(lǐng)域。但CCA本質(zhì)上是一種線性子空間的學習方法，其學習到的是一種全局線性情況下的線性特征。對于非線性的場景，CCA學習往往導致欠學習的結(jié)果。為此，Akaho[4]結(jié)合核技術(shù)提出了核CCA（kernel CCA，KCCA），克服了CCA在非線性情況下的不足。2000年，Roweis等人[5]提出了局部線性嵌入（local linear embedding，LLE）的非線性降維方法，流形學習（manifold learning，ML）從此得到深入的研究。Sun等人[6]引入流形學習中局部保持投影（locality preserving projection，LPP）[7]的思想，保留數(shù)據(jù)中的流形結(jié)構(gòu)信息，提出了一種局部保持的CCA（locality preserving CCA，LPCCA），大大拓展了CCA在非線性情況下的應用。盡管如此，CCA、KCCA和LPCCA都是基于歐氏距離的方法，從多元線性回歸分析的角度看，它們的目標優(yōu)化函數(shù)都是基于L2范數(shù)的最小均方誤差（mean square error，MSE），并且算法都未考慮樣本集中的野值點對目標優(yōu)化函數(shù)的影響。然而，在現(xiàn)實場景中，野值點普遍存在于觀測的數(shù)據(jù)集中。研究表明[8]，采用L2范數(shù)的MSE的歐式距離方法對于野值點都存在著非魯棒性。因此，文獻[9]利用核誘導距離替換基于L2范數(shù)的歐式距離，提出基于核誘導的CCA（CCA based on kernelinducedmeasure，KI-CCA）。KI-CCA用核誘導距離代替原始的歐式距離，減小了MSE中野值點的權(quán)重，達到抑制野值點的作用，增強算法的魯棒性。但與CCA、KCCA和LPCCA類似，KI-CCA最終轉(zhuǎn)化為廣義特征值求解，在高維小樣本[10-11]情況下，其樣本協(xié)方差矩陣極可能奇異，這對算法的魯棒性帶來影響。為克服高維小樣本問題，樣本一般要進行預處理，即利用PCA提取主要信息，降低維度，以達到樣本協(xié)方差矩陣可逆的目的，但PCA不能確保提取出充足的信息，因此PCA+CCA并不能保證算法的有效性。為了既解決高維小樣本問題，又能使算法給出完整的特征信息，文獻[10]提出了一種完備的CCA（complete CCA，C3A）。實驗結(jié)果[10]顯示，C3A能夠完整地保留CCA的相關(guān)信息和投影方向，提高算法的穩(wěn)定性。另外，An等人[11]的魯棒CCA（robustCCA，ROCCA）用可行的近似矩陣替換原來奇異的樣本協(xié)方差矩陣來解決高維小樣本問題，在身份識別實驗[11]中取得良好的效果。然而，C3A和ROCCA解決了高維小樣本導致樣本協(xié)方差矩陣奇異的問題，卻未考慮樣本中野值點對算法魯棒性的影響。

廣義均值（generalizedmean，GM）[12]是算術(shù)平均值的推廣形式。通過調(diào)節(jié)GM的p值可以表現(xiàn)出多種數(shù)據(jù)的中心。文獻[13]結(jié)合廣義均值提出了一種新穎的有偏鑒別分析（biased discrim inantanalysis usinggeneralized mean，BDAGM），增強正向樣本的作用，抑制野值點的干擾。人臉實驗證明[13]，GM增強了算法的魯棒性，算法性能得到了提升。

為克服CCA的非魯棒性，提高算法的性能，本文將GM引進CCA中，修改傳統(tǒng)CCA準則函數(shù)的MSE，提出一種新的具有魯棒性的CCA（CCA based on generalizedmean，GMCCA）。GMCCA具有如下的優(yōu)點：

（1）通過廣義均值抑制野值點對準則函數(shù)的影響；

（2）通過迭代求解的方法避免了高維小樣本問題導致樣本協(xié)方差矩陣奇異的問題，而且具有較快的收斂速度。

2 典型相關(guān)分析

其中，X=(x1,x2,…,xN),Y=(y1,y2,…,yN)；(·)T表示向量或者矩陣的轉(zhuǎn)置，下同。從多元線性回歸的角度分析，式（1）可以轉(zhuǎn)化為下面的極小值優(yōu)化問題[14]：

根據(jù)文獻[15]，CCA的求解一般可以轉(zhuǎn)化為對應的廣義特征值問題，如下所示：

令 Sxx=XXT,Syy=YYT,Sxy=XYT,Syx=YXT。式（3）可以表示成如下的兩個廣義特征值問題：

并且wx和wy具有如下的等式關(guān)系：

最后選取最大的前d個特征值所對應的特征向量組合成兩組投影集

3 廣義均值

假設 p≠0，對于一個標量數(shù)據(jù)集{ai＞0,i=1,2,…,N}的廣義均值MG[12]定義如下：

可以看出算術(shù)平均值、幾何平均值和調(diào)和平均值是廣義平均值分別取p=1,p→0,p=-1時的特例。而且數(shù)據(jù)集{ai}中的最大值和最小值分別在p→+∞和p→-∞時獲得?？梢宰⒁獾?，隨著 p增大（減?。?，數(shù)據(jù)集{ai}中的較小（較大）數(shù)對廣義均值MG的作用越大。由此，可以通過控制p值來調(diào)整數(shù)據(jù)集{ai}中各數(shù)對MG的影響。受此啟發(fā)，可以用廣義均值的這種特性來控制野值點對結(jié)果的影響。

進一步分析，文獻[14]指出，廣義均值MG中的可以由數(shù)據(jù)集{ai}的一組非負的線性組合表示：

bi可以看成ai的權(quán)重，即ai對GM的貢獻值。當p＜1時，隨著 ai越大，bi越小，意味著當 p＜1時，廣義均值MG受{ai}中較小值的影響較大，并且p越小，影響越大。廣義均值的這種性質(zhì)在GMCCA抑制野值點的影響中起到主要作用。

4 基于廣義均值的典型相關(guān)分析

對于一組已中心化的樣本集

相對于正向樣本，野值點的e(Wx,Wy)較大。因此，為得到魯棒性的效果，野值點e(Wx,Wy)對準則函數(shù)的影響應盡量小，而突出正向樣本的相關(guān)誤差所帶來的影響。從多元線性回歸的角度，根據(jù)廣義均值的思想，本文提出如下GMCCA的準則函數(shù)JG(Wx,Wy)：

根據(jù)式（6）中 p值的討論，當 p＜1時，可抑制野值點對JG(Wx,Wy)的影響。因此，本文只考慮 p＜1的情況。根據(jù)式（7），GMCCA的投影集Wx和Wy可通過如下的極小值優(yōu)化問題求得：

其中，|·|是絕對值函數(shù)，保證αi的非負性。由此可以看出GMCCA魯棒性的本質(zhì)：當 p＜1時，αi的值隨相對誤差增大而減小，因此對于投影空間中相關(guān)誤差較大的樣本點，即野值點，賦予了較小的權(quán)重，抑制野值點對準則函數(shù)的不良影響，增強算法的魯棒性。

絕對值函數(shù)導致式（9）不能通過普通的求導方法求解Wx和Wy。本文采用一種線性迭代方法求解式（9）。假設第t次迭代得到的Wx和Wy分別為和，首先固定可以通過如下的極小值問題求得：

對上式的具體求解如下：

從上述的分析來看，GMCCA不同于傳統(tǒng)的CCA，其求解的兩組特征投影集是分開獲得的，Wx和Wy并無CCA中的等式關(guān)系。Wx和Wy分別是樣本集X和Y的加權(quán)協(xié)方差最大的d個特征值對應的正交特征向量集。而且整個求解過程并不涉及對樣本集X和Y的協(xié)方差矩陣的求逆。因此，GMCCA避免了在傳統(tǒng)CCA中高維小樣本引起樣本協(xié)方差矩陣奇異的問題。

因為Wx和Wy的初始值會影響迭代的次數(shù)和結(jié)果，所以本文選取傳統(tǒng)CCA訓練出來的和初始化Wx和Wy。本文的實驗顯示，和初始化的Wx和Wy能使算法獲得良好的結(jié)果。GMCCA算法具體如下：

1.t=0,

2.Whilet＜T

3.根據(jù)式（10），迭代t1次求得穩(wěn)定的

4.根據(jù)式（11），迭代t2次求得穩(wěn)定的

5.t←t+1

6.End

5 實驗結(jié)果與分析

為驗證GMCCA的有效性，本文在多特征手寫體數(shù)據(jù)庫（multiple feature database，MFD，http://archive.ics.uci.edu/m l/datasets/Multiple+Features）、人臉數(shù)據(jù)庫（ORL，http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.htm l）和對象特征數(shù)據(jù)庫（COIL-20，http://www.cs.columbia.edu/CAVE/software/softlib/coil-20.php）3個真實數(shù)據(jù)集上進行實驗，并與PCA、CCA、ROCCA、C3A和KI-CCA進行對比。ROCCA通過構(gòu)建近似矩陣代替樣本協(xié)方差矩陣，消除高維小樣本問題，通過身份識別[13]的實驗驗證了ROCCA的有效性。C3A克服了PCA+CCA可能丟失信息的問題，提取出更加完備的典型相關(guān)特征。ROCCA用核誘導距離代替?zhèn)鹘y(tǒng)CCA的歐氏距離，提高了算法魯棒性。

在本文所有實驗中，GMCCA的p設置為0.1，t1、t2和T分別設置為10、10和20。PCA需要將兩組特征首尾相連以形成新的高維特征向量，然后用PCA進行特征提取，CCA、ROCCA、C3A、KI-CCA和GMCCA提取特征后通過串聯(lián)的方式，即將兩組降維后的特征首尾相連地串接在一起進行識別分析。分類器采用最近鄰分類器。本文采用測試樣本的分類識別率來評價算法的性能。識別率在0～100%之間，識別率越高，該算法較其他算法越優(yōu)秀；識別率越穩(wěn)定，該算法較其他算法性能越好。

5.1 多特征手寫體實驗

本實驗用多特征手寫體數(shù)據(jù)庫測試GMCCA的性能。該數(shù)據(jù)庫包含0～9共10個數(shù)字的6個特征數(shù)據(jù)集，每類200個樣本，共2 000個樣本。從二值化手寫體數(shù)字圖像中抽取6個特征，包括傅里葉系數(shù)、輪廓相關(guān)特征、Karhunen-Loève展開特征、像素平均、Zernike矩和形態(tài)學特征，其對應的特征名稱和維數(shù)分別為（fou，76）、（fac，216）、（kar，64）、（pix，240）、（zer，47）和（mor，6）。在此數(shù)據(jù)庫上，任選2組特征作為輸入，共有15種組合方式。對于每個特征組合，從每類中隨機選取100個樣本用于訓練，剩下的100個樣本用于測試。

表1所示為6種算法在不同特征組合上的10次隨機實驗的平均識別結(jié)果，每種算法中的最佳識別率用黑體表示，下同。此實驗中，訓練樣本每類都包含100個訓練樣本，說明樣本采集充足，樣本包含野值點的可能性也將增大。因此，GMCCA能比PCA、CCA、ROCCA和C3A提取出更加魯棒的特征，而KICCA的核誘導距離采用的是高斯核，對于15種特征組合并不一定都適應，且KI-CCA計算時采用了泰勒展開式近似，丟失了一部分信息，這些不足之處將會導致KI-CCA算法的不穩(wěn)定性。表1的結(jié)果驗證了上述的推論，在絕大多數(shù)的組合中GMCCA算法的平均識別率優(yōu)于其他算法，且明顯高于CCA的識別效果。此外，15種組合的平均識別率也高于其他算法。這些結(jié)果驗證了GMCCA的有效性。在fou-pix、kar-pix、mor-pix和mor-zer組合中，GMCCA的識別率略低于其他某一算法，雖然GMCCA的識別率仍高于CCA，但也表示GMCCA在一些特征組合中仍有不足之處。

Table1 Recognition ratesof6 algorithmson MFD database表1 6種算法在M FD數(shù)據(jù)庫上的識別結(jié)果

5.2 ORL人臉數(shù)據(jù)庫

為了進一步驗證GMCCA的有效性，本實驗選取人臉姿態(tài)變化較大的ORL數(shù)據(jù)庫，其包含40名志愿者的人臉圖像，每人10幅圖像，分別拍攝于不同時間和光照條件下，具有不同表情和面部細節(jié)，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達到20°，人臉的尺度也多達10°的變化。圖1顯示了該人臉數(shù)據(jù)庫中一個人的6幅圖像。

Fig.1 6 picturesofone person on ORL database圖1 ORL人臉數(shù)據(jù)庫中一個人的6幅圖像

實驗從每個人的10幅圖像中隨機選取4、5、6、7或8幅圖像用于訓練，其余用于測試；對每幅圖像抽取3組特征。其中，將原始圖像特征記為O；將原始圖像用局部二值模式（localbinary pattern，LBP）[16]提取后的特征記為L；將原始圖像用方向梯度直方圖（histogram of oriented gradient，HOG）[17]提取后的特征記為H。LBP和HOG特征及其組合特征在人臉識別問題上已被證明是有效的[18]。為盡量避免奇異性問題，用PCA將上述3種特征約減至100維。

表2所示為6種算法在3種特征組合上的10次隨機實驗的平均識別結(jié)果，“n”表示每類的訓練樣本數(shù)，下同。ORL數(shù)據(jù)庫每類只包含10個樣本，因此此數(shù)據(jù)庫上的實驗極易導致奇異性問題。而且從圖1中可以看出，每類中的面部旋轉(zhuǎn)尺度不大，圖像較為清晰，所帶來的噪聲信息較少，因此處理樣本協(xié)方差的奇異性的能力決定了算法的主要性能。從表2中可以看出，解決高維小樣本問題的ROCCA、C3A和GMCCA明顯比PCA、CCA和KI-CCA的識別率高。另外，GMCCA求解的是樣本的加權(quán)協(xié)方差矩陣，比ROCCA和C3A求解的近似協(xié)方差矩陣和組合協(xié)方差矩陣更能保留樣本視圖之間的相關(guān)性，即相關(guān)性越強，對應的相關(guān)誤差越小，權(quán)重越大。因此，GMCCA提取的特征更加具有魯棒性。表2的結(jié)果顯示，在絕大數(shù)的情況下，GMCCA的識別效果在3種不同組合下均優(yōu)于其他5種算法，并且比較所有組合的平均識別率，GMCCA也優(yōu)于其他5種算法。從表2中還可以看出，GMCCA的識別效果比傳統(tǒng)的CCA有較大提高，尤其當訓練樣本數(shù)較少時，如每類4個訓練樣本。這些結(jié)果表明GMCCA提取的特征更具有魯棒性，驗證了方法的有效性。表2中的結(jié)果也顯示，有4種情況，GMCCA的識別率略低于其他算法，但與最優(yōu)值十分接近。

Table2 Recognition ratesof 6 algorithmson ORL database表2 6種算法在ORL人臉數(shù)據(jù)庫上的識別結(jié)果

Fig.2 Recognition ratesof 5 canonical correlation algorithmsw ith changed dimensionson ORL database圖2 5種典型相關(guān)算法在ORL數(shù)據(jù)庫上隨維數(shù)變化的識別結(jié)果

再次選取ORL數(shù)據(jù)庫中每人的前4幅圖像進行訓練，剩余圖像用于測試。因為在表2中其他5種算法明顯優(yōu)于PCA，所以圖2顯示了5種典型相關(guān)算法在3種特征組合下隨維度變化的識別結(jié)果。正是由于GMCCA通過求解加權(quán)的樣本協(xié)方差矩陣，既避免了高維小樣本導致的樣本協(xié)方差矩陣奇異的問題，又能保持樣本視圖之間的相關(guān)性。從圖2可以看出，GMCCA優(yōu)于其他4種算法，尤其在維數(shù)較少的情況下，GMCCA的識別率明顯高于其他算法。從算法的穩(wěn)定性角度，GMCCA也比其他4種算法要好。實驗結(jié)果再次有效地驗證了GMCCA的魯棒性。

5.3 COIL-20對象數(shù)據(jù)庫

COIL-20數(shù)據(jù)庫包含了20個對象的1 440幅灰度圖像，分別對每個對象從0°～360°進行水平方向的旋轉(zhuǎn)，每5°采樣一幅圖像，每個對象共計采集72幅圖像。圖3顯示了數(shù)據(jù)庫中的20個對象，它們具有復雜的幾何特征。

Fig.3 20 objectpictures in COIL-20 database圖3 COIL-20中20個對象圖像

實驗中，從每個對象的72幅圖像中隨機選取10、20、30、40和50幅圖像，剩下的圖像用于測試。獨立進行10次隨機實驗，然后計算其平均識別率。實驗中對每幅圖像提取3組特征。本次實驗仍將原始圖像特征記為O；原始圖像用LBP提取后的特征記為L；將原始圖像用HOG提取后的特征記為H。執(zhí)行PCA將上述3種特征約減至50維。

表3顯示了6種算法在3種特征組合上的10次隨機實驗的平均識別結(jié)果。從表3的實驗結(jié)果可以看出，GMCCA明顯優(yōu)于傳統(tǒng)的CCA。因為GMCCA不僅考慮到奇異性，而且通過廣義均值抑制了野值點對準則函數(shù)的影響，提取出更加魯棒的特征，所以表3顯示在絕大部分情況下，GMCCA比ROCCA、C3A和KI-CCA效果好。而且在每類訓練樣本較少的情況下，如10、20時，GMCCA的識別率明顯優(yōu)于其他算法。注意到表3中，CCA和C3A的識別率相當，說明此數(shù)據(jù)集在PCA提取特征降維后，CCA能夠提取出完備的特征信息，而GMCCA的識別率優(yōu)于CCA和C3A，也說明GMCCA不僅提取出完備的特征信息，而且提取出的特征更加具有魯棒性。在表3中仍有兩種情況下，GMCCA的識別率比其他算法略低，但差異很小。并且從整體平均識別率來看，GMCCA優(yōu)于其他5種算法。這些實驗結(jié)果驗證了GMCCA的有效性和魯棒性。

再次選取COIL-20數(shù)據(jù)庫中每個對象的前25幅圖像進行訓練，剩余圖像用于測試，圖4顯示了5種算法在3種特征組合下隨維度變化的識別結(jié)果。從圖4中可以看出，GMCCA明顯優(yōu)于其他4種算法。GMCCA相比傳統(tǒng)的CCA，抑制了野值點的影響，識別率有了較大的提高。而且GMCCA基于廣義均值的MSE比KI-CCA基于核誘導的MSE更加具有魯棒性，識別率更高。從圖4中還可以看出，隨維數(shù)的增加，GMCCA的識別率比用于解決高維小樣本問題的ROCCA和C3A更高，更加穩(wěn)定，這是由于GMCCA既抑制了野值點的影響，又充分保留了樣本視圖之間的相關(guān)性。圖4的結(jié)果也進一步驗證了圖2中得出的GMCCA在維數(shù)較少時識別率比其他算法更高的結(jié)論。這些結(jié)果說明GMCCA提取的特征更加具有魯棒性。注意到，CCA和C3A的Dimension-Recognition Rate折線是重合的，驗證了表3中CCA和C3A的識別率相當?shù)慕Y(jié)論，說明CCA可以從數(shù)據(jù)集中提取出完備的特征信息。這也側(cè)面反映了在CCA能夠提取完備信息的同時，GMCCA能抑制野值點的影響，提取出更加魯棒的特征。上述的實驗結(jié)果進一步驗證了GMCCA的有效性和魯棒性。

Table3 Recognition ratesof6 algorithmson COIL-20 database表3 6種算法在COIL-20數(shù)據(jù)庫上的識別結(jié)果

5.4GMCCA的收斂性

GMCCA是通過線性迭代的方法獲得兩組穩(wěn)定的投影集Wx和Wy。為檢驗GMCCA的收斂性，本節(jié)以ORL人臉數(shù)據(jù)庫中的O-L特征組合為代表進行實驗。從每類樣本中選取4幅圖像用于訓練，其余的圖像用于測試，獨立進行100次實驗，取平均結(jié)果進行分析。本節(jié)定義兩個矩陣A∈?m×n和B∈?m×n之間的均方誤差MSE(A,B)：

那么，Wx和Wy迭代第t次與第t-1次的迭代均方誤差分別為：

圖5顯示了前100次迭代Wx和Wy的平均迭代均方誤差圖。從圖5（a）中可以看出，Wx的100次平均迭代均方誤差在前10次迭代中能夠很快地降低，并且在第10次迭代之后，迭代均方誤差穩(wěn)定在一個很小的值2.226×10-8左右，此時能夠認為Wx已經(jīng)收斂。從圖5（b）中可以看出，Wy的100次平均迭代均方誤差與Wx有類似的結(jié)果，迭代均方誤差在前10次迭代中能夠很快地降低，并且在第10次迭代之后，迭代均方誤差穩(wěn)定在一個很小的值1.483×10-9左右，此時能夠認為Wy已經(jīng)收斂。綜上所述，GMCCA是收斂的算法，且具有很快的收斂速度，即Wx和Wy能夠在10次迭代后即可認為已經(jīng)收斂。

Fig.4 Recognition ratesof5 canonical correlation algorithmsw ith changed dimensionson COIL-20 database圖4 5種典型相關(guān)算法在COIL-20數(shù)據(jù)庫上隨維數(shù)變化的識別結(jié)果

Fig.5 Average iterativeMSE ofGMCCAw ith changed iterationsunderO-L feature combination圖5 GMCCA在O-L特征組合下平均迭代M SE隨迭代次數(shù)的變化

圖6顯示了在100次獨立實驗下，GMCCA的平均識別率隨迭代次數(shù)變化的圖像。從圖6的結(jié)果中可以看出，GMCCA的識別率在前10次迭代中得到快速提高，在10次迭代之后，識別率趨于穩(wěn)定的結(jié)果87.92%。此實驗結(jié)果進一步佐證了圖5的實驗分析，驗證了上述GMCCA的Wx和Wy在10次迭代之后達到收斂要求，算法可以認為已經(jīng)收斂的結(jié)論。綜上所述，GMCCA是一種收斂的算法，并且具有較快的收斂速度，在10次迭代之后即可收斂，算法的識別率也隨著Wx和Wy的收斂趨于穩(wěn)定。上述的實驗結(jié)果也驗證了GMCCA的有效性。

6 結(jié)束語

本文在傳統(tǒng)CCA的基礎(chǔ)上基于廣義均值提出了魯棒典型相關(guān)分析GMCCA。從多元線性回歸分析的角度，GMCCA利用廣義均值修改了傳統(tǒng)的MSE，通過廣義均值調(diào)整野值點對準則函數(shù)的權(quán)重，克服了CCA對野值點非魯棒性的限制。并且GMCCA徹底解決了高維小樣本問題，提高了相關(guān)分析的性能。在MFD、ORL和COIL-20數(shù)據(jù)庫上的實驗結(jié)果也驗證了GMCCA的有效性。但實驗結(jié)果也顯示GMCCA仍有不足之處。下一步，將考慮把核技術(shù)引進GMCCA，解決非線性問題，提高算法的性能，并將GMCCA推廣至3個或更多視圖的學習中，實現(xiàn)多視圖下的非線性的魯棒信息融合。

[1]Hotelling H.Relationsbetween two setsof variates[J].Biometrika,1936,28(3/4):321-377.

[2]Jolliffe IT.Principal componentsanalysis[M].New York:Springer-Verlag,1986.

[3]Xu Yumeng,Wang Changdong,Lai Jianhuang.Weighted multi-view clusteringw ith feature selection[J].Pattern Recognition,2016,53:25-35.

[4]Akaho S.A kernelmethod for canonical correlation analysis[C]//Proceedings of the 2001 International Meeting of Psychometric Society,Osaka,Japan,Jul15-19,2001.

[5]Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding[J].Science,2000,290(5500):2323-2326.

[6]Sun Tingkai,Chen Songcan.Locality preserving CCA w ith applications to data visualization and pose estimation[J].Image Vision Computing,2007,25(5):531-543.

[7]He Xiaofei,Niyogi P.Locality preserving projections[C]//Advances in Neural Information Processing Systems 16,Vancouver,Canada,Dec 8-13,2003.Cambridge:M IT Press,2003:153-160.

[8]He Ran,Hu Baogang,ZhengWeishi,etal.Robustprincipal component analysis based onmaximum correntropy criterion[J].IEEE Transactions on Image Processing,2011,20(6):1485-1494.

[9]Ding Xin,Chen Xiaohong,Chen Songcan.Robust canonical correlation analysis based on kernel-induced measure[J].Journal of Frontiers of Computer Science and Technology,2012,6(8):708-716.

[10]Xing Xianglei,Wang Kejun,Yan Tao,etal.Complete canonical correlation analysis w ith application to multi-view gait recognition[J].Pattern Recognition,2016,50(C):107-117.

[11]An Le,Yang Songfan,Bhanu B.Person re-identification by robust canonical correlation analysis[J].IEEE Singal Processing Letters,2015,22(8):1103-1107.

[12]Bullen P.Handbook of means and their inequalities[M].Berlin:Springer,2003.

[13]Oh J,Kwak N,Lee M,et al.Generalized mean for feature extraction in one-class classification problems[J].Pattern Recognition,2013,46(12):3328-3340.

[14]Hoegaerts L,Suykens JA K,Vandewalle J.Subset based least squares subspace regression in RKHS[J].Neurocomputing,2005,63:293-323.

[15]Chen Songcan,Zhang Daoqiang.Robust image segmentation using FCM w ith spatial constraintsbased on new kernelinduced distance measure[J].IEEE Transactions on Systems,Man,and Cybernetics:Part B Cybernetics,2004,34(4):1907-1916.

[16]Ojala T,Pietikainen N,Harwood D.A comparative study of texturemeasures w ith classification based on featured distributions[J].Pattern Recognition,1996,29(1):51-59.

[17]Dalal N,Triggs B.Histograms of oriented gradients for human detection[C]//Proceedings of the 2005 Conference on Computer Vision and Pattern Recognition,San Diego,USA,Jun 20-26,2005.Piscataway,USA:IEEE,2005,1:886-893.

[18]Wan Yuan,LiHuanhuan,Wu Kefeng,etal.Fusionw ith layered featuresof LBPand HOG for face recognition[J].Journal of Computer-Aided Design&Computer Graphics,2015,27(4):640-650.

附中文參考文獻：

[9]丁鑫,陳曉紅,陳松燦.核誘導距離度量的魯棒典型相關(guān)分析[J].計算機科學與探索,2012,6(8):708-716.

[18]萬源,李歡歡,吳克風,等.LBP和HOG的分層特征融合的人臉識別[J].計算機輔助設計與圖形學學報,2015,27(4):640-650.

GU Gaosheng was born in 1992.He is an M.S.candidate at Jiangnan University.His research interests include pattern recognition andmachine learning.

顧高升（1992—），男，江蘇興化人，江南大學碩士研究生，主要研究領(lǐng)域為模式識別，機器學習。

葛洪偉（1967—），男，江蘇無錫人，1992年于南京航空航天大學計算機系獲得碩士學位，2008年于江南大學信息學院獲得博士學位，現(xiàn)為江南大學物聯(lián)網(wǎng)工程學院教授、博士生導師，主要研究領(lǐng)域為人工智能，模式識別，機器學習，圖像處理與分析。在國際權(quán)威期刊、會議和國內(nèi)核心期刊上發(fā)表論文70多篇，主持和承擔了國家自然科學基金等國家級項目和省部級項目近20項，獲省部級科技進步獎多項。

ZHOU Mengxuan was born in 1993.She is an M.S.candidate at Jiangnan University.Her research interests include pattern recognition and image processing.

周夢璇（1993—），女，江蘇寶應人，江南大學碩士研究生，主要研究領(lǐng)域為模式識別，圖像處理。

Robust CanonicalCorrelation Analysis Based on Generalized M ean*

GUGaosheng1,GEHongwei1,2+,ZHOUMengxuan1
1.Schoolof Internetof Things Engineering,Jiangnan University,Wuxi,Jiangsu 214122,China
2.Key Laboratory of Advanced Process Control for Light Industry(M inistry of Education),Jiangnan University,Wuxi,Jiangsu 214122,China

Canonical correlation analysis(CCA)is amultivariate statisticalanalysismethod which aims atsearching for the linear correlation between two sets of variables of same object.And the criterion function based on L2 norm ofm inimum mean square error used in CCA results in robustness problem.Generalizedmean has been proved to be robust in theory,and has

validation in some applications,such as clustering,object recognition.This paper develops a robust CCA based on generalized mean(GMCCA),which successfully overcomes the drawback that CCA is sensitive to outliers.Themethod notonly inhibits the influence of outliers to achieve robust results,butalso avoids the problem of singular covariancematrix in smallsize of samples.Experimentsonmultiple feature database(MFD),face database(ORL)and objectdatabase(COIL-20)demonstrate theeffectivenessofGMCCA.

generalizedmean;mean squareerror;canonical correlation analysis;robustness;robustcanonicalcorrelation analysis

wasborn in 1967.He received the M.S.degree in computer science from Nanjing University of Aeronautics and Astronautics in 1992,and the Ph.D.degree in control engineering from Jiangnan University in 2008.Now he is a professor and Ph.D.supervisor at School of Internetof Things Engineering,Jiangnan University.His research interests include artificial intelligence,pattern recognition,machine learning,image processing and analysis.

A

：TP391.41

*The Research Innovation Program for College Graduates of Jiangsu Province underGrantNo.KYLX15_1169(江蘇省普通高校研究生科研創(chuàng)新計劃項目);the Priority Academ ic Program Developmentof Jiangsu Higher Education Institutions(江蘇高校優(yōu)勢學科建設工程資助項目).

Received 2016-05,Accepted 2016-07.

CNKI網(wǎng)絡優(yōu)先出版:2016-07-14,http://www.cnki.net/kcms/detail/11.5602.TP.20160714.1616.008.htm l

摘 要：典型相關(guān)分析（canonical correlation analysis，CCA）是一種尋求同一對象的兩組變量之間最大相關(guān)性的多元統(tǒng)計方法，其基于L2范數(shù)的最小均方誤差（mean square error，MSE）的準則函數(shù)對于野值點非魯棒。廣義均值不僅在理論上被證明是魯棒的，而且在聚類和對象識別等應用中獲得了有效性驗證。將廣義均值應用于CCA，提出了一種基于廣義均值的魯棒CCA（CCA based on generalized mean，GMCCA），成功克服了CCA對野值點敏感的不足。一方面，通過抑制野值點對準則函數(shù)的影響，達到魯棒的效果。另一方面，GMCCA避免了高維小樣本導致協(xié)方差矩陣奇異的問題。在多特征手寫體數(shù)據(jù)庫（multiple feature database MFD）、人臉數(shù)據(jù)庫（ORL）和對象圖像數(shù)據(jù)庫（COIL-20）上的實驗結(jié)果驗證了該算法的有效性。