趙劍華，王順芳，張飛龍

（云南大學 信息學院，云南 昆明650091）

0 引 言

基于核主成分分析 （KPCA）［1］的人臉識別方法能夠提取出人臉信息中PCA［2］（主成分分析）等線性分析方法不能夠提取但有利于人臉識別的高維非線性信息，表現(xiàn)出優(yōu)越的分類性能，是機器學習和模式識別領域的研究熱點?，F(xiàn)有的KPCA人臉識別方法大多是基于單核函數(shù)的研究，具有很大的局限性。鑒于不同的單核函數(shù)具有不同的特性并對應著不同的高維特征空間，擬合理組合幾個不同的單核函數(shù)形成新的組合核函數(shù)［3］，在一定意義上綜合各單核的優(yōu)點，提高識別的整體性能。具體將學習能力強的高斯核函數(shù)分別與泛化能力強的多項式核函數(shù)和線性核函數(shù)組合，形成新的核函數(shù)應用于KPCA人臉識別。通過序列實驗證明該組合核函數(shù)兼有良好的學習能力和泛化能力，識別效果和整體性能比基于單核函數(shù)的KPCA方法和PCA方法優(yōu)越。

1 基于KPCA的人臉識別方法

基于KPCA［1］的人臉識別方法是通過一個非線性映射，將訓練集的數(shù)據(jù)隱式的從一個低維的特征空間映射到一個高維的特征空間中，并且在新的高維特征空間構造了一個最優(yōu)分類面，從而解決線性不可分數(shù)據(jù)的提取和分析等問題。該方法是在一個相對較小的高維線性子空間中進行運算，避免了在整個高維空間中進行大量復雜、繁瑣的運算，它的維數(shù)最多等于樣本的數(shù)量；同時映射過程通過核函數(shù)來實現(xiàn)，不需要知道非線性映射的確切表達式。

設輸入訓練樣本數(shù)據(jù)Xk（k ＝1，2，……N）被映射為（Xk）。

即：Xk→（Xk），且變換后的數(shù)據(jù)已經(jīng)被中心化，即滿足。則變換后的訓練樣本（Xk）的總體散步矩陣C 為

求解特征方程

其中V 為特征向量。根據(jù)再生核理論［4］：特征向量V 一定位于由（X1）（X2）…（XN）組成的空間內(nèi)，即V 可以由（X1）（X2）…（XN）來表示即

其中α1、α2、…αN為常數(shù)。

定義一個N×N 且滿足Mercer條件的矩陣K［5］

K 稱為核矩陣，將式 （1）、式 （3）、式 （4）代入 （2）中得

這樣求式 （2）特征向量V 的問題就轉(zhuǎn)換為求解式 （5）的特征向量α。通過求解特征方程 （5）得到一組非零特征值λi以及對應的滿足歸一化條件：λi（αi，αi）＝1的特征向量αi（i＝1，2，…N′，N′≤N）。根據(jù)式 （3）得到特征空間上的投影主分量Vj（j＝1，2，…，N），設X 為一測試樣本，則其在Vj上的投影為

這樣就可以得出原始圖像經(jīng)過變換后的投影特征向量，在求解過程中始終不需要知道映射函數(shù)（X）的確切表達式，而只需要知道核函數(shù)K（x，y）＝（（x）T（y））的表達式即可。核變換并不能保證，因此要對變換后得到的核矩陣K 進行中心化

2 多核函數(shù)組合的分析方法

每一類核函數(shù)都有自身的特性，有自己的適用范圍，對應著不同的映射和高維特征空間，同時不同的核函數(shù)會產(chǎn)生不同的分類效果［6］。因而根據(jù)核函數(shù)對數(shù)據(jù)的作用范圍將核函數(shù)大體分為兩類：全局核函數(shù)和局部核函數(shù)［7］。目前常用的核函數(shù)有高斯核函數(shù)、多項式核函數(shù)、線性核函數(shù)、Sigmoid核函數(shù) （Sigmoid核函數(shù)的適用范圍比較小，它只在某些特殊核參數(shù)值的條件下才滿足Mercer條件［8］），像高斯核函數(shù)這個類型的徑向基核函數(shù)其徑向作用范圍是由核函數(shù)的寬度參數(shù)來控制的它只允許相近的數(shù)據(jù)點對核函數(shù)的值產(chǎn)生影響，插值能力很強，比較善于提取樣本的局部信息，具有很強的學習能力；而多項式這一類型的核函數(shù)卻允許相距較遠的數(shù)據(jù)點都可以對核函數(shù)的值產(chǎn)生影響，插值能力相對較弱，但比較善于提取樣本的全局特性，具有很強的泛化能力。

首先介紹幾個定理［9，10］：

定理1 K（θ，θ′）是Rl×Rl的核，若θ（X）是從XRn到Rl的映射，則K（X，Z）＝K（θ（X），θ（Z））是Rn×Rn上 的核。特別的，若n階矩陣B是半正定的，則K（x，z）＝xTBz是Rn×Rn的核。

定理2 設K1和K2是X×X 上的核，且XRn，則下面的函數(shù)均是核

根據(jù)定理1和定理2分析，構造形如

的函數(shù)組合依然還是核函數(shù)。所以，如果適當選擇具有不同性質(zhì)的單核函數(shù)，根據(jù)式 （6）將學習能力較強的局部核函數(shù)和泛化能力較強的全局核函數(shù)進行合理的組合，組合后的核函數(shù)將同時汲取局部核函數(shù)和全局核函數(shù)的優(yōu)點，使組合核函數(shù)整體的學習、泛化性能得到大大提升，將其應用于人臉識別方法的討論、研究就能保證在進行圖像特征提取時既能保留圖像的整體信息，又能突出不同圖像類別的局特征，其性能將優(yōu)于基于單核函數(shù)的KPCA 及PCA 方法。

基于多核函數(shù)組合的KPCA 人臉識別方法的基本步驟：

（1）輸入訓練圖像集Xk（k＝1，2，……，N）

（2）計算核矩陣：K

（3）求中心化核矩陣：K′

（4）計算K′的特征值λ和特征向量α。

（6）對計算所得的特征值進行降序排列。

（7）根據(jù)累積貢獻率提取前i個特征值及其對應的前i個特征向量，構成訓練圖像集的主成分方向。（前i個特征值的貢獻率一般占所有特征值總和的80%以上，或根據(jù)具體問題來定）。

（8）將訓練圖像集投影到第 （7）步求得的主成分方向上，提取出訓練圖像的特征臉集。

（9）輸入測試圖像并進行相應的核變換得到核矩陣，然后將該核矩陣投影到 （7）步求得的主成分方向上得到相應測試圖像的特征臉集，并將其與訓練圖像的特征臉集進行比較分類。

3 實驗及結果分析

本文分別采用ORL標準人臉庫［11］和YALE 人臉庫［12］進行實驗，其中ORL 標準人臉庫由40個人在不同的拍攝時間拍攝的有姿態(tài)、角度、尺度、表情和眼睛等變化的圖像，每個人的人臉由10幅112×92的圖像組成。實驗首先選取每個人的5張圖像作為訓練樣本，然后隨機選取其它5幅圖像作為測試樣本。

為了驗證本文方法的識別效果，將分別比較PCA、單核函數(shù)KPCA、多核函數(shù)組合KPCA 方法在兩個人臉數(shù)據(jù)庫中的識別效率。其中單核函數(shù)采用的是高斯核函數(shù)式（7）；而多核函數(shù)組合KPCA 使用式 （6）組合，且組合核函數(shù)為：

組合一：式 （7）和式 （8）（多項式核函數(shù)）組合，組合二：式 （7）和式 （9）（線性核函數(shù)）組合

核函數(shù)的參數(shù)變化會隱式地改變從輸入空間到特征空間的映射，進而對特征空間的性質(zhì)產(chǎn)生影響，最終改變各種核函數(shù)的性能，即核函數(shù)與非線性映射不是一一對應的，核函數(shù)參數(shù)一旦改變它所對應的非線性映射和高維特征空間就會發(fā)生改變。然而核函數(shù)參數(shù)的選擇還沒有比較好的固定取值方法。在實驗中用到的核函數(shù)涉及的參數(shù)比較多，本實驗通過先確定單核函數(shù)KPCA 的近似最優(yōu)參數(shù)，再將其作為一個參考值以選取組合核函數(shù)KPCA 中的參數(shù)。實驗結果如圖1和圖2所示。

圖1 ORL數(shù)據(jù)庫實驗結果

圖2 Yale人臉數(shù)據(jù)庫實驗結果

實驗結果中還發(fā)現(xiàn)組合核函數(shù)中的組合系數(shù)a，b 數(shù)值差別很大，說明高斯核函數(shù)和多項式核函數(shù)對組合核函數(shù)的貢獻有很大不同。主要原因在于人臉識別是一個比較復雜的過程既要考慮人臉的全局特征，但更主要的是考慮其局部特征，即學習出每個人臉區(qū)別于其他人臉的局部特征而不是共性特征，高斯核函數(shù)具有很強的局部學習能力，其在組合核函數(shù)中對局部信息的學習方面發(fā)揮著重要的作用，其權值也相對較大。但也不能忽略權重較小的單核函數(shù)的作用，組合后的核函數(shù)是一個有機的整體，每一個單核函數(shù)在組合核函數(shù)整體中都發(fā)揮著不可缺少的作用。一般而言，選擇合適的單核函數(shù)是構造新核函數(shù)的關鍵問題，充分考慮各單核函數(shù)的性能組合后的核函數(shù)才會更完整，更全面。

實驗還研究了兩個不同組合核函數(shù)的時間效率，在其它條件相同情況下，測試組合一和組合二在不同累積貢獻率下的運行時間，結果見表1和表2。

表1和表2的實驗結果表明在相同的條件下組合二運行花費的時間比組合一少，其時間效率要比組合一要高。原因是組合二的核函數(shù)所涉及的參數(shù)比組合一要少，其函數(shù)模型要比組合一的函數(shù)模型要簡單。這也從另一個方面證明了單核函數(shù)的選擇是構造新核函數(shù)的關鍵。核函數(shù)參數(shù)的數(shù)量會直接影響到函數(shù)模型的復雜程度，從而影響到算法的效率。

表1 ORL人臉數(shù)據(jù)庫實驗結果

表2 YALE人臉數(shù)據(jù)庫實驗結果

為了研究單個核函數(shù)與組合核函數(shù)參數(shù)間的關系，通過使用相同核參數(shù)取值 （σ2取值）的情況下實驗基于單核函數(shù)的KPCA 和基于組合核函數(shù)的KPCA 方法的識別率來分析單個核函數(shù)的參數(shù)取值和該對應的核參數(shù)在組合函數(shù)中的取值之間的關系，結果見表3。

表3 相同參數(shù)值下單核和組合核的識別率比較

表3表示綜合了核函數(shù)參數(shù)一般取值情況的條件下，核參數(shù)σ2取一些比較有代表性的參數(shù)值情況下單核函數(shù)K1（高斯核函數(shù)）和組合核函數(shù) （高斯核函數(shù) （K1）和線性核函數(shù)組合 （K2）組合）的識別率。由實驗結果所示同一個核參數(shù)在某一取值下使單核函數(shù)取得了很高的識別效果，但組合核函數(shù)產(chǎn)生的識別效果卻很低；而有的核參數(shù)值使得組合核函數(shù)取得很高的識別效果，但卻使得單核核函數(shù)發(fā)揮的性能一般。說明在實際應用中不能直接將單核函數(shù)的參數(shù)值直接應用到組合核函數(shù)中，兩者間對應參數(shù)的取值沒有必然的聯(lián)系。而且由實驗結果可以看出核函數(shù)對于參數(shù)的選擇非常敏感，核參數(shù)一點點的改變會使結果產(chǎn)生很大的改變。因此，組合核函數(shù)參數(shù)的選擇和確定也是基于組合核方法的機器學習和模式識別的核心，在進行單核函數(shù)組合時，單核函數(shù)參數(shù)的取值只能作為組合核函數(shù)參數(shù)選擇的一個參考值，不能直接將單核函數(shù)的參數(shù)值應用在組合核函數(shù)中。

4 結束語

由于每一個單核函數(shù)都有自己的特性和最佳的適用范圍，不能同時具備良好的全局性和局部性。因而，通過每個單核函數(shù)所提取的數(shù)據(jù)特征的側重面也不一樣，利用單核函數(shù)性質(zhì)間的互補特性，通過將多個具有不同特性的單核函數(shù)合理的組合起來分析問題，組合形成的核函數(shù)將兼?zhèn)涓鱾€單核函數(shù)的特性，并使其整體性能進一步提升，從而組合后的核函數(shù)能將問題中不同側面的特征都提取出來，達到了比單核函數(shù)分析問題更全面，更完整的效果。

［1］Hofmann T，Scholkopf B，Smola A J.Kernel methods in machine learning［J］.Annals of Statistics，2008，36 （3）：1171－1220.

［2］Zhuang J，Tsang I W，Hoi S C H.SimpleNPKL：Simple nonparametric kernel learning ［C］／／Proceedings of Interational Conference on Machine Learning，2009.

［3］Gonen M，Alpaydin E.Localized multiple kernel learning［C］／／Proceedings of International Conference on Machine Learning，2008：352－359.

［4］Hoi S C H，Jin R.Active kernel learning［C］／／Proceedings of International Conference on Machine Learning，2008：400－407.

［5］Ying Y，Campbell C，Girolami M.Analysis of SVM with indefinite kernels［C］／／Advances in Neural Information Processing Systems，2010.

［6］Li F，F(xiàn)u Y，Dai Y H，et al.Kernel learning by unconstrained optimization［C］／／Proceedings of International Conference on Artificial Intelligence and Statistics，2009.

［7］Sonnenburg S，Ratsch G，Schafer C.A general and efficient multiple kernel learning algorithm ［C］／／Advances in Neural Information Processing Systems，2006.

［8］Gonen M，Alpaydin E.Localized multiple kernel learning［C］／／Proceedings of International Conference on Machine Learning，2008：352－359.

［9］Sonnenburg S，Ratsch G，Schafer C，et al.Large scale multiple kernel learning ［J］.Journal of Machine Learning Research，2006 （7）：1531－1565.

［10］Varma M，Babu B R.More generality in efficient multiple kernel learning［C］／／Proceedings of Interational Conference on Machine Learning，2009.

［11］Xu Z，Jin R，King I，et al.An extended level method for effi－cient multiple kernel learning［C］／／Advances in Neural Information Processing Systems，2008：1825－1832.

［12］Vedaldi A，Gulshan V，Varma M，et al.Multiple kernels for object detection ［C］／／Proceedings of IEEE International Conference on Computer Vision，2009.