朱 杰 ， 陳長偉， 楊萬扣， 唐振民

（1. 南京理工大學(xué)計算機科學(xué)技術(shù)學(xué)院，江蘇 南京 210094；2. 東南大學(xué)自動化學(xué)院，江蘇 南京 210096；3. 南京曉莊學(xué)院數(shù)學(xué)與信息技術(shù)學(xué)院，江蘇 南京 211171）

人臉識別是一種理想的，重要的，具有最小侵入性的生物識別技術(shù)，其在身份認證，安全驗證系統(tǒng)，罪犯查詢，海關(guān)，重要場所進出口等領(lǐng)域發(fā)揮著重要的作用。近年來，人臉識別方面的研究取得很大進展，受到學(xué)術(shù)界的廣泛關(guān)注。顏色是彩色圖像中的重要信息，隨著多媒體技術(shù)和圖像采集設(shè)備的發(fā)展，顏色信息在圖像處理中得到了廣泛應(yīng)用。幾十年來，人們對彩色信息的研究是通過分別處理每一個顏色空間來達到的，未能利用各彩色空間之間的相關(guān)性，本文對此提出了新的算法。

近年來，隨著小波理論的日趨成熟以及小波分析自身所具備的時頻局部分析特性，小波變換在數(shù)值計算和信號處理等諸多領(lǐng)域得到了廣泛而成功的應(yīng)用。而視覺心理和生理試驗表明：圖像的小波變換分解過程與人類視覺系統(tǒng)分層次理解的特點非常類似，因此小波變換在圖像壓縮，圖像去噪等領(lǐng)域獲得了良好的效果。常用的變換主要有離散余弦變換（DCT）、離散傅里葉變換（DFT）和離散小波變換（DWTs）等。小波變換因?qū)包c奇異”的一維信號能達到“最優(yōu)”的非線性逼近階，同時又對圖像具有很好的分頻效果而受到重視，它把圖像分成不同尺度的低頻和高頻圖像，并成功地用于人臉識別的降維和圖像的多分辨率特征表示[1-5]。Sellahewa和Jassim[6-7]已經(jīng)指出低分辨率近似子帶在控制的光照條件下是一種合適的人臉描述工具，但是極易受到光照變化的影響。另一方面，細節(jié)子帶在變化的光照條件下仍然很穩(wěn)健，但易受幾何形狀，如變化的人臉表情和人臉姿態(tài)的影響。Jassim和 Sellahewa[8]采用決策級融合的方法結(jié)合低分辨率和高分辨率的子帶進行人臉識別，雖然取得了一定的成果，但是對于參數(shù)的選擇仍然沒有具體的理論基礎(chǔ)。孫權(quán)森利用Daubechies正交小波變換進行手寫數(shù)字識別和人臉圖像識別也取得了較好的效果[9]。但是正交小波變換不具備移不變性，它雖然可以很好地檢測圖像邊緣上的間斷點，但是不能看到這些間斷點的連續(xù)性，另外小波變換只能抓住有限的方向信息，從而對具有更多方向性的幾何奇異特征表示不稀疏。所以，對于二維圖像，由于邊緣、輪廓和紋理等具有高維奇異性的幾何特征，包含了大部分信息，小波變換不能充分利用這些幾何特征，它不再是表示圖像的最優(yōu)或者說是“最稀疏”的基函數(shù)。為了克服小波變換的不足，M.N.Do和M.Vetterli在2002年提出了一種“真正”二維圖像表示方法：Contourlet變換[10]，該變換不僅具有小波變換的多分辨率和時頻局部性，而且提供了高水平的方向性和各向異性，從而可以有效地表示圖像的輪廓和紋理[11-13]，在圖像處理方面具有很強的優(yōu)勢。因此本文采用Contourlet變換得到不同分辨率下的圖像特征表示。

典型相關(guān)分析(Canonical Correlation Analysis,CCA)是分析兩組隨機變量之間相關(guān)性的一種統(tǒng)計分析方法，由Hotelling[14]于1936年首先提出。其目的是尋找兩組隨機變量各自的線性組合，使得線性組合后的兩個隨機變量的相關(guān)性達到最大[15]。近幾十年來，CCA在眾多領(lǐng)域得到了廣泛的應(yīng)用，諸如信號處理[16-17]，醫(yī)學(xué)研究[18]以及人臉識別[19-20]等領(lǐng)域。在圖像識別等應(yīng)用中，當(dāng)圖像樣本個數(shù)小于樣本維數(shù)時，CCA方法要面臨協(xié)方差矩陣奇異所導(dǎo)致的小樣本問題(Small Sample Size,SSS)。針對這個問題，我們采用PCA[21]統(tǒng)計方法將圖像的零空間先行丟棄，再使用CCA方法進行特征選取。孫權(quán)森等[9]將典型相關(guān)分析用于特征層的融合成功地解決了手寫圖像識別問題。我們采用CCA方法求取不同分辨率觀測空間的相關(guān)子空間，然后把觀測空間的向量分別投影到相關(guān)子空間，最終在相關(guān)子空間中進行特征融合和分類。

本方法應(yīng)用于彩色AR人臉數(shù)據(jù)庫來進行人臉識別實驗。結(jié)果表明，該方法不僅優(yōu)于單個分辨率圖像的識別結(jié)果，而且在時間效率方面也具有良好的性能。

1 多空間彩色人臉識別方法

1.1 Contourlet變換及特性

Contourlet變換是一種新的多分辨率，局域的，多方向的，“真正的”圖像稀疏表示方法，僅用少量系數(shù)就能有效地表示在圖像中體現(xiàn)重要特征的平滑輪廓。它是2002年Mich N.Do和Martin Vetterli在Curvelet變換的基礎(chǔ)上，結(jié)合方向濾波的思想提出來的。

Contourlet變換首先是在離散數(shù)字域中提出的，隨后才推廣到連續(xù)域中加以分析。它類似于小波基從濾波器組導(dǎo)出的方式，采用了不可分的濾波器組構(gòu)造離散域上多分辨率的，多方向的基函數(shù)。基的支撐區(qū)間是具有隨尺度變化長寬比變化的“長條形”結(jié)構(gòu)，類似于輪廓段，具有方向性和各向異性的尺度關(guān)系，能有效地表示圖像。Contourlet變換使用兩個濾波器組，其中前一個拉普拉斯塔形分解（Laplacian Pyramid，LP）濾波器組用來捕捉點奇異，每一層次拉普拉斯金字塔分解產(chǎn)生一個下采樣的低通部分和一個該圖像與預(yù)測圖像的差圖像。接下來的方向濾波器組DFB（Directional Filter Bank）用以將奇異點連結(jié)成線結(jié)構(gòu)，這種結(jié)構(gòu)使得Conoutlet具有較優(yōu)的非線性逼近性能，它可以很好的按方向分解圖像并具有很好的重構(gòu)性。因此Contourlet變換也稱為金字塔型方向濾波器組PDFB（Pyramidal Directional Filter Bank）。

Contourlet變換有效地表示了輪廓和紋理豐富的圖像。因為它是將金字塔分解和方向濾波器結(jié)合起來實現(xiàn)的。每一級Contourlet分解都會產(chǎn)生一個低頻分量和一系列的高頻子帶，然后在該尺度的低頻子帶中繼續(xù)分解，是一個不斷迭代處理的過程。單獨使用任何一部分都不能很好地描述圖像。金字塔分解不具有方向性，而方向濾波器對高頻部分能很好分解，對低頻部分不行，二者的結(jié)合恰好相互彌補不足，因此可以很好的描述圖像。Contourlet子帶系數(shù)的分布具有非線性相關(guān)性，它是基于多分辨率分析的算法，能夠較好地表示圖像信息。低頻系數(shù)反映圖像的輪廓信息，對應(yīng)圖像頻率的“慢變”部分，故系數(shù)間的相關(guān)性高；高頻系數(shù)反映圖像的細節(jié)信息，對應(yīng)圖像頻率的“快變”部分，故系數(shù)間的相關(guān)性低。我們采用低頻圖像和高頻圖像的平均和，提取其最大相關(guān)性，從而可以得到理想的基函數(shù)。

1.2 CCA相關(guān)分析

CCA的方法源于研究兩組隨機向量之間的相關(guān)性的問題，是利用綜合變量對之間的相關(guān)關(guān)系來反映兩組指標(biāo)之間的整體相關(guān)性的多元統(tǒng)計分析方法。其目的是尋找一組變量的線性組合與另一組變量的線性組合，使兩者之間的相關(guān)達到最大。假設(shè)兩類樣本，其中D表示樣本的維數(shù)，m，n分別表示X和Y的樣本數(shù)。要尋求一對線性變換wx，wy，使得：X在wx上的投影為Z1=Xwx，Y在wy上的投影為Z2=Ywy，并使得兩組向量投影后的相關(guān)性最大，即

其中，Cxx，Cyy分別表示數(shù)據(jù)X，Y的協(xié)方差矩陣；Cxy表示數(shù)據(jù)X和Y的協(xié)方差矩陣。

根據(jù)典型相關(guān)分析的思想，向量間的相關(guān)度達到最大，即滿足約束條件時，轉(zhuǎn)化為求的最優(yōu)化的求解問題。通過拉格朗日乘子法，于是以上方程的求解可轉(zhuǎn)化為解方程的廣義特征值和廣義特征向量

對上式進行廣義特征值分解，求得典型相關(guān)系數(shù)ρ和最佳典型投影向量 W =[w1,w2]。

1.3 本文方法

首先提取5個不同色彩空間（RGB,YCbCr,HSV,YIQ,YUV）的不同通道（如R,G,B三通道，H,S,V三通道，YUV三通道等）的信息，然后取每個空間的3個通道信息的平均和，如RGB三通道中RGB的平均信息和，YUV三通道YUV的平均信息和等。得到不同通道信息和之后，采用Contourlet小波變換，分別得到不同色彩空間的高頻和低頻信息，低頻信息直接得到，高頻信息用不同分辨率的高頻信息平均和得到。對得到的高低頻信息用PCA進行降維，然后對高頻信息和低頻信息進行CCA相關(guān)性分析，使得不同頻率信息得到最充分利用，求出投影系數(shù)，對數(shù)據(jù)進行投影變換后進行決策級融合的最近鄰分類，最后得到識別結(jié)果和運行時間，具體步驟如圖1所示。解，也使用分解后的低頻分量和高頻分量作為新的數(shù)據(jù)集進行實驗，如表1所示。為了計算方便，我們先采用PCA對數(shù)據(jù)進行降維，我們分別用維數(shù)10，20，30，到100共10個維數(shù)進行實驗。

圖1 本文方法流程圖

用cca對降維后的數(shù)據(jù)進行相關(guān)分析，得到投影變量，把測試數(shù)據(jù)經(jīng)過投影后，用決策級融合的最近鄰分析法進行識別，采用cos距離進行測量。

2 實驗與分析

2.1 彩色AR人臉數(shù)據(jù)庫簡介

為了驗證彩色圖像的Contourlet變換技術(shù)以及典型相關(guān)分析及決策級融合算法的可行性和優(yōu)越性，所采用的實驗基于彩色AR人臉數(shù)據(jù)庫。彩色AR人臉數(shù)據(jù)庫包含120人，每人26副圖像。圖像中人的臉部表情和姿態(tài)有著一定程度的變化，并存在戴著圍巾的圖片，在年齡，姿態(tài)，發(fā)型，光照和裝扮等方面都有不同程度的變化，因此在彩色AR圖像庫上進行的實驗具有一定的通用性。在進行實驗前，通過瞳孔，鼻子和嘴巴坐標(biāo)，對人臉圖像進行預(yù)處理。試驗中，為了方便計算，圖像大小歸一化為50*40。圖2給出了庫中的部分圖像。

圖2 彩色AR人臉數(shù)據(jù)庫

2.2 實驗結(jié)果及其分析

我們選擇了10幅圖片進行實驗，訓(xùn)練樣本數(shù)分別采用4，5，6，7，8；總的類別數(shù)為120。首先是采用不同的色彩空間對算法的影響實驗。I1空間為RGB空間，I2空間為YCbCr空間，I3空間為HSV空間，I4空間為YIQ空間，I5空間為YUV空間。對每個彩色空間進行contourlet分解，分別取 Contourlet分解后的低頻分量和高頻分量作為新的數(shù)據(jù)集；為了比較我們提出方法的有效性，我們同樣對每個彩色空間進行Daubiechies分

表1 不同色彩空間的cca算法（識別率訓(xùn)練數(shù)為6，括號中是識別率最大時的維數(shù)）

分析實驗結(jié)果可以發(fā)現(xiàn)，RGB，YCbCr和YUV 3個彩色空間進行CCA變換后再決策級進行融合得到的識別率最高；而HSV，YIQ和YUV 3個彩色空間進行 CCA變換后再決策級融合得到的識別率較差。在 YCbCr格式中，亮度信息用單個分量Y來表示，彩色信息用兩個色差分量Cb,Cr來表示。Cb分量是藍色分量和一個參考值的差，Cr分量是紅色分量和一個參考值的差。YUV模型中，Y表示亮度信號，U，V表示色差信號，UV構(gòu)成彩色的兩個分量，YUV的亮度信號Y和色度信號U，V是相互獨立的。因此RGB空間和 YCbCr及 YUV空間中的色彩信息相關(guān)聯(lián)，YCbCr和YUV中的亮度信息相關(guān)聯(lián)，三者相關(guān)性達到最大后識別效果也最好。對于 HSV顏色空間，V 分量（亮度）與彩色信息無關(guān)；H分量（色調(diào)）和S分量（飽和度）與人感受彩色的方式相關(guān)。YIQ模型，其中Y表示亮度，I，Q是兩個彩色分量，他們之間僅通過不同方式的亮度信息相關(guān)聯(lián)，因此識別效果較差。

為了得到更可靠的實驗結(jié)果，本文對不同的訓(xùn)練數(shù)目進行了大量的實驗，分別對于 4個，5個，6個，7個和8個訓(xùn)練數(shù)目做了實驗，每種結(jié)果取其最佳識別率。實驗結(jié)果如圖3所示。

圖3 10個不同的色彩空間在不同訓(xùn)練數(shù)下的識別率

Contourlet+CCA方法的識別率最高，SFPCA次之，Daubechies+CCA在訓(xùn)練數(shù)目較少的時候效果不好，隨著訓(xùn)練數(shù)目的提高，其識別率超過了SFPCA，但仍然低于Contourlet+CCA方法。這是由于訓(xùn)練數(shù)目增多，能更好地表示數(shù)據(jù)之間的相關(guān)關(guān)系，所以隨著訓(xùn)練數(shù)增多，Daubechies的效果得到了顯著提高，Contourlet+CCA同理。

最后，我們比較一下幾個實驗的運行時間（指從10維到 100維共10次運算后的平均時間），如表2所示?？梢钥闯?，本文提出的方法不僅識別能力明顯優(yōu)于其他算法之外，在運行效率方面也表現(xiàn)出優(yōu)越性。

表2 不同算法的運行效率（訓(xùn)練數(shù)為6）

3 結(jié) 論

本文提出一種基于 Contourlet分解和典型相關(guān)分析方法的彩色人臉識別算法。算法使用Contourlet變換對臉部信息進行了預(yù)處理，降低了數(shù)據(jù)量，提高了運行速度；接著使用典型相關(guān)分析的相關(guān)度最大方法使數(shù)據(jù)不同頻率的信息得到充分利用，找到了最合適的投影基。對彩色 AR人臉數(shù)據(jù)庫德識別實驗結(jié)果表明，本文方法優(yōu)于孫提出的Daubiches+CCA方法和傳統(tǒng)的PCA算法，改進的算法識別率最高可以達到99%的識別率，而且在運行時間效率方面也有很強的優(yōu)勢。

本文圖像的特征提取是基于二維圖像的一些二維的處理和變換，今后的工作中可以考慮多方位的二維圖像獲取三維特征，以提高對個體人臉表情，光照的魯棒性。在今后的試驗中將會在更多的庫中進行試驗，以提高系統(tǒng)的推廣性。

[1] Manjunath B S,Chellappa R,Malsburg C. A feature based approach to face recognition [C]//Proceedings CVPR ’92. 1992 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,1992:373-378.

[2] Lai Jianhuang,Yuen P C,Feng Guocan. Face recognition using holistic fourier invariant features [J].Pattern Recognition,2001,34(1): 95-109.

[3] Chien J T,Wu C C. Discriminate wavelet faces and nearest feature classifiers for face recognition [J].IEEE Trans. Pattern Anal. Mach. Intell.,2002,24(12):1644-1649.

[4] Sellahewa H,Jassim S. Wavelet-based face verification for constrained platforms [C]//Proc. SPIE Biometric Technol. Human Identification II,Mar,2005,5779:173-183.

[5] Ekenel H K,Sankur B. Multiresolution face recognition [J]. Image Vis. Comput.,2005,23(5):469-477.

[6] Sellahewa H. Wavelet-based automatic face recognition for constrained devices [D]. Ph.D.dissertation,Univ. Buckingham,Buckingham,U.K.2006.

[7] Sellahewa H,Jassim S A. Illumination and expression invariant face recognition: toward sample quality-based adaptive fusion [C]//Proc. 2nd IEEE Int.Conf. Biometrics,2008: 1-6.

[8] Jassim S A,Sellahewa H. Multi-stream face recognition on dedicated mobile devices for crime-fighting [C]//Proc. SPIE Opt. Photon.Counterterrorism Crime Fighting II Sep.,2006,(6402):1-10.

[9] Sun Quansen,Zeng Shenggen,Liu Yan,et al. A new method of feature fusion and its application in image recognition [J]. Pattern Recognition,2005,38:2437-2448.

[10] Do M N,Vetterli M. Contourlets [C]//Beyond Wavelets,J. Stoeckler and G.V. Welland,Eds.Academic Press,New York,2002: 1-27.

[11] Yu S J. Direct blind channel equalization via the programmable canonical correlation analysis [J].Signal Processing,2001,81: 1715-1724.

[12] Borga M. Canonical correlation：a tutorial [EB/OL].(2001).http:// www. imt. liu. Se / ～magnus/cca/2001.

[13] Borga M. Learning multi-dimensional signal processing [D]. Linkping University,Sweden,1998.

[14] Hotelling H. Relations between two sets of variants [J].Biometrika,1936,28: 321-377.

[15] Becker S. Mutual information maximization：models of cortical self organization [J]. Network:Computation in Neural Systems,1996,7(1): 7-31.

[16] Do M N,Vetterli M. Contourlets: a directional multiresolution image representation [C]//IEEE International Conference on Image Processing.Rochester,NY: IEEE,2002: 357-360.

[17] Do M N,Vetterli M. The contourlet transform: an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing,2005,14(12): 2091-2106.

[18] Do M N. Directional multiresolution image representations [D]. Ph.D. Thesis,Department of Communication Systems,Swiss Federal Institute of Technology Lausanne,2001.

[19] Melzer T,Reiter M,Bischof H. Appearance models based on kernel canonical correlation analysis [J].Pattern Recognition,2003,36: 1961-1971.

[20] Zheng Wenming,Zhou Xiaoyan,Zou Cairong,et al.Facial expression recognition using kernel canonical correlation analysis (KCCA) [J]. IEEE Trans on Neural Networks,2006,17(1): 233-238.

[21] Turk M,Pentland A. Eigenfaces for recognition [J]. J.Cognitive Neuroscience,1991,13(1): 71-86.

[22] Yu Xuelian,Wang Xuegang,Liu Benyong. Supervised kernel neighborhood preserving projection for radar target recognition [J]. Signal Processing,2008,88(9):2335-2339.

[23] Ye Guiyun,Liu Changzheng. Image compression based on fast lifting wavelet transform [J].Networking and Digital Society,2009,(1): 261- 264.