張 靜， 劉歡喜， 丁德銳， 肖建力

（1. 上海理工大學 光電信息與計算機工程學院，上海 200093； 2. 上海交通大學 科學技術發(fā)展研究院，上海 200240）

目前，指紋、人臉等單模態(tài)生物特征識別系統(tǒng)已經取得了突破性的進展，但由于其自身的局限性如傳感器噪聲、類內變化、非普遍性（如特殊人群生物特征的缺失、損傷）和易欺騙偽造，使得它們在實際應用中仍困難重重[1]。為了解決上述單模態(tài)生物特征識別系統(tǒng)的缺陷，多模態(tài)生物特征識別系統(tǒng)被提出。該系統(tǒng)融合來自同一對象的多種生物特征信息，被認為具有更高的準確性和更強的安全性[2]。目前，許多科研工作者對這方面的研究產生了濃厚的興趣。由于人臉和指紋是兩種最自然、最直觀的生物特征[3]，為此本文研究了二者特征融合的多模態(tài)識別算法。首先回顧了多模態(tài)信息融合和稀疏表示分類器的相關知識，給出了多模態(tài)識別系統(tǒng)的總體框架，然后對廣義典型相關分析（generalized canonical correlation analysis，GCCA）特征融合和魯棒概率協(xié)同表示分類器分類進行了詳細闡述，最后對提出的算法進行實驗驗證。實驗結果表明，所提出的方法具有較高的準確性和較強的魯棒性。

1 相關回顧

多模態(tài)生物特征識別的關鍵是不同信息之間的融合，主要包括傳感器層、特征層、匹配層、決策層4種融合方式[4]。其中，特征層融合包含信息最豐富，對提高系統(tǒng)的識別性能最有利。然而，由于不同特征融合時存在不兼容性[5]，使得多模態(tài)特征融合面臨挑戰(zhàn)。而且，多個特征向量進行融合時易出現(xiàn)“維數(shù)災難”，如傳統(tǒng)的串聯(lián)[6]和并聯(lián)[7]融合方法。文獻[8]討論了基于廣義典型相關分析的融合方法，利用相關性分析從兩組向量中抽取得到兩組隨機向量。抽取的向量之間具有最大相關性，而向量中的元素之間互不相關。融合這兩組向量形成一個新的特征向量，既達到了信息融合的目的，又消除了不同特征之間的冗余信息。除此之外，構建一個正確適合的分類器模型對提高系統(tǒng)的識別性能也至關重要。

稀疏表示分類器是近年來模式識別領域中較為流行的一種方法。Wright等[9]提出了基于稀疏表示的人臉識別模型，該算法的基本思想是通過建立l1范數(shù)最小優(yōu)化問題，尋求測試樣本在所有訓練樣本上最稀疏表示系數(shù)，這樣之后由每類訓練樣本和對應的表示系數(shù)進行樣本重構，計算測試樣本與每類重構樣本之間的殘差，從而對測試樣本進行分類。文獻[10]驗證了稀疏表示分類的有效性，不僅提高了系統(tǒng)的準確性，而且對于光照變化、遮擋以及像素腐蝕有一定的魯棒性。考慮到范數(shù)的計算復雜度問題，Zhang等[11]又進一步提出了基于范數(shù)最小優(yōu)化問題的協(xié)同表示分類算法。在此基礎上，研究者又提出了各種改進算法，譬如聯(lián)合稀疏表示分類[12]、判別式低階字典學習稀疏表示分類[13]等，并將這些方法成功應用于人臉識別和其他的視覺識別任務中。

基于以上分析，本文提出了基于廣義典型相關分析融合和改進協(xié)同表示的人臉指紋多模態(tài)生物特征識別。

2 多模態(tài)生物特征融合

本文提出了多模態(tài)生物特征融合方法的框架，如圖1所示，大致分為圖像預處理、特征提取、特征融合以及魯棒概率協(xié)同表示分類4個階段。

2.1 圖像預處理

圖像預處理在自動識別過程中起著重要的作用，其主要目的是濾除噪聲，消除冗余信息，提高識別系統(tǒng)的可靠性[14]。對于人臉圖像，預處理過程包括圖像增強、歸一化[15]；對于指紋圖像，預處理過程包括歸一化、濾波、感興趣區(qū)域[16]的提取。

2.2 特征提取

特征提取階段使用的是 LBP和Gabor特征提取算法。其中，LBP特征可以很好地描述圖像的局部紋理特征，并對灰度變化和旋轉變化不敏感[17]；Gabor特征在頻率域以及空間信息方面具有良好的特性，能夠很好地描述圖像的邊緣信息，而且對于光照變化具有很好的適應性[18]，因此提取融合這兩種特征可以增強識別系統(tǒng)的魯棒性。

圖1 多模態(tài)魯棒概率協(xié)同表示總體框架Fig.1 General framework of the multimodal recognition based on the robust probabilistic collaborative representation

假設人臉和指紋分別共有個樣本，為樣本類。首先將所有圖像分為互不重疊的均勻小塊，然后對第一塊采用LBP算子進行特征提取得到特征向量，并以同樣的方式計算其他塊的特征向量，最后將所有的特征向量串聯(lián)起來得到整幅圖像的LBP特征向量。類似地求圖像的Gabor特征。由于獲取的特征向量維數(shù)太高，需要主成分分析[19]進行降維，以提取向量中主要特征的信息，經處理后的人臉和指紋的所有訓練樣本構成LBP特征矩陣，分別用表示，Gabor特征分別用表示，測試樣本分別用

2.3 特征融合

在這部分，第一階段是基于GCCA的LBP，Gabor兩特征之間的融合。該方法首先對兩個特征集進行投影變換得到兩個具有一定相關性的低維特征集，然后采用加法融合策略進行特征集之間的融合。這有利于消除不同特征之間的冗余信息，增加融合特征的判別性[20]。圖2為基于GCCA的特征融合算法的流程圖。

融合的人臉特征矩陣為

融合的指紋特征矩陣為

圖2 基于GCCA的特征融合算法Fig.2 Feature fusion algorithm based on the generalized canonical correlation analysis

第二階段是基于特征組合的人臉、指紋兩模態(tài)之間的融合。該方法是將，作為對角元素融合到一個大的對角矩陣中，其目的是可以充分利用來自不同模態(tài)的內在結構信息。設是來自人臉和指紋測試樣本的兩個特征向量，則融合的人臉指紋特征表示為

式中： 是待識別樣本向量； 是訓練樣本矩陣，其中，分別稱為擴展的人臉、指紋特征矩陣。y A

3 多模態(tài)魯棒概率協(xié)同表示

魯棒概率協(xié)同表示是一種從概率角度進行個體識別分類的算法，由已知訓練樣本定義待識別測試樣本屬于每類樣本空間的概率。隨后，基于所有概率相乘建立優(yōu)化函數(shù)，求解概率表示中的參數(shù)?；谇蠼獾膮?shù)計算測試樣本屬于每類的概率，并將其分類到概率最大類。

3.1 魯棒概率協(xié)同表示模型

令為中 樣本組成的線性空間，則表示中第i 類樣本組成的子空間，令為樣本標簽集。協(xié)同子空間中一數(shù)據(jù)點，表示為中所有樣本線性組合的形式，即：， 其中稱為表示向量或系數(shù)向量。事實上，如果的范數(shù)越小，表明樣本越接近于空間的中心，從而越屬于這些樣本共同表示的類別；而如果的范數(shù)越大，表明樣本越靠近空間的邊界，從而越不屬于這些類。假設定義為概率協(xié)同空間，則不同的有不同的概這兒引入了高斯函數(shù)，即然而對于一個待識別樣本，它通常位于外。為了表示概率，采取的策略是首先在中找一點，然后計算概率和與屬于相同

式中，為常數(shù)。式中前兩項表示與中的一點具有相同類標簽的概率，后一項表示與任意子空間中一點有相同類標簽的概率，是在人臉、指紋的第i類子空間通過線性表示得到的數(shù)據(jù)點。

通過最大化式中的概率，可以求得一點。對于不同的i ，是不同的，這樣會使分類不穩(wěn)定并缺乏判別性。一個好的解決方案是聯(lián)合最大化所有類的概率以得到一個公共點。假設間是相互獨立的，則有

對式（5）取自然對數(shù)，去負號，等同于解下面的目標函數(shù)：

在實際分類問題中，圖像樣本經常會遭受部分腐蝕或遮擋，從而會降低分類器的準確性和魯棒性。眾所周知，用l1范數(shù)表征損失函數(shù)可以增加分類器的魯棒性，函數(shù)被重新定義為

一旦求得，則待識別樣本的類標簽與最大概率相關聯(lián)。根據(jù)式（4），很容(易計算屬于每)個類的概率。對于所有類，由于是相同的，因此在計算中可以省略，有

3.2 解系數(shù)向量

定義對角加權矩陣,其中對角元素為為的 第行 ，是的第個元素。式（7）可進一步被改寫為

利用迭代加權最小二乘法（iterative reweighed least square, IRLS），可以得到系數(shù)向量的閉式解，的更新由式（10）計算得到。

式中：為單位矩陣；中的初值為式（6）的解。求解過程中，交替更新和，直到達到收斂條件或最大迭代次數(shù)為止。對于迭代的整個過程，見文獻[9, 21]。整個多模態(tài)識別過程，如算法1所示。

算法1 基于魯棒概率協(xié)同表示的多模態(tài)識別

a. 人臉、指紋圖像預處理。

b. 特征提取。

4 實驗結果

4.1 實驗設計

為了比較單模態(tài)和多模態(tài)生物特征的識別性能，構建了包含人臉和指紋的多模態(tài)數(shù)據(jù)庫。

a. 人臉單模態(tài)識別。人臉樣本來自ORL和AR數(shù)據(jù)庫。ORL數(shù)據(jù)庫[22]由40個人的400張正面圖像組成，包括光照、表情和面部細節(jié)變化，所有的圖像均是灰度圖像，圖像大小為像素。AR數(shù)據(jù)庫[23]包含4 000多張彩色圖像，共126個人，每個人的多張圖像分別對應不同表情、遮擋和光照條件下的人臉。

b. 指紋單模態(tài)識別。指紋樣本來自FVC 2000數(shù)據(jù)庫[24]，該數(shù)據(jù)庫包含了4個圖像樣本集，實驗選用第一個，它是由光學傳感器捕獲的，圖像大小為像素。

c. 人臉和指紋多模態(tài)識別。構建了ORL_FVC 2000和AR_FVC2000兩個數(shù)據(jù)庫，數(shù)據(jù)庫ORL_FVC 2000是由ORL人臉數(shù)據(jù)庫和在FVC2000中隨機選擇的40個人的指紋圖像構成，其中每個人包含8張人臉圖像和8張指紋圖像。數(shù)據(jù)庫AR_FVC 2000是包含80個人的1 600張圖像，其中1/2來自AR數(shù)據(jù)庫中的人臉圖像，1/2來自FVC2000數(shù)據(jù)庫中的指紋圖像。

在實驗中，經過預處理的圖像為像素，對圖像分塊采用的方式，在分類器中，設置參數(shù)，。

4.2 性能比較

為測試多模態(tài)魯棒概率協(xié)同表示算法的性能，一方面比較了基于ORL_FVC2000數(shù)據(jù)庫的多模態(tài)和基于ORL人臉數(shù)據(jù)庫、FVC2000（40%）（由FVC2000中隨機選擇的40個對象的樣本組成）指紋數(shù)據(jù)庫的單模態(tài)識別率。另一方面，也比較了基于AR_FVC2000數(shù)據(jù)庫的多模態(tài)識別和基于AR人臉數(shù)據(jù)庫、FVC2000指紋數(shù)據(jù)庫的單模態(tài)識別率，此外還比較和分析了采用GCCA的融合方法與傳統(tǒng)的串行融合方法的多模態(tài)魯棒概率協(xié)同表示的準確性和魯棒性，實驗中通過改變每類訓練樣本的個數(shù)得到不同的識別率，實驗結果如表1、表2和圖3所示。

表1中，當N=5時，魯棒概率協(xié)同表示對于單一的人臉、指紋的識別率分別是99.17%，95.83%，而對于ORL_FVC2000多模態(tài)數(shù)據(jù)庫的識別是100.00%。表2中，魯棒概率協(xié)同表示在AR人臉數(shù)據(jù)庫上產生95.33%的識別率和在FVC2000指紋數(shù)據(jù)庫上產生91.33%的識別率，在AR_FVC2000數(shù)據(jù)庫上的識別率可以達到99.67%。圖3中，可以很容易地觀察到多模態(tài)數(shù)據(jù)庫的測試識別率明顯高于單模態(tài)。此外，表1、表2、圖3的實驗結果表明基于GCCA的LBP，Gabor特征融合明顯優(yōu)于基于串聯(lián)方法的特征融合。

表1 ORL_FVC2000中的單模態(tài)和多模態(tài)的性能比較Tab.1 Performance comparisons between the methods of unimode and multimode on ORL_FVC2000 database

表2 AR_FVC2000中的單模態(tài)和多模態(tài)的性能比較Tab.2 Performance comparisons between the methods of unimode and multimode on AR_FVC2000 database

圖3 基于特征融合的單模態(tài)和多模態(tài)性能比較Fig.3 Performance comparisons between the unimodal and multimodal biometrics

基于以上分析，實驗結果表明：a. 多模態(tài)生物特征識別由于包含更多的信息資源，相比單模態(tài)生物特征識別識別率要高，魯棒性要好。b. 針對兩種特征融合方法，基于GCCA融合方式相比傳統(tǒng)的融合方法對于提高識別率更有利，主要原因在于GCCA只關心兩個特征之間的相關特征，不考慮兩個特征之間的不相關特征。c. 提出的人臉指紋特征融合方法是成功的，融合的特征有助于分類器的識別分類。

4.3 遮擋和腐蝕測試

這部分實驗的主要目的是評估當人臉、指紋遮擋或是部分腐蝕的情況下魯棒概率協(xié)同表示的識別效果。在實際的操作過程中，人臉和指紋圖像不可避免地會遭受光照、腐蝕、遮擋以及其他變化的影響[25]，因此，提高在此條件下的識別率是一個值得研究的課題。實驗中，對合成的ORL_FVC2000和AR_FVC2000兩個數(shù)據(jù)庫進行像素腐蝕和塊遮擋。對于像素腐蝕，用0～255的隨機數(shù)替換圖像像素的一部分；對于遮擋，用不相關的圖像代替圖像中的一塊。本實驗與傳統(tǒng)的稀疏表示方法進行了比較，結果如表3和表4所示。通過本文實驗發(fā)現(xiàn)，在圖像受影響的情況下，魯棒概率協(xié)同表示方法的多模態(tài)識別率均比傳統(tǒng)方法的高。

表3 人臉指紋遮擋條件下的多模態(tài)識別率Tab.3 Multimodal recognition rate under the occlusion of face and fingerprint

表4 人臉指紋腐蝕條件下的多模態(tài)識別率Tab.4 Multimodal recognition rate under the random corruption of face and fingerprint

5 結 論

本文研究了一種基于特征層融合及魯棒概率協(xié)同表示的多模態(tài)生物特征識別方法。特征融合分為兩個階段，首先是基于GCCA的人臉多特征融合、指紋多特征融合，然后將融合的人臉特征和指紋特征融入到一個統(tǒng)一的框架中。其中，基于GCCA的特征融合方法不僅提取了主要特征信息，而且消除了冗余特征信息。魯棒概率協(xié)同表示是一種從概率的角度進行分類的分類器，與傳統(tǒng)的稀疏表示器相比，提出的方法不僅提高了識別率，而且對于腐蝕、遮擋等具有一定的魯棒性。在未來的研究中，可以從提取更具有判別性的特征（如深度特征），或是進一步提高分類模型在各種條件變化下的魯棒性等方面改進現(xiàn)有的方法。

參考文獻：

[1]張志堅. 多模態(tài)生物特征識別融合算法的研究[D]. 合肥：中國科學技術大學, 2008.

[2]CHEN Y R，YANG J C，WANG C，et al. Multimodal biometrics recognition based on local fusion visual features and variational Bayesian extreme learning machine[J].Expert Systems with Applications，2016，64： 93-103.

[3]王小雪, 楊會成. 融合指紋和人臉的生物特征身份認證方法[J]. 重慶理工大學學報： 自然科學版, 2013, 27(7)：67-70.

[4]FAUNDEZ-ZANUY M. Data fusion in biometrics[J].IEEE Aerospace and Electronic Systems Magazine, 2005,20(1)： 34-38.

[5]YANG J F, ZHANG X. Feature-level fusion of fingerprint and finger-vein for personal identification[J]. Pattern Recognition Letters, 2012, 33(5)： 623-628.

[6]LIU C J, WECHSLER H. A shape- and texture-based enhanced Fisher classifier for face recognition[J]. IEEE Transactions on Image Processing, 2001, 10(4)： 598-608.

[7]YANG J, YANG J Y. Generalized K-L transform based combined feature extraction[J]. Pattern Recognition, 2002,35(1)： 295-297.

[8]HUANG Z X, LIU Y X, LI C, et al. A robust face and ear based multimodal biometric system using sparse representation[J]. Pattern Recognition, 2013, 46(8)：2156-2168.

[9]WRIGHT J, YANG A Y, GANESH A, et al. Robust face recognition via sparse representation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2)：210-227.

[10]DONOHO D L,TSAIG Y. Fast solution of l1 norm minimization problems when the solution may be sparse[J].IEEE Transactions on Information Theory, 2008, 54(11)：4789-4812.

[11]ZHANG L, YANG M, FENG X C. Sparse representation or collaborative representation： which helps face recognition?[C]//Proceedings of 2011 IEEE International Conference on Computer Vision. Barcelona： IEEE, 2011：471-478.

[12]CHEN Y C, PATEL V M, SHEKHAR S, et al. Videobased face recognition via joint sparse representation[C]//Proceedings of the 2013 10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition. Shanghai： IEEE, 2013： 1-8.

[13]MA L, WANG C H, XIAO B H, et al. Sparse representation for face recognition based on discriminative low-rank dictionary learning[C]//Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition. RI：IEEE, 2012： 2586-2593.

[14]DHARAVATH K, TALUKDAR F A, LASKAR R H.Improving face recognition rate with image preprocessing[J]. Indian Journal of Science and Technology, 2014, 7(8)： 1170-1175.

[15]REISFELD D, YESHURUN Y. Preprocessing of face images： Detection of features and pose normalization[J].Computer Vision and Image Understanding, 1998, 71(3)：413-430.

[16]劉靈麗. 指紋圖像預處理與特征提取[D]. 長沙： 湖南大學, 2005.

[17]MENG J, GAO Y, WANG X K, et al. Face recognition based on local binary patterns with threshold[C]//Proceedings of 2010 IEEE International Conference on Granular Computing. San Jose：IEEE, 2010： 352-356.

[18]YANG M, ZHANG L. Gabor feature based sparse representation for face recognition with gabor occlusion dictionary[M]//DANIILIDIS K, MARAGOS P,PARAGIOS N.Computer Vision-ECCV 2010,Heidelberg：Springer,2010： 448-461.

[19]BRO R, SMILDE A K. Principal component analysis[J].Analytical Methods, 2014, 6(9)： 2812-2831.

[20]ABDI H, GUILLEMOT V, ESLAMI A, et al. Canonical correlation analysis[M]//ALHAJJ R, ROKNE J.Encyclopedia of Social Network Analysis and Mining,New York： Springer,2017： 1-16.

[21]CAI S J, ZHANG L, ZUO W M, et al. A probabilistic collaborative representation based approach for pattern classification[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas：IEEE,2016： 2950-2959.

[22]GUMUS E, KILIC N, SERTBAS A, et al. Evaluation of face recognition techniques using PCA, wavelets and SVM[J]. Expert Systems with Applications, 2010, 37(9)：6404-6408.

[23]SAGONAS C, ANTONAKOS E, TZIMIROPOULOS G,et al. 300 faces in-the-wild challenge： database and results[J]. Image and Vision Computing, 2016, 47： 3-18.

[24]CAPPELLI R, FERRARA M, MALTONI D. Fingerprint indexing based on minutia cylinder-code[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2011, 33(5)： 1051-1057.

[25]MANDAL B. Face recognition： perspectives from the real world[C]//Proceedings of 2016 14th International Conference on Control, Automation, Robotics and Vision.Phuket： IEEE, 2016： 1-5.