劉偉 侯向丹 顧軍華 董永峰 王元全

摘要 非負(fù)矩陣分解（NMF）是一種有效提取特征的方法，但算法中參數(shù)的隨機(jī)初始化使得迭代求解速度慢，且易陷入局部極小的問題。針對以上問題，提出了一種自適應(yīng)FCM-NMF的方法，該方法利用模糊C聚類方法（FCM）獲得相似性關(guān)系矩陣，能為NMF參數(shù)的初始化提供較好的初值，從而有效解決了上述問題。通過在兩個人臉庫的實(shí)驗(yàn)結(jié)果顯示，收斂速度明顯高于隨機(jī)賦初值的方法，識別率也有所提高。

關(guān) 鍵 詞 非負(fù)矩陣分解；模糊C均值聚類；相似性；自適應(yīng)；人臉識別

中圖分類號 TP391 文獻(xiàn)標(biāo)志碼 A

人臉識別過程可以分為人臉檢測、預(yù)處理、提取特征和人臉識別4個部分，其中提取特征是人臉識別的關(guān)鍵，受到了國內(nèi)外學(xué)者的廣泛關(guān)注。特征提取的方法[1]一般分為2類：基于全局特征的方法和基于局部特征的方法。全局特征是從整體上分析人臉的屬性，每一個特征向量包含整個人臉的信息，主要方法有主成分分析法（Principal Component Analysis，PCA）[2]、線性判別分析方法（Linear Discriminant Analysis，LDA）[3]等。局部特征充分考慮人臉的細(xì)節(jié)變化，主要方法有局部二值模式（Local Binary Patterns，LBP）[4]、非負(fù)矩陣分解（Non-negative matrix factorization，NMF）等。由于全局特征的方法對光照、姿態(tài)等外部條件比較敏感，而基于局部特征的方法更具魯棒性，能更好的分類，因此局部特征的方法應(yīng)用更廣。

NMF是一種有效的提取局部特征的方法，自1999年Lee和Seung[5-6]在Nature上提出以來已經(jīng)在諸如圖像處理、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺等諸多領(lǐng)域廣泛應(yīng)用。NMF使分解后的所有分量均為非負(fù)值，并且實(shí)現(xiàn)非線性的維數(shù)約減，其構(gòu)造依據(jù)是對整體的感知由對組成整體的部分感知構(gòu)成的，這也符合直觀的解釋：部分構(gòu)成整體。這種解釋符合實(shí)際的需要，如人臉是由眼睛、鼻子和嘴巴等器官組成的，因此這種算法在某種意義上描述了事物的本質(zhì)特征。此外，這種非負(fù)性的限制使得數(shù)據(jù)描述更加具有現(xiàn)實(shí)的意義，圖片的像素值或灰度值如果是負(fù)數(shù)就失去了意義，因此這種限制的描述使得對數(shù)據(jù)的解釋變得方便與合理。所以NMF逐漸成為各個領(lǐng)域中比較受歡迎的降維處理的研究方法。

為了進(jìn)一步提高NMF算法的識別率，大量的改進(jìn)算法被提出。Li等[7]在原有的非負(fù)矩陣分解算法的基礎(chǔ)上添加稀疏限制，提出了局部非負(fù)矩陣分解算法，使得其結(jié)果進(jìn)一步稀疏，從而進(jìn)一步提高了算法的識別率；Wang等[8]提出了基于Fisher限制的非負(fù)矩陣分解算法，從而將判別引入到NMF算法中；Cai等[9]提出了基于流形的非負(fù)矩陣分解算法，從而將流形思想引入到NMF中來。雖然這些改進(jìn)的算法對于識別率有一定程度的提高，但是這些改進(jìn)算法都是對NMF的目標(biāo)函數(shù)添加限制信息，而對于NMF算法的初始矩陣W、H都是隨機(jī)給定的，算法運(yùn)行后使得迭代求解速度慢且易陷入局部極小的問題。因此本文提出了一種基于自適應(yīng)模糊C均值聚類（fuzzy c-means clustering，F(xiàn)CM）的初始化方法，F(xiàn)CM方法得到的隸屬度表示樣本屬于某個類中心的程度，相似性矩陣代表樣本與類中心的相似程度，將兩者結(jié)合起來得到的最優(yōu)參數(shù)對應(yīng)的結(jié)果作為NMF的初始值，通過該參數(shù)的自主選擇能實(shí)現(xiàn)自動確定初始矩陣的維數(shù)，基本的NMF算法是以不同的維數(shù)進(jìn)行嘗試，經(jīng)過計(jì)算、比較之后再選擇合適的維數(shù)，本文提出的自適應(yīng)FCM-NMF算法提供有效的初值的同時能自動確定矩陣的最佳維數(shù)，通過在兩種人臉庫上的實(shí)驗(yàn)結(jié)果顯示，本文的方法能為NMF算法的參數(shù)提供有效的初值，方法行之有效。

1 自適應(yīng)FCM-NMF算法

本文以NMF算法為基本方法進(jìn)行特征提取，基于NMF算法的人臉識別流程圖如圖1所示。首先采集人臉庫，共14個對象，包含每個對象10張照片，其中涉及到姿態(tài)、表情均有變化的信息采集。將圖像進(jìn)行預(yù)處理來改善圖像的質(zhì)量，預(yù)處理操作包括大小裁剪為92×112、圖片的水平垂直分辨率均設(shè)為71以及位深度的設(shè)置為8等。然后將樣本分為訓(xùn)練樣本和測試樣本，隨機(jī)初始化矩陣W、H，將訓(xùn)練樣本的初始矩陣X輸入到NMF算法，經(jīng)過多次迭代得到基矩陣，測試樣本經(jīng)基矩陣變換成低維形式，然后與訓(xùn)練樣本的低維表示進(jìn)行比較，獲得測試樣本的所屬類別。NMF算法使得后期處理低維矩陣計(jì)算簡單，縮短運(yùn)算時間，起到較好的作用。但由于需要多次隨機(jī)取值，對不同的隨機(jī)初始值多次運(yùn)行NMF算法，然后從算法運(yùn)行的結(jié)果中選取一組最優(yōu)W和H作為矩陣分解的結(jié)果，每一次運(yùn)行分解算法都需要多次迭代才能達(dá)到收斂。因此在NMF算法的基礎(chǔ)上，本文提出一種基于自適應(yīng)FCM-NMF（Non-negative matrix factorization-fuzzy c-means clustering，F(xiàn)CM-NMF）的人臉識別方法，本文的算法流程圖如圖2所示。

本文提出的自適應(yīng)FCM-NMF的人臉識別算法主要步驟如下：首先，將樣本分為訓(xùn)練樣本和測試樣本，設(shè)置模糊C均值聚類（fuzzy c-means clustering，F(xiàn)CM）的參數(shù)C的范圍，利用FCM方法獲得訓(xùn)練樣本的隸屬度矩陣和聚類中心，計(jì)算各樣本與中心的夾角余弦值，獲得相似性關(guān)系矩陣，判斷參數(shù)是否收斂，如果沒有收斂，調(diào)整參數(shù)重復(fù)上面步驟；如果已經(jīng)收斂，通過比較相似性程度即可以獲得最優(yōu)的參數(shù)值及相應(yīng)的隸屬度矩陣和類中心，將最優(yōu)結(jié)果作為NMF參數(shù)的初值，然后進(jìn)行NMF算法降維，用降維后的低維形式訓(xùn)練分類器，本文采用最簡單的分類器最近鄰分類器，歐氏距離作為度量標(biāo)準(zhǔn)，獲得被測樣本的類別。由于W、H中蘊(yùn)含了輸入訓(xùn)練樣本的信息，從而有效的解決了NMF算法收斂速度慢和易于陷入局部極小的問題。通過在人臉庫上的實(shí)驗(yàn)結(jié)果顯示，收斂速度明顯高于隨機(jī)賦初值的方法，識別率也有所提高。下面將對算法中的幾個重點(diǎn)內(nèi)容進(jìn)行說明，包括：基本的NMF算法、FCM算法以及相似性關(guān)系矩陣的計(jì)算方法。

1.1 非負(fù)矩陣分解（NMF）

非負(fù)矩陣分解[10-13]（NMF）降維處理效果明顯，它的主要貢獻(xiàn)是高維空間的矩陣X經(jīng)過非負(fù)矩陣分解算法進(jìn)行降維處理，使X能被非負(fù)且低維空間的W和H的乘積W×H近似表示，即X≈W×H。其中W稱為基矩陣，H稱為因子矩陣或系數(shù)矩陣。這樣即可達(dá)到降低維數(shù)的效果，處理低維矩陣計(jì)算簡單，相比處理高維數(shù)據(jù)大大縮短的運(yùn)算時間，起到較好的作用。

為了求得W和H矩陣分解，本文應(yīng)用的是基于Kullback-Leibler商的誤差函數(shù)。因此，NMF的目標(biāo)函數(shù)可以描述為公式（1）

[minW，H≥0D（X||WH）=minW，H≥0i，j（XijlogXij（WH）ij-Xij+（WH）ij） 。] （1）

通過求得使得上式最小的W和H即可，得到的迭代公式（2）和（3）分別為

[Wij=Wij?uHju?Xiu（WH）iuvHjv]， （2）

[Hij=Hij?aWai?Xaj（WH）ajbWbi]。 （3）

NMF算法的非負(fù)約束使得得到的基矩陣W和系數(shù)矩陣H具有一定的稀疏性，而且加入非負(fù)的條件更加符合實(shí)際圖片對像素值的要求，是降維的有效方法。

1.2 模糊C均值聚類（FCM）

模糊C均值聚類[14-17]（fuzzy c-means clustering，F(xiàn)CM），是用隸屬度確定每個數(shù)據(jù)點(diǎn)屬于某個聚類的程度的一種聚類算法。FCM把n個向量xi（i=1，2，…，n）分為C個模糊組，并求每組的聚類中心，使得非相似性指標(biāo)的價(jià)值函數(shù)達(dá)到最小。用模糊劃分，使得每個給定數(shù)據(jù)點(diǎn)用值在0，1間的隸屬度來確定其屬于各個組的程度。隸屬矩陣U允許有取值在0，1間的元素。不過，加上歸一化規(guī)定，一個數(shù)據(jù)集的隸屬度的和總等于1。FCM的目標(biāo)函數(shù)就是所有各點(diǎn)隸屬度乘以該點(diǎn)與中心的歐氏距離之和，目標(biāo)函數(shù)公式如式（4），其中，m為加權(quán)指數(shù)[18]，一般設(shè)m=2，uik∈[0，1]，且任意的k=1，2，…，n。

[（min）Jm=i=1ck=1numikxk-vi2]， （4）

[i=1Cuik=1]。 （5）

通過使目標(biāo)函數(shù)最小得到迭代公式（6）和（7）。

其中，聚類中心：

[vi=j=1n（uij）mxjj=1n（uij）m，1≤i≤C]。 （6）

隸屬度：

[uij=k=1C（xj-vixj-vk）-2m-1，1≤i≤C，1≤j≤n]。 （7）

FCM算法是比較流行的聚類方法，原因主要是加入了模糊的概念，使得分類更具現(xiàn)實(shí)意義。隸屬度表示樣本屬于某個類中心的程度，其實(shí)可以理解為權(quán)值，因此隸屬度的和永遠(yuǎn)是1。

1.3 相似性關(guān)系矩陣

余弦相似度，是用向量空間中2個向量夾角的余弦值作為衡量2個個體間差異的大小的度量。如果2個向量的方向一致，即夾角接近零，那么這2個向量就相近。在本文中，即是應(yīng)用上面步驟1.2小節(jié)中得到的結(jié)果式（6）和式（7）來計(jì)算每個樣本與類中心的余弦相似度，采用兩者之間的夾角余弦值來表示對象間的差異度。余弦值越接近于1，表示兩個對象相似度越高。向量余弦計(jì)算公式（8）為

[cosθ=x→?y→xy]。 （8）

該公式應(yīng)用在本文中為

[cos（xj，vi）=xjvixjvi=k=1nxjk?vikk=1nxjk2k=1nvik2]。 （9）

由公式（9）可以得到樣本與各個類中心的相似程度，并且隸屬度矩陣也用來表示數(shù)據(jù)元素與類之間的相似程度。因此本文將兩個相似性度量矩陣結(jié)合，用于更加準(zhǔn)確的描述某個樣本與類之間的相似程度。

根據(jù)FCM算法C值的范圍，不斷循環(huán)FCM過程，會得到不同的聚類結(jié)果以及相似性度量矩陣，根據(jù)相似度關(guān)系實(shí)現(xiàn)自動選取FCM方法的最優(yōu)參數(shù)，獲得最優(yōu)參數(shù)對應(yīng)的隸屬度矩陣和類中心，然后將隸屬度矩陣的轉(zhuǎn)置和類中心分別賦值給NMF的初始矩陣W和H，初始矩陣含有訓(xùn)練樣本的信息，為NMF參數(shù)的初始化提供了較好的初值，然后應(yīng)用NMF算法獲得基矩陣，本文的算法對于提高識別率和加快收斂速度有明顯效果。

本文采用最簡單的分類器最近鄰分類器，歐氏距離作為度量標(biāo)準(zhǔn)，通過計(jì)算測試樣本的低維表示和訓(xùn)練樣本的低維表示之間的歐氏距離進(jìn)行分類，將距離最小的訓(xùn)練樣本所屬類作為測試樣本的的類別。最近鄰分類器理論簡單，易于理解，容易實(shí)現(xiàn)，常被用來進(jìn)行人臉分別。

2 實(shí)驗(yàn)與分析

為評價(jià)本文算法的有效性，我們在標(biāo)準(zhǔn)ORL人臉庫和實(shí)驗(yàn)室自己采集的人臉庫上分別采用NMF算法和本文提出的自適應(yīng)FCM-NMF算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)均在2.6 GHz CPU，4 GB內(nèi)存的個人計(jì)算機(jī)，Matlab2012a環(huán)境上實(shí)現(xiàn)。

2.1 識別率

2.1.1 ORL人臉庫的識別率實(shí)驗(yàn)

首先是在標(biāo)準(zhǔn)ORL人臉庫上實(shí)驗(yàn)，ORL人臉庫共有40個對象，每個對象10幅圖像，共400幅灰度圖像組成，圖像尺寸是92×112，背景為黑色。其中人臉部分表情和姿態(tài)均有變化。該庫是目前使用最廣泛的標(biāo)準(zhǔn)數(shù)據(jù)庫。ORL人臉庫的部分人臉樣本圖像如圖3所示。在ORL人臉庫上，比較了本文提出的算法與其他4種算法識別率的比較，分別是非負(fù)矩陣分解（NMF）、局部非負(fù)矩陣分解（Local non negative matrix factorization，LNMF）、基于Fisher限制的非負(fù)矩陣分解（Fisher non negative matrix factorization，F(xiàn)NMF）、基于圖形正則化的非負(fù)矩陣分解（Graph regularized non negative matrix factorization，GNMF），其實(shí)驗(yàn)結(jié)果如圖4所示。

由圖4可見，在ORL人臉庫上的實(shí)驗(yàn)表示本文提出的自適應(yīng)FCM-NMF算法的人臉識別算法的結(jié)果要優(yōu)于基本的NMF算法以及幾種改進(jìn)算法的結(jié)果。幾種NMF的改進(jìn)算法相比較基本的NMF算法在識別率上都有提高，但這些算法的初始矩陣都是隨機(jī)的，本文提出的自適應(yīng)FCM-NMF算法相比較前面幾種算法在識別率上也有一定程度的提高，在ORL人臉庫上的識別率最高達(dá)到了98.3%，其原因可能是本文算法在矩陣的初始化上有一定優(yōu)勢，由于初值中包含有樣本的信息，因此能為初始矩陣提供良好的初值，在迭代完成后能獲得效果更好的基矩陣和系數(shù)矩陣，進(jìn)而提高了識別率，使得實(shí)驗(yàn)結(jié)果優(yōu)于其他基于NMF改進(jìn)算法的識別結(jié)果。

2.1.2 采集人臉庫的識別率實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證本文算法，采集實(shí)驗(yàn)室人臉數(shù)據(jù)庫，圖片采集來源于手機(jī)拍攝，背景為白色，采集了實(shí)驗(yàn)室人員共計(jì)14個人的樣本信息，每個對象10張照片，涉及到人臉表情和姿態(tài)的變化，先對圖片進(jìn)行預(yù)處理再進(jìn)行實(shí)驗(yàn)。采集的人臉庫樣本圖片如圖5所示，應(yīng)用幾種算法取得的最高識別率結(jié)果如圖6所示。

在實(shí)驗(yàn)室采集的人臉庫上進(jìn)行的實(shí)驗(yàn)，進(jìn)一步表明本文提出的自適應(yīng)FCM-NMF算法相比較基本的NMF算法和其改進(jìn)算法在識別率上的優(yōu)勢，原因可能是該算法的初始化矩陣中包含有樣本的信息，在迭代完成后能獲得效果更好的基矩陣和系數(shù)矩陣，進(jìn)而提高了識別率。在實(shí)驗(yàn)室自己采集的人臉庫上最高能達(dá)到95.2%，達(dá)到了預(yù)期的目的，具有一定的優(yōu)勢，實(shí)用性較強(qiáng)。

2.2 收斂效果

NMF問題本身是非凸的，它的分解結(jié)果依賴于初始值，并且不是唯一的。初始值W和H的選取直接影響到分解算法的迭代結(jié)果。針對NMF算法中參數(shù)的隨機(jī)初始化使得迭代求解速度慢，且易陷入局部極小的缺點(diǎn)，本文提出的自適應(yīng)FCM-NMF的方法有效地解決了NMF參數(shù)初始化的問題，加快了收斂速度，在2個人臉庫上的實(shí)驗(yàn)結(jié)果圖分別如圖7、8所示。

NMF算法以及許多改進(jìn)的算法多采用參數(shù)隨機(jī)賦初值的方法，使得迭代求解速度偏慢。實(shí)驗(yàn)結(jié)果顯示，本文提出的自適應(yīng)FCM-NMF算法比原算法具有一個更小的初值，說明經(jīng)過本文方法的初始化處理后，目標(biāo)函數(shù)值更接近于收斂值。曲線在趨于平緩之前，自適應(yīng)FCM-NMF算法比原算法具有更快的下降速度，說明本文算法收斂速度比原算法要快，縮短了收斂時間，說明了自適應(yīng)FCM-NMF能為NMF參數(shù)的初始化能提供較好的初值，使得收斂速度加快，而且由圖可以看出本文算法可以使目標(biāo)函數(shù)較快的收斂到一個更小的目標(biāo)值。

3 結(jié)束語

本文考慮到NMF算法中參數(shù)的隨機(jī)初始化使得迭代求解速度慢，且易陷入局部極小的問題，提出了一種自適應(yīng)FCM-NMF的人臉識別方法，該方法首先對訓(xùn)練樣本矩陣應(yīng)用FCM的方法獲得隸屬度矩陣和類中心，然后計(jì)算每個樣本與類中心的夾角余弦關(guān)系，通過結(jié)合隸屬度矩陣和夾角余弦關(guān)系得到相似性度量矩陣，利用該方法為NMF參數(shù)的初始化提供較好的初值，從而有效的解決了迭代速度和局部極小的問題。經(jīng)過在人臉數(shù)據(jù)庫上的實(shí)驗(yàn)表明本文的算法在識別率和收斂速度都有一定程度的優(yōu)勢。

參考文獻(xiàn)：

[1] NAZMEEN B B，SUNILDUTH B. Fusion of local and global features for face recognition [C]// 2015 International Conference on Computing，Communication and Security （ICCCS）. Mauritius：IEEE Conference Publications ，2015：1-8.

[2] EYAD I A，MOHAMMED E S，KHALIDA S R. Face recognition rate using different classifier methods based on PCA[C]// 2017 International Conference on Current Research in Computer Science and Information Technology （ICCIT）. Lebanon：IEEE Conference Publications，2017：37-40.

[3] HUWEDI A S，SELEM H M. Face recognition using regularized linear discriminant analysis under occlusions and illumination variations[C]//2016 4th International Conference on Control Engineering & Information Technology （CEIT），Hammamet，Tunisia，2016：1-5.

[4] ZE L，XU D J，ALEX K. A novel LBP-based color descriptor for face recognition，2017[C]//2017 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）. Shanghai：IEEE Conference Publications，2017：1857-1861.

[5] LEE D D，SEBASTIAN S H. Learning the parts of objects by non negative matrix factorization[J]. Nature，1999，401（6755）：788-791.

[6] LEE D D，SEBASTIAN S H. Algorithms for non negative matrix factorization[C]// Neural Information Processing Systems. 2000：556-562.

[7] LI S，HOU X W，ZHANG H J，et al. Learning spatially localized parts-bases representation[C]// Computer Vision and Pattern Recognition. 2001：1063-6919.

[8] WANG Y，JIA Y D，HU C B，et al. Fisher Non-negative Matrix Factorization for learning local features[C]// In Proc Asian Conf On Comp Vision. 2004：27-30.

[9] CAI D，HE X F，WU X Y，et al. Non-negative matrix factorization on manifold[C]// IEEE International Conference on Data Mining. 2008：63-72.

[10] 劉昱昊. 基于基于非負(fù)矩陣分解算法的人臉識別技術(shù)的研究[D]. 吉林：吉林大學(xué). 2014.

[11] 楊宏偉. 基于非負(fù)矩陣分解的人臉識別研究[D]. 蘭州：西北師范大學(xué). 2015.

[12] LI B F，TANG Y D，HAN Z. Research on face recognition algorithm based on improved non negative matrix factorization[J]. Computer Simulation，2016，33（3）：428-432 .

[13] CHEN W S，ZHAN Y，PAN B，et al. Supervised kernel nonnegative matrix factorization for face recognition [J]. Neurocomputing，2016，205：165-181.

[14] BEZDEL J C. Pattern recognition with fuzzy objective function algorithms[M]. New York：Plenum，1981.

[15] WANG W N，ZHANG Y J，et al. 2006 6th World Congress on Intelligent Control and Automation：The Global Fuzzy c-means Clustering Algorithm，2006[C]// Dalian：IEEE Conference Publications，2006：3604-3607.

[16] ZARINBAL M，F(xiàn)AZEL Z M H，TURKSEN I B. Relative entropy fuzzy c-means clustering[J]. Information Sciences，2014，260：74-97.

[17] 鐘毅. 一種基于相關(guān)系數(shù)的模糊C均值聚類算法[J]. 軟件產(chǎn)業(yè)與工程，2016（6）：50-53.

[18] PAL N R，BEZDEK J C. On cluster validity for the fuzzy C-means model[J]. IEEE Transactions on Fuzzy Systems，1995，3（3）：370-379.

[責(zé)任編輯 田 豐]