蔡雨虹，吳小俊

江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院，江蘇 無(wú)錫 214122

面對(duì)圖像特征中普遍存在的維數(shù)爆炸和信息冗余問(wèn)題，學(xué)習(xí)一個(gè)判別緊湊的數(shù)據(jù)表示在模式識(shí)別中是一個(gè)非常關(guān)鍵的問(wèn)題。已經(jīng)得到廣泛應(yīng)用的稀疏表示（sparse representation-based classification，SRC）[1]，其核心思想是樣本能夠被同類(lèi)樣本線性表示。通過(guò)應(yīng)用l1范數(shù)約束，將訓(xùn)練數(shù)據(jù)視為過(guò)完備字典，能夠有效地得到數(shù)據(jù)的稀疏系數(shù)來(lái)作為數(shù)據(jù)表示。除了基于表示學(xué)習(xí)的諸多方法[1-2]，各種基于投影的特征提取方法也能得到良好的數(shù)據(jù)表示。其中最知名的方法之一就是主成分分析（principal component analysis，PCA），該方法尋找一個(gè)能保持最主要特征的投影。另外局部保持投影（locality preserving projection，LPP）[3]和鄰域保留投影（neighborhood preserving embedding，NPE）[4]也是非常常用的方法。

上述提到的方法都屬于無(wú)監(jiān)督學(xué)習(xí)，而絕大多數(shù)情況下標(biāo)簽信息可以讓得到的數(shù)據(jù)表示更適合進(jìn)行分類(lèi)。在監(jiān)督學(xué)習(xí)中，最小二乘回歸（least square regression，LSR）是一個(gè)簡(jiǎn)單且有效的方法，其核心思想在于學(xué)習(xí)從原始數(shù)據(jù)到標(biāo)簽空間的線性投影，最終得到原始數(shù)據(jù)的回歸向量作為其在標(biāo)簽空間的數(shù)據(jù)表示。在模式識(shí)別領(lǐng)域出于LSR在計(jì)算量和解釋性上的優(yōu)勢(shì)，已經(jīng)提出許多基于LSR的方法。

原始的LSR 直接學(xué)習(xí)從數(shù)據(jù)到嚴(yán)格的0-1 標(biāo)簽矩陣的線性投影。Xiang等提出了以ε-拖動(dòng)為基礎(chǔ)的判別最小乘回歸（discriminative least squares regression，DLSR）[5]。其后，提出了很多基于DLSR的算法。分組重定向最小二乘回歸（groupwise retargeted least-squares regression，GReLSR）[6]約束同類(lèi)樣本回歸目標(biāo)在被拖動(dòng)的同時(shí)擁有類(lèi)似的偏移量。通過(guò)引入流形學(xué)習(xí)，正則化標(biāo)簽松弛（regularized label relaxation,RLR）[7]模型構(gòu)建基于流形的近鄰圖，與由ε-拖動(dòng)得到的松弛標(biāo)簽共同約束線性投影的學(xué)習(xí)，從而使得到的投影結(jié)果可以保持?jǐn)?shù)據(jù)的局部幾何關(guān)系。雙重松弛回歸（double relaxed regression，DRR）[8]中指出了單個(gè)回歸矩陣可能無(wú)法提供靈活的投影，提出使用兩個(gè)投影矩陣來(lái)完成圖正則項(xiàng)。

上述方法的共同點(diǎn)在于都是基于ε-拖動(dòng)技術(shù)，實(shí)際上ε-拖動(dòng)技術(shù)雖然可以增大不同類(lèi)別間的差異，但是也會(huì)對(duì)同類(lèi)別間的相似性造成破壞[9]。通過(guò)引入約束項(xiàng)，這種情況可能得到緩解。比如GReLSR中約束同類(lèi)擁有相同的偏移量，RLR 中引入流形約束使同類(lèi)樣本回歸目標(biāo)盡可能相似。但是GReLSR并未實(shí)質(zhì)上解決同類(lèi)邊距增大的問(wèn)題，而基于圖的方法則普遍使用固定的輸入圖，比如0-1加權(quán)以及熱核方法[7-8]，這導(dǎo)致此類(lèi)方法非常依賴(lài)于初始輸入圖的質(zhì)量。

對(duì)于這個(gè)問(wèn)題，實(shí)際上有許多基于子空間學(xué)習(xí)和字典學(xué)習(xí)的方法直接使用二元標(biāo)簽矩陣來(lái)學(xué)習(xí)分類(lèi)投影[10-11]。而這些方法實(shí)質(zhì)上是在進(jìn)行標(biāo)簽空間投影之前，對(duì)原始數(shù)據(jù)進(jìn)行初步編碼從而避免從高維數(shù)據(jù)到標(biāo)簽空間的直接投影，以達(dá)到增強(qiáng)整體的分類(lèi)效果的目的。Zhang 等人提出的局部約束的投影字典對(duì)學(xué)習(xí)（locality-constrained projective dictionary learning，LCPDL）[12]，學(xué)習(xí)塊對(duì)角表示的同時(shí)學(xué)習(xí)溝通表示系數(shù)與標(biāo)簽的魯棒判別分類(lèi)器。為了將投影學(xué)習(xí)與探索標(biāo)簽信息的任務(wù)結(jié)合，Meng 等人提出聯(lián)合優(yōu)化子空間學(xué)習(xí)和分類(lèi)問(wèn)題的約束判別投影學(xué)習(xí)（constrained discriminative projection learning，CDPL）[13]，其使用低秩約束學(xué)習(xí)魯棒的子空間以連接原始視覺(jué)特征和目標(biāo)輸出。

結(jié)合這一觀察，本文提出了類(lèi)內(nèi)低秩的子空間學(xué)習(xí)方法（intra-class low-rank subspace learning，ICLRSL）。ICLRSL 在原始數(shù)據(jù)空間和標(biāo)簽空間之間學(xué)習(xí)一個(gè)低秩的中間子空間，從而產(chǎn)生一個(gè)擁有高類(lèi)內(nèi)相關(guān)性的中間特征。因?yàn)樽罱K的回歸目標(biāo)是原始的二元標(biāo)簽矩陣，其同類(lèi)別間天然擁有高度的相關(guān)性，所以類(lèi)內(nèi)低秩的中間特征能夠作為數(shù)據(jù)與二元標(biāo)簽之間的聯(lián)系，使分類(lèi)效果得到改善。在數(shù)個(gè)公開(kāi)人臉數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果驗(yàn)證了該算法的有效性。

1 相關(guān)工作

1.1 最小二乘回歸

作為一種被廣泛使用的數(shù)學(xué)工具，最小二乘回歸從給定的一組來(lái)自c類(lèi)的訓(xùn)練樣本X∈Rm×n及其對(duì)應(yīng)的標(biāo)簽，學(xué)習(xí)從原始數(shù)據(jù)空間到標(biāo)簽空間的線性投影W∈Rc×m，其目標(biāo)函數(shù)被定義為：

其中，H∈Rc×n是從樣本標(biāo)簽得到的0-1 二元標(biāo)簽矩陣，其中1 的位置標(biāo)示了對(duì)應(yīng)樣本的類(lèi)別。為了避免直接擬合嚴(yán)格的0-1 標(biāo)簽矩陣并使其更符合分類(lèi)任務(wù)的要求，DLSR[5]引入ε-拖動(dòng)技術(shù)來(lái)完成對(duì)標(biāo)簽矩陣的松弛，其模型如下：

其中，⊙是哈達(dá)馬積運(yùn)算符，而M是一個(gè)非負(fù)的拖動(dòng)量矩陣。B是由1 和-1 構(gòu)成的常量矩陣，標(biāo)明了標(biāo)簽矩陣的拖動(dòng)方向，其被定義為：

從該定義可以看出，DLSR將不同類(lèi)別的回歸目標(biāo)沿著相反的方向移動(dòng)，從而使不同類(lèi)別回歸目標(biāo)邊距大于1。但是，這種對(duì)標(biāo)簽矩陣的拖動(dòng)也增大了同類(lèi)樣本回歸目標(biāo)之間的距離，即無(wú)法保證同類(lèi)回歸目標(biāo)的相似性。

1.2 子空間學(xué)習(xí)

基于LSR的子空間學(xué)習(xí)方法往往不考慮對(duì)標(biāo)簽的松弛，而是對(duì)原始樣本數(shù)據(jù)進(jìn)行進(jìn)一步的編碼。在對(duì)原始樣本數(shù)據(jù)編碼的過(guò)程中，將冗余或者噪聲剔除從而得到判別的子空間特征。與此同時(shí)此類(lèi)方法學(xué)習(xí)分類(lèi)器，來(lái)獲得從特征空間到標(biāo)簽空間的投影。

魯棒潛在子空間學(xué)習(xí)（robust latent subspace learning，RLSL）[11]從原始樣本中學(xué)習(xí)一個(gè)潛在子空間投影并且在此過(guò)程中分離出稀疏噪聲。在進(jìn)行潛在子空間學(xué)習(xí)的同時(shí)，學(xué)習(xí)從特征空間到標(biāo)簽空間的分類(lèi)器，其目標(biāo)函數(shù)被定義為：

其中，Q∈Rm×d為潛在子空間的投影矩陣，其將原始數(shù)據(jù)投影到潛在子空間，從而得到干凈的數(shù)據(jù)表示QTX。W∈Rc×d為分類(lèi)器，其將干凈特征QTX投影到標(biāo)簽空間。其潛在子空間可視為連接原始數(shù)據(jù)空間和標(biāo)簽空間的橋梁，因此在一定程度上提高對(duì)樣本的分類(lèi)能力。

類(lèi)似的，CDPL[13]中也嘗試學(xué)習(xí)子空間來(lái)溝通原始數(shù)據(jù)與標(biāo)簽信息，與RLSL相比，CDPL引入了額外的子空間約束來(lái)增強(qiáng)子空間的魯棒性：

其中，施加在Z∈Rn×n上的低秩約束使學(xué)習(xí)到的子空間同時(shí)關(guān)注全局結(jié)構(gòu)，而稀疏約束和局部性約束則將局部結(jié)構(gòu)也納入其中。但是，這些子空間學(xué)習(xí)方法都沒(méi)有關(guān)注作為回歸目標(biāo)的標(biāo)簽矩陣天然所擁有的結(jié)構(gòu)，從獲取判別子空間特征的角度，這種天然結(jié)構(gòu)性可能對(duì)整體的分類(lèi)效果有利。

2 類(lèi)內(nèi)低秩子空間學(xué)習(xí)算法

2.1 目標(biāo)函數(shù)

鑒于標(biāo)簽拖動(dòng)技術(shù)在增大異類(lèi)差異的同時(shí)也會(huì)增大同類(lèi)回歸目標(biāo)的差異，因此本文使用子空間學(xué)習(xí)的形式并進(jìn)一步提出類(lèi)內(nèi)低秩子空間學(xué)習(xí)算法。基于子空間學(xué)習(xí)的LSR可以視為在原始樣本空間和標(biāo)簽空間之間引入了一個(gè)中間子空間，這在一定程度上降低了單個(gè)轉(zhuǎn)換矩陣在投影上的壓力，其一般模型為：

值得注意的是，對(duì)于每一類(lèi)樣本都擁有相同的回歸目標(biāo)，比如對(duì)于第i類(lèi)都有回歸目標(biāo)[0,…,1,…,0]，其中第i個(gè)位置為1其余為0。這意味著在同一類(lèi)別當(dāng)中，由標(biāo)簽矩陣H給出的樣本回歸目標(biāo)之間具有很高的相關(guān)性，換句話說(shuō)，對(duì)應(yīng)的標(biāo)簽矩陣是低秩的。這是作為回歸目標(biāo)的標(biāo)簽矩陣自身所具備的一個(gè)很重要的屬性?；谶@一觀察，本文所提出的類(lèi)內(nèi)低秩子空間學(xué)習(xí)ICLRSL算法模型如下:

其中，Q和W分別是原始數(shù)據(jù)空間到中間特征子空間、特征子空間到標(biāo)簽子空間的變換矩陣，λ1、λ2和λ3為正則化參數(shù)。

模型（7）中加在子空間投影矩陣Q的約束||Q||2,1，有利于模型關(guān)注更重要的特征。在實(shí)際應(yīng)用中，由于原始樣本數(shù)據(jù)中往往包含大量冗余和噪聲信息，許多特征對(duì)于分類(lèi)是無(wú)益的，因此稀疏性能給特征提取帶來(lái)不錯(cuò)的收益。根據(jù)已有的工作[5,15]，l2,1范數(shù)良好的行稀疏特性能夠?yàn)樘卣鬟x擇提供更好的可解釋性。通過(guò)l2,1范數(shù)約束，模型（7）可以自適應(yīng)地將大投影權(quán)重分配給更重要的特征，即具備類(lèi)內(nèi)低秩性質(zhì)的特征。

2.2 算法優(yōu)化求解

本文使用增廣拉格朗日乘子法（alternating direction multipliers method,ADMM）[16]來(lái)解決式（7）的優(yōu)化問(wèn)題。為便于求解，定義R=WQT和A=QTX，則式（7）被改寫(xiě)為：

根據(jù)ADMM 算法，式（10）中變量可以被交替更新，即更新一個(gè)變量的時(shí)候固定其他變量。直到回歸條件滿(mǎn)足時(shí)迭代停止。每次更新變量時(shí)迭代過(guò)程如下：

更新變量R，此時(shí)固定其他變量，將其視為常量，則式（10）中與變量R相關(guān)的優(yōu)化問(wèn)題為：

更新變量W，其他變量可視為常量，則式（10）中與變量W相關(guān)的優(yōu)化問(wèn)題為：

同樣設(shè)置上式對(duì)W的偏導(dǎo)為0，可得到變量W的解析解為：

更新變量Q，其他變量可視為常量，因此式（10）與變量Q相關(guān)的優(yōu)化問(wèn)題為：

關(guān)于Q的優(yōu)化問(wèn)題是一個(gè)標(biāo)準(zhǔn)的l2,1范數(shù)最小化問(wèn)題[17]，通過(guò)設(shè)置式（15）目標(biāo)函數(shù)對(duì)Q的偏導(dǎo)為0，可以得到：

上式可通過(guò)奇異值軟閾值算子[18]對(duì)變量Ai進(jìn)行更新。

更新拉格朗日乘子T1、T2和參數(shù)μ如下：

優(yōu)化算法的詳細(xì)流程如下：

算法1用ADMM求解ICLRSL算法優(yōu)化問(wèn)題

通過(guò)優(yōu)化算法得到轉(zhuǎn)換矩陣R后，可直接利用R來(lái)分別得到訓(xùn)練樣本和測(cè)試樣本在標(biāo)簽空間的投影。給定測(cè)試樣本y，可得到對(duì)應(yīng)的回歸向量為Ry。隨后，結(jié)合訓(xùn)練樣本的投影RX，本文應(yīng)用最近鄰（nearest neighbor，NN）分類(lèi)器來(lái)完成對(duì)測(cè)試樣本標(biāo)簽的預(yù)測(cè):

3 實(shí)驗(yàn)及分析

為了驗(yàn)證所提出算法的有效性，本文分別在AR[19]、Extended Yale B[20-21]、CMU PIE[22]、FRGC[23]四個(gè)公開(kāi)人臉數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)中本文將所提出的算法與DLSR[5]、ReLSR（retargeted least-squares regression）[24]、GReLSR[6]、RLR[7]、DRR[8]、RLSL[11]、標(biāo)簽一致KSVD（label consistent KSVD，LC-KSVD）[25]、LCPDL[12]和CDPL[13]進(jìn)行對(duì)比，其中DLSR、ReLSR、GReLSR、RLR 和DRR 是基于標(biāo)簽松弛技術(shù)的方法，RLR和DRR采用了熱核方法的加權(quán)圖進(jìn)行約束。而在RLSL、LC-KSVD 和LCPDL 三個(gè)方法中使用的是原始二元標(biāo)簽矩陣。

實(shí)驗(yàn)中所有樣本數(shù)據(jù)均被歸一化到[0,1]。對(duì)于實(shí)驗(yàn)中涉及參數(shù)選擇問(wèn)題，所有方法均使用交叉驗(yàn)證確定最佳數(shù)值組合。實(shí)驗(yàn)中訓(xùn)練樣本和測(cè)試樣本的劃分，除了FRGC 數(shù)據(jù)集，均采用隨機(jī)從每類(lèi)選取數(shù)個(gè)樣本作為訓(xùn)練樣本其余作為測(cè)試樣本的方式。對(duì)于FRGC數(shù)據(jù)集，直接使用劃定的訓(xùn)練集和測(cè)試集來(lái)進(jìn)行實(shí)驗(yàn)。每個(gè)參與比較的方法都重復(fù)10次取平均值作為最終結(jié)果。本文所提出方法的MATLAB代碼可以從https://github.com/cymir/ICLRSL下載。

本文實(shí)驗(yàn)均在CPU為Intel core i5-4460@3.20 GHz，內(nèi)存為12.0 GB，操作系統(tǒng)為Windows 7 64 bit，Matlab版本為Matlab R2015a環(huán)境下進(jìn)行。

3.1 人臉數(shù)據(jù)集實(shí)驗(yàn)結(jié)果及分析

（1）AR 數(shù)據(jù)集[19]。原始的AR 數(shù)據(jù)集包含4 000多張彩色圖像，分別對(duì)應(yīng)126 個(gè)人的面部（70 位男性和56 位女性），并且包含不同的表情、光照條件和遮擋物（墨鏡和圍巾）。在本文實(shí)驗(yàn)中，選取了由50 位女性和50 位男性受試者的2 600 張圖像組成的子集。AR 數(shù)據(jù)集部分示例圖像如圖1（a）所示。對(duì)于每個(gè)圖像，使用隨機(jī)投影方法進(jìn)行降維，最后得到的特征維數(shù)為540維。對(duì)于這個(gè)數(shù)據(jù)集，每類(lèi)隨機(jī)選取了4、6、8、10 個(gè)樣本作為訓(xùn)練樣本，剩余樣本則作為測(cè)試樣本。本文比較了所提出的方法以及上述提到的算法在此數(shù)據(jù)集上的識(shí)別率，最后得到的實(shí)驗(yàn)結(jié)果如表1所示。

表1 各算法在AR數(shù)據(jù)集上的識(shí)別率Table 1 Classification accuracy of different algorithms on AR dataset 單位：%

圖1 4個(gè)數(shù)據(jù)集部分樣本示例Fig.1 Some samples in 4 datasets

（2）Extended Yale B 數(shù)據(jù)集[20-21]。Extended Yale B數(shù)據(jù)集采集了38 名人員的2 414 張正面彩色圖像。每一個(gè)實(shí)驗(yàn)對(duì)象最多有64 張圖像，最少有59 張圖像。所有圖像大小都被調(diào)整為32×32。實(shí)驗(yàn)環(huán)境嚴(yán)格控制不同的光照條件，部分示例圖像如圖1（b）所示。每類(lèi)隨機(jī)選取了15、20、25、30 個(gè)樣本作為訓(xùn)練樣本，其余樣本則作為測(cè)試樣本。在此數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如表2所示。

表2 各算法在Extended Yale B數(shù)據(jù)集上的識(shí)別率Table 2 Classification accuracy of different algorithms on Extended Yale B dataset 單位：%

（3）CMU PIE 數(shù)據(jù)集[22]。CMU PIE 數(shù)據(jù)集包含68 個(gè)人的41 368 張圖像，包含13 種不同姿態(tài)、43 種不同光照條件和4種不同表情。實(shí)驗(yàn)中選取了CMU PIE在模式識(shí)別當(dāng)中被廣泛使用的一個(gè)子集，其中包含5 個(gè)近似正面的姿勢(shì)，以及全部的光照情況和表情。這個(gè)子集包含11 554個(gè)圖像，對(duì)于每個(gè)人有170張圖像，所有圖像都大小被規(guī)格化為32×32。CMU PIE 部分示例圖像如圖1（c）所示。對(duì)每個(gè)人隨機(jī)選擇10、15、20、25個(gè)圖像作為訓(xùn)練樣本，而剩余的其他圖像作為測(cè)試集。在這個(gè)數(shù)據(jù)集上的分類(lèi)結(jié)果見(jiàn)表3。

表3 各算法在CMU PIE數(shù)據(jù)集上的識(shí)別率Table 3 Classification accuracy of different algorithms on CMU PIE dataset 單位：%

（4）FRGC 數(shù)據(jù)集[23]。實(shí)驗(yàn)中使用的子集包含220 個(gè)人的4 400 張圖像，對(duì)于每個(gè)人各有10 張圖像被分別劃分為訓(xùn)練集和測(cè)試集。該子集包括一些分辨率較低、模糊和嚴(yán)重照明變化的圖像，這些圖像是在不同的極端條件下收集的，部分示例圖像如圖1（d）所示。實(shí)驗(yàn)中將每個(gè)圖像大小從原始高維圖像調(diào)整為32×32，并直接使用數(shù)據(jù)集預(yù)先劃分的訓(xùn)練集和測(cè)試集進(jìn)行實(shí)驗(yàn)。最后的識(shí)別率結(jié)果如表4所示。

表4 各算法在FRGC數(shù)據(jù)集上的識(shí)別率Table 4 Classification accuracy of different algorithms on FRGC dataset 單位：%

從上述表格列出的實(shí)驗(yàn)結(jié)果可以看出，在不同的人臉數(shù)據(jù)集上，本文所提出的ICLRSL方法都能得到最佳的識(shí)別效果。并且可以觀察到，相比使用松弛標(biāo)簽的DLSR 方法，以其為基礎(chǔ)提出的GReLSR、RLR 和DRR 在AR 和FRGC 數(shù)據(jù)集上帶來(lái)了比較明顯的識(shí)別率提升，這說(shuō)明在其基礎(chǔ)上做出的類(lèi)內(nèi)相似性約束在某些情況下能夠抑制ε-拖動(dòng)技術(shù)帶來(lái)的同類(lèi)回歸目標(biāo)的差異。但是也可以觀察到在CMU PIE 上，部分情況下，識(shí)別率的提升很小甚至沒(méi)有提升。而本文方法在所有數(shù)據(jù)集上都比采用ε-拖動(dòng)技術(shù)的DLSR有更高的效果。

除了上述可以觀察到的情況以外，還可以從實(shí)驗(yàn)結(jié)果中注意到，基于原始二元標(biāo)簽矩陣的方法RLSL 和LCPDL 在部分情況下?lián)碛谐綐?biāo)簽松弛方法的分類(lèi)效果。這說(shuō)明對(duì)數(shù)據(jù)進(jìn)行初步編碼確實(shí)能夠在一定程度上提高整體性能。另外，也可以注意到在部分?jǐn)?shù)據(jù)集上，LC-KSVD、LCDPL 和CDPL擁有相比之下較差的分類(lèi)結(jié)果，這可能是由于對(duì)于初步編碼施加的約束在此數(shù)據(jù)集上并不合適而導(dǎo)致編碼丟失了判別性。基于以上討論，本文所提出的ICLRSL能夠在數(shù)據(jù)集上取得最佳的效果，這也說(shuō)明子空間的類(lèi)內(nèi)低秩約束能夠取得判別的對(duì)數(shù)據(jù)的初步表示。

另外，實(shí)驗(yàn)中對(duì)不同訓(xùn)練集大小的情況也進(jìn)行了對(duì)比實(shí)驗(yàn)，從實(shí)驗(yàn)結(jié)果可以很直觀地看出，隨著訓(xùn)練集的增大，所有方法的識(shí)別率都有所上升。而在不同的訓(xùn)練集大小下，ICLRSL算法始終可以得到不錯(cuò)的結(jié)果。

3.2 子空間維數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響

除了模型中λ1、λ2和λ3這3個(gè)參數(shù)以外，子空間維數(shù)d同樣也會(huì)對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生影響。從文獻(xiàn)[11]中可知，一般情況下，最優(yōu)子空間維數(shù)通常位于類(lèi)別數(shù)c附近。為了研究維數(shù)所帶來(lái)的影響，圍繞d的取值進(jìn)行了實(shí)驗(yàn)。圖2給出了在涉及的不同數(shù)據(jù)集上，在不同子空間維數(shù)取值的情況下，識(shí)別率的變化情況。

從圖2 可以觀察到，在子空間維數(shù)d＞c之后，識(shí)別率基本上達(dá)到了一個(gè)穩(wěn)定值。此時(shí)再增大子空間維數(shù)，識(shí)別率不再發(fā)生大幅變動(dòng)，而是在穩(wěn)定值附近輕微地浮動(dòng)。因此在本文的實(shí)驗(yàn)中，為了實(shí)驗(yàn)結(jié)果的穩(wěn)定將子空間維數(shù)d設(shè)置為類(lèi)別數(shù)2c。

圖2 不同子空間維數(shù)下的識(shí)別率Fig.2 Classification accuracies versus dimensionality of subspace

3.3 消融實(shí)驗(yàn)

為了研究所提出的ICLRSL 算法中采用的約束項(xiàng)對(duì)模型的影響，本節(jié)對(duì)其進(jìn)行了消融實(shí)驗(yàn)。算法涉及的約束項(xiàng)主要包括類(lèi)內(nèi)低秩約束項(xiàng)自適應(yīng)特征選擇約束項(xiàng)||Q||2,1。

對(duì)于類(lèi)內(nèi)低秩約束項(xiàng)，其目的是使模型在進(jìn)行標(biāo)簽空間投影前學(xué)習(xí)一個(gè)類(lèi)內(nèi)低秩的中間特征。為了驗(yàn)證其效果，在ICLRSL 模型的基礎(chǔ)上移除該項(xiàng)，得到以下模型：

對(duì)于自適應(yīng)特征選擇項(xiàng)，其目的是希望利用稀疏約束以應(yīng)對(duì)冗余信息。結(jié)合之前的低秩約束，達(dá)到從復(fù)雜數(shù)據(jù)中選擇類(lèi)內(nèi)低秩的特征。為了驗(yàn)證其效果，在模型中移除該項(xiàng)，則有如下模型：

同時(shí)，為了研究原始線性回歸和引入子空間學(xué)習(xí)的作用，模型（1）和模型（5）也被用于實(shí)驗(yàn)對(duì)比。

消融實(shí)驗(yàn)在本文涉及的4個(gè)人臉數(shù)據(jù)集上進(jìn)行，對(duì)于AR、Extended Yale B 和CMU PIE 數(shù)據(jù)集分別選取訓(xùn)練集大小為10、30、25 個(gè)樣本，對(duì)于FRGC 數(shù)據(jù)集則與之前相同，最后的實(shí)驗(yàn)結(jié)果如表5所示。

表5 消融實(shí)驗(yàn)結(jié)果Table 5 Experimental results of ablation study 單位：%

從表5 可以看出，在所有數(shù)據(jù)集上，本文所提出的方法都能取得最好的結(jié)果。同時(shí)可以注意到模型（21）和模型（22）所代表的是所提出方法的兩個(gè)不同的約束項(xiàng)，其得到的實(shí)驗(yàn)結(jié)果表示這兩個(gè)約束項(xiàng)單獨(dú)使用時(shí)在不同數(shù)據(jù)集上各有優(yōu)劣，并且都要略差于所提出的同時(shí)使用兩種約束項(xiàng)的ICLRSL 算法。這是因?yàn)轭?lèi)內(nèi)低秩約束項(xiàng)在一定程度上指明了特征提取的目標(biāo)，也就是自適應(yīng)特征選擇項(xiàng)需要分配更大的重要特征。而自適應(yīng)特征選擇項(xiàng)則從冗余信息中提取出相對(duì)數(shù)據(jù)全體相對(duì)稀疏的重要特征。這兩個(gè)約束項(xiàng)可以說(shuō)是缺一不可的。

模型（5）代表的是兩種約束項(xiàng)都不使用的情況，與只使用一種約束項(xiàng)的情況在不同數(shù)據(jù)集上相比也是各有勝負(fù)，這從另外一個(gè)角度說(shuō)明了兩個(gè)約束項(xiàng)共同存在的必要性。因?yàn)轭?lèi)內(nèi)低秩的特征相對(duì)于全體特征而言是稀疏的，只使用任何一項(xiàng)約束都可能使模型提取到不夠判別的特征。

另外，對(duì)于原始線性回歸和引入子空間學(xué)習(xí)的模型（5），從實(shí)驗(yàn)結(jié)果可以看到，在AR、Extended Yale B和FRGC數(shù)據(jù)集上，后者都擁有更高的識(shí)別效果，這在一定程度上說(shuō)明使用兩個(gè)投影矩陣相比一個(gè)的情況可能得到更靈活的投影和更判別的數(shù)據(jù)表示。而在Extended Yale B數(shù)據(jù)集上，原始線性回歸的識(shí)別效果要比模型（5）稍好，考慮到此數(shù)據(jù)集相較而言更為簡(jiǎn)單，這意味著直接使用單個(gè)投影矩陣也能獲得很好的數(shù)據(jù)表示。在另外3 個(gè)更復(fù)雜數(shù)據(jù)集上的結(jié)果也從側(cè)面說(shuō)明了這一點(diǎn)。

4 結(jié)論

本文提出了一種類(lèi)內(nèi)低秩的子空間學(xué)習(xí)方法ICLRSL。不同于LSR 直接學(xué)習(xí)從原始數(shù)據(jù)空間到標(biāo)簽空間的線性投影，ICLRSL學(xué)習(xí)一個(gè)類(lèi)內(nèi)低秩的子空間作為原始數(shù)據(jù)空間到標(biāo)簽之間的變換從而提升整體的分類(lèi)效果。中間子空間的引入，使得整個(gè)投影過(guò)程中會(huì)首先得到一個(gè)類(lèi)內(nèi)低秩的中間特征，這與最終標(biāo)簽的類(lèi)內(nèi)高度相關(guān)性是一致的。并且，l2,1自適應(yīng)特征選擇約束的引入使得模型能從冗余信息中分配給重要特征更大的權(quán)重。因此，本文提出的ICLRSL 通過(guò)子空間學(xué)習(xí)和特征選擇可以最后得到判別的回歸向量作為新的數(shù)據(jù)表示。本文在四個(gè)公開(kāi)數(shù)據(jù)集上驗(yàn)證了所提出方法的有效性。