簡(jiǎn)彩仁,夏靖波

(廈門大學(xué)嘉庚學(xué)院,福建 漳州 363105)

模式分類是機(jī)器學(xué)習(xí)的重要研究方向,許多分類方法,比如支持向量機(jī)、隨機(jī)森林等需要訓(xùn)練分類器,在追求準(zhǔn)確率的同時(shí)容易產(chǎn)生過(guò)擬合問(wèn)題[1].基于表示理論的分類方法利用表示系數(shù)和最小誤差準(zhǔn)則[2]對(duì)測(cè)試樣本進(jìn)行分類,而不需要訓(xùn)練分類器,可以避免過(guò)擬合等問(wèn)題,因此基于表示理論的分類方法得到了研究學(xué)者的青睞.基于表示理論的分類方法的關(guān)鍵在于求解表示系數(shù).它的典型代表是Wright等[2]提出的稀疏表示分類法(SRC)和Zhang等[3]提出的協(xié)同表示分類法(CRC).SRC利用稀疏表示重構(gòu)測(cè)試樣本得到表示系數(shù),而CRC利用嶺回歸模型求解表示系數(shù),因此,CRC也稱為最小二乘回歸分類法(LSRC)[4].Xu等[5]利用人臉的軸對(duì)稱性質(zhì)對(duì)人臉圖像進(jìn)行修正,提高了SRC的人臉識(shí)別準(zhǔn)確率.Xu等[6]提出兩階段人臉圖像分類方法,利用選取近鄰樣本達(dá)到稀疏的目的,再利用CRC實(shí)現(xiàn)人臉圖像分類.文獻(xiàn)[3,7]對(duì)比了SRC和CRC兩種方法構(gòu)造的正則項(xiàng)對(duì)分類的影響.因?yàn)镃RC可以得到解析解,計(jì)算簡(jiǎn)單并且可以得到理想的分類準(zhǔn)確率,因此不同的學(xué)者提出了許多基于CRC的擴(kuò)展模型[8-12].鑒于CRC求解表示系數(shù)的時(shí)候并沒(méi)有考慮類別信息,而類別信息對(duì)于提高分類準(zhǔn)確率具有重要意義,因此利用類別信息求解表示系數(shù)是對(duì)CRC的一種改進(jìn).概率協(xié)同表示分類法(ProCRC)[10]利用協(xié)同子空間的概率改進(jìn)CRC,充分利用類別信息提高分類準(zhǔn)確率.判別稀疏表示分類法(DSRC)[11]引入判別信息項(xiàng)進(jìn)行改進(jìn),求解具有降低類間相關(guān)性、增強(qiáng)類內(nèi)相關(guān)性的表示系數(shù).判別協(xié)同表示分類法(DCRC)[12]整合ProCRC和DSRC的判別信息項(xiàng),對(duì)CRC進(jìn)行改進(jìn).

ProCRC、DSRC和DCRC從不同的角度引入類別信息改進(jìn)CRC,因此,考慮類別信息求解表示系數(shù)可以在一定程度上提高分類準(zhǔn)確率.借鑒ProCRC、DSRC和DCRC的思想,本文通過(guò)定義判別信息懲罰項(xiàng)以增強(qiáng)表示系數(shù)的判別能力,并基于近鄰系數(shù)相似性定義局部系數(shù)強(qiáng)化項(xiàng)以增強(qiáng)近鄰樣本的協(xié)同表示能力,求解更加魯棒的表示系數(shù),提出局部系數(shù)增強(qiáng)判別協(xié)同表示分類法(LDCRC).

1 CRC及其改進(jìn)模型

CRC利用嶺回歸模型[13]求解表示系數(shù),其數(shù)學(xué)模型如下

(1)

(2)

ProCRC[10]通過(guò)定義測(cè)試樣本屬于協(xié)同子空間的概率改進(jìn)CRC,所有訓(xùn)練樣本的C類標(biāo)簽集是l(X)={1,2,…,C},每一個(gè)訓(xùn)練樣本x∈X和測(cè)試樣本y的類別分別為l(x)和l(y),測(cè)試樣本y屬于類別c的概率定義為

P{l(y)=c}=P{l(y)∈l(X)}·P{l(y)=

(3)

其中:λ,γ>0是正則參數(shù).如果y真的來(lái)自c類,公式(3)中概率P{l(y)=c}的最大化導(dǎo)致c類樣本對(duì)y的表示和對(duì)y的分類有顯著貢獻(xiàn).對(duì)公式(3)取對(duì)數(shù),ω可以等價(jià)的用

(4)

DSRC[11]通過(guò)引入判別信息項(xiàng)改進(jìn)CRC,如下:

(5)

(6)

ProCRC、DSRC和DCRC都利用了類別信息改進(jìn)CRC.基于類別信息,它們定義了不同的正則懲罰項(xiàng),使求解的表示系數(shù)具有更強(qiáng)的判別能力.

2 LDCRC

針對(duì)CRC缺少類別信息的不足,借鑒DSRC和DCRC,定義判別信息懲罰項(xiàng)以增強(qiáng)表示系數(shù)的判別能力.同一空間下,兩個(gè)相似樣本的距離很接近,導(dǎo)致它們的表示系數(shù)有高度的相似性,基于這一發(fā)現(xiàn),定義局部系數(shù)強(qiáng)化項(xiàng)以增強(qiáng)近鄰樣本的協(xié)同表示能力.基于判別信息懲罰項(xiàng)和局部系數(shù)強(qiáng)化項(xiàng),提出LDCRC.

2.1 目標(biāo)函數(shù)

受文獻(xiàn)[10-11]的啟發(fā),為增強(qiáng)表示系數(shù)的判別能力,并考慮到DSRC和DCRC的解析解中含有類別數(shù)C,因此用C增強(qiáng)判別信息,定義判別信息懲罰項(xiàng)為

CTr(ωTMω),

(7)

(8)

其中,K表示近鄰樣本數(shù).

(9)

其中λ,γ>0是正則參數(shù).公式(9)的第2項(xiàng)包含判別信息以增強(qiáng)表示系數(shù)的判別能力,第3項(xiàng)包含局部信息以增強(qiáng)近鄰樣本的協(xié)同表示能力,因此公式(9)既可以強(qiáng)化局部信息提高近鄰樣本的協(xié)同表示能力,又可以利用類別信息,提高判別能力.

2.2 模型求解

利用矩陣的跡Tr,將公式(9)寫為

L(ω)=Tr[(y-Xω)T(y-Xω)]+

展開(kāi)得

L(ω)=Tr(yTy)-2Tr(ωTXTy)+Tr(ωTXTXω)+

λCTr(ωTMω)+γKTr(ωTω)-

關(guān)于向量ω求導(dǎo)得

令其為0,得

(10)

因此,公式(10)為目標(biāo)函數(shù)的解析解.

2.3 LDCRC算法

由于現(xiàn)實(shí)中的數(shù)據(jù)集往往是非線性的,因此基于歐式距離的相似度度量不夠準(zhǔn)確.基于CRC的表示系數(shù),定義一種新的相似度.由公式(1)的解析解得到表示系數(shù)ω=(XTX+λI)-1XTy,定義相似度為

d=|ω|,

(11)

其中,|ω|為表示系數(shù)ω的絕對(duì)值,di=|ωi|=sim(xi,y)表示樣本xi與測(cè)試樣本y的相似度,越大的di=|ωi|說(shuō)明xi在重構(gòu)y時(shí)的作用越大,也意味著xi與y的相似度越高.

基于以上的討論,將LDCRC歸納如下.

算法:LDCRC

輸入：訓(xùn)練集X,類別數(shù)量C,待分類樣本y,近鄰樣本數(shù)量K,正則參數(shù)λ,γ;

輸入：y所屬類別l;

Step1:由公式(11)得到相似度度量,并降序排列選擇前K個(gè)樣本為近鄰樣本;

Step2:由公式(10)得到表示系數(shù)ω;

Step3:利用最小重構(gòu)誤差準(zhǔn)則,得到y(tǒng)的所屬類別l.

2.4 模型比較

ProCRC、DSRC、DCRC和LDCRC都利用了類別信息定義了不同的判別懲罰項(xiàng).

利用判別信息矩陣M,ProCRC的解析解可以寫為ω=[(1+γ(C-2))XTX+λI+γM]-1XTy.

DSRC的解析解為ω=[(1+2λ)XTX+2λCM]-1XTy.

對(duì)比以上公式,不難發(fā)現(xiàn)4種方法都含有XTX和M,系數(shù)的大小反映了重構(gòu)誤差項(xiàng)和判別信息項(xiàng)在求解表示系數(shù)的影響程度.LDCRC考慮了近鄰樣本對(duì)求解表示系數(shù)的影響,以增強(qiáng)近鄰樣本的協(xié)同表示能力.因此,LDCRC保留了ProCRC、DSRC和DCRC的判別能力,又增強(qiáng)了近鄰樣本的協(xié)同表示能力.

3 實(shí)驗(yàn)分析

為驗(yàn)證LDCRC的分類性能,采用對(duì)比實(shí)驗(yàn)驗(yàn)證LDCRC的有效性.選用CRC、ProCRC、DSRC和DCRC作為對(duì)比方法.由于所有的方法都具有解析解,從運(yùn)行效率上分析,各種方法的差別不大,故在實(shí)驗(yàn)中不比較各種方法的運(yùn)行效率.

3.1 實(shí)驗(yàn)參數(shù)設(shè)置和實(shí)驗(yàn)數(shù)據(jù)

CRC、ProCRC、DSRC、DCRC和LDCRC都有正則參數(shù),類似于文獻(xiàn)[10],將正則參數(shù)λ和γ都設(shè)為0.001.當(dāng)γ=0時(shí),DCRC退化為DSRC,根據(jù)文獻(xiàn)[11],本文將DCRC中的γ設(shè)為1.采用交叉驗(yàn)證方法對(duì)比不同折數(shù)下的分類準(zhǔn)確率,交叉驗(yàn)證折數(shù)設(shè)為{2,4,6,8,10}.LDCRC的近鄰樣本數(shù)K設(shè)為5.

實(shí)驗(yàn)選用6個(gè)常用的標(biāo)準(zhǔn)圖像數(shù)據(jù)集:AR_32x32(AR)、IMM_32x32(IMM)、LFW_32x32(LFW)、ORL_32x32(ORL)、PIE29_32x32(PIE29)、PolyU_Palmprint2_32x32(PolyU),其基本信息如表1所示.

表1 數(shù)據(jù)信息

3.2 結(jié)果分析

圖1給出了不同交叉驗(yàn)證折數(shù)下各種方法的分類準(zhǔn)確率.表2給出了各種方法在不同交叉驗(yàn)證折數(shù)下的分類準(zhǔn)確率的平均值.

圖1 不同交叉驗(yàn)證折數(shù)下的分類準(zhǔn)確率Fig.1 Classification accuracies under different cross-validation folds

表2 平均分類準(zhǔn)確率

從圖1和表2的實(shí)驗(yàn)結(jié)果不難發(fā)現(xiàn),CRC的分類準(zhǔn)確率是最低的,而ProCRC的分類準(zhǔn)確率優(yōu)于CRC,這一實(shí)驗(yàn)結(jié)果表明考慮類別信息可以提高CRC的分類準(zhǔn)確率.DSRC和DCRC的分類準(zhǔn)確率優(yōu)于ProCRC,這表明DSRC和DCRC的判別信息懲罰項(xiàng)可以降低類間相關(guān)性、增強(qiáng)類內(nèi)相關(guān)性,從而提高分類準(zhǔn)確率.LDCRC的分類準(zhǔn)確率是最優(yōu)的,這一結(jié)果說(shuō)明,判別信息懲罰項(xiàng)可以保持DSRC和DCRC的優(yōu)點(diǎn),而局部系數(shù)強(qiáng)化項(xiàng)可以加強(qiáng)近鄰樣本的協(xié)同表示作用,更好地增強(qiáng)近鄰樣本對(duì)測(cè)試樣本的影響,使求解的表示系數(shù)有較好的表示能力,從而提高分類準(zhǔn)確率.DCRC在IMM和ORL兩個(gè)數(shù)據(jù)集的分類準(zhǔn)確率與LDCRC的相當(dāng),但是在別的數(shù)據(jù)集上,DCRC分類準(zhǔn)確率低于LDCRC.一種可能原因是,IMM和ORL的樣本數(shù)量較少,LDCRC選取的近鄰樣本產(chǎn)生的協(xié)同表示能力不足.因此本文提出的LDCRC對(duì)提高CRC、ProCRC、DSRC和DCRC的分類準(zhǔn)確率是有效的.

3.3 參數(shù)討論

本節(jié)討論正則參數(shù)λ和γ對(duì)LDCRC的影響.圖2給出了在交叉驗(yàn)證折數(shù)為6,不同的參數(shù)λ和γ下,LDCRC的分類準(zhǔn)確率.從實(shí)驗(yàn)結(jié)果不難發(fā)現(xiàn),當(dāng)λ和γ較小時(shí),LDCRC可以獲得較好的分類準(zhǔn)確率,這一發(fā)現(xiàn)可以提高LDCRC的實(shí)用性.在AR、ORL、PIE29和PolyU等4個(gè)數(shù)據(jù)集上,LDCRC的分類準(zhǔn)確率較高,在γ較小的情況下,LDCRC對(duì)λ并不敏感.對(duì)IMM和LFW這2個(gè)數(shù)據(jù)集,LDCRC的分類準(zhǔn)確率受參數(shù)影響的波動(dòng)較大,這說(shuō)明IMM和LFW這2個(gè)數(shù)據(jù)集的結(jié)構(gòu)較為復(fù)雜,導(dǎo)致基于表示理論的分類方法在研究這類數(shù)據(jù)集的分類準(zhǔn)確率不高.

圖2 不同γ和λ下的分類準(zhǔn)確率Fig.2 Classification accuracies under different γ and λ

4 結(jié) 論

本文提出LDCRC,通過(guò)定義判別信息懲罰項(xiàng)以增強(qiáng)表示系數(shù)的判別能力,并定義局部系數(shù)強(qiáng)化項(xiàng)以增強(qiáng)近鄰樣本的協(xié)同表示能力.在6個(gè)標(biāo)準(zhǔn)的圖像數(shù)據(jù)集上的實(shí)驗(yàn)表明LDCRC具有判別能力和協(xié)同表示能力,可以提高CRC等方法的分類準(zhǔn)確率.LDCRC在復(fù)雜數(shù)據(jù)集,如IMM和LFW上的分類準(zhǔn)確率不高,將在今后的研究中給出更適合復(fù)雜數(shù)據(jù)集分類的方法.LDCRC存在著參數(shù)選擇問(wèn)題,利用啟發(fā)式搜索方法,如遺傳算法等進(jìn)行正則參數(shù)的選取將在今后的研究中給出.