舒醒　于慧敏，2　鄭偉偉　謝奕　胡浩基　唐慧明

基于邊際Fisher 準(zhǔn)則和遷移學(xué)習(xí)的小樣本集分類器設(shè)計(jì)算法

舒醒1于慧敏1，2鄭偉偉1謝奕1胡浩基1唐慧明1

如何利用大量已有的同構(gòu)標(biāo)記數(shù)據(jù)（源域）設(shè)計(jì)小樣本訓(xùn)練數(shù)據(jù)（目標(biāo)域）的分類器是一個(gè)具有很強(qiáng)應(yīng)用意義的研究問題.由于不同域的數(shù)據(jù)特征分布有差異，直接使用源域數(shù)據(jù)對(duì)目標(biāo)域樣本進(jìn)行分類的效果并不理想.針對(duì)上述問題，本文提出了一種基于遷移學(xué)習(xí)的分類器設(shè)計(jì)算法.首先，本文利用內(nèi)積度量的邊際Fisher準(zhǔn)則對(duì)源域進(jìn)行特征映射，提高源域中類內(nèi)緊湊性和類間區(qū)分性.其次，為了篩選合理的訓(xùn)練樣本對(duì)，本文提出一種去除邊界奇異點(diǎn)的算法來選擇源域密集區(qū)域樣本點(diǎn)，與目標(biāo)域中的標(biāo)記樣本點(diǎn)組成訓(xùn)練樣本對(duì).在核化空間上，本文學(xué)習(xí)了目標(biāo)域特征到源域特征的非線性轉(zhuǎn)換，將目標(biāo)域映射到源域.最后，利用鄰近算法（k-nearest neighbor，kNN）分類器對(duì)映射后的目標(biāo)域樣本進(jìn)行分類.本文不僅改進(jìn)了邊際Fisher準(zhǔn)則方法，并且將基于自適應(yīng)樣本對(duì)篩選的遷移學(xué)習(xí)應(yīng)用到小樣本數(shù)據(jù)的分類器設(shè)計(jì)中，提高域間適應(yīng)性.在通用數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文提出的方法能夠有效提高小樣本訓(xùn)練域的分類器性能.

小樣本集分類器，遷移學(xué)習(xí)，邊際Fisher準(zhǔn)則，kNN分類器，域間轉(zhuǎn)換

引用格式舒醒，于慧敏，鄭偉偉，謝奕，胡浩基，唐慧明.基于邊際Fisher準(zhǔn)則和遷移學(xué)習(xí)的小樣本集分類器設(shè)計(jì)算法.自動(dòng)化學(xué)報(bào)，2016，42（9）：1313-1321

在模式識(shí)別和計(jì)算機(jī)視覺領(lǐng)域中，物體分類識(shí)別方法已經(jīng)得到廣泛的研究，現(xiàn)存的算法也比較成熟.但是在一個(gè)標(biāo)記樣本很少的數(shù)據(jù)庫上，這些傳統(tǒng)的方法并不能得到較高的識(shí)別準(zhǔn)確度，這是因?yàn)閹缀跛械谋O(jiān)督學(xué)習(xí)算法［1-2］都需要大量的標(biāo)記樣本作為訓(xùn)練數(shù)據(jù).

近年來，基于一個(gè)大量標(biāo)記的同構(gòu)數(shù)據(jù)集上的物體識(shí)別模型，設(shè)計(jì)一種基于遷移學(xué)習(xí)的分類器算法來提高新的只有少量標(biāo)記樣本的數(shù)據(jù)集上的識(shí)別準(zhǔn)確度是一個(gè)越來越受關(guān)注的研究方向，其中大樣本和小樣本數(shù)據(jù)集分別被稱作源域和目標(biāo)域［3］，其主要原因是獲取大量標(biāo)記樣本是一個(gè)昂貴、極其耗費(fèi)人力和時(shí)間的過程，同時(shí)不可避免人為標(biāo)記錯(cuò)誤的情況［4］.借助于源域來優(yōu)化目標(biāo)域的分類模型能很好地解決上述問題.但是源域訓(xùn)練得到的分類器直接應(yīng)用在目標(biāo)域中并不能得到理想的效果，這是因?yàn)椴煌虻奶卣鞣植加胁町?導(dǎo)致域間差異的因素有很多，比如相機(jī)參數(shù)、光線、視角、分辨率、背景和姿態(tài)等［3，5-6］，如圖1所示.因此，我們可以將源域作為目標(biāo)域的先驗(yàn)知識(shí)，利用域間的相關(guān)性，通過遷移學(xué)習(xí)的方法來提高目標(biāo)域的分類準(zhǔn)確率［6-8］.

圖1　源域（上）與目標(biāo)域（下）是存在差異的（與源域相比，目標(biāo)域中的背景更復(fù)雜，分辨率更低，視角更多樣）Fig.1There exist differences between source domain（top）and target domain（bottom）（Compared with the source domain，the target domain contains more complex backgrounds，the lower solution，and more camera angles.）

利用大樣本數(shù)據(jù)學(xué)習(xí)小樣本數(shù)據(jù)分類器問題的算法從采用的參數(shù)模型的角度主要可以分為三類：基于支持向量機(jī)（Support vector machine，SVM）的算法、基于深度學(xué)習(xí)的算法和基于域間特征轉(zhuǎn)換的算法.基于SVM的算法，比如文獻(xiàn)［9-13］，通過改變?cè)谠从蛏嫌?xùn)練得到的支持向量機(jī)中的參數(shù)或者目標(biāo)函數(shù)來適應(yīng)目標(biāo)域.基于SVM的算法最大的缺點(diǎn)是不能夠?qū)⑺惴〝U(kuò)展到目標(biāo)域中標(biāo)記樣本未出現(xiàn)過的新類別的情況.基于深度學(xué)習(xí)的算法是將在大量已知標(biāo)記樣本集上訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)應(yīng)用到一個(gè)相對(duì)少量標(biāo)記的數(shù)據(jù)域上.文獻(xiàn)［14］是基于ILSVRC2012數(shù)據(jù)庫上訓(xùn)練好的CNNs（Cellular neural netwarks），利用目標(biāo)域上的標(biāo)記樣本重新訓(xùn)練了全連接層.文獻(xiàn)［15］是基于在ILSVRC13數(shù)據(jù)庫上訓(xùn)練得到的OverFeat網(wǎng)絡(luò)模型，利用目標(biāo)域中的少量標(biāo)記樣本以及OverFeat學(xué)習(xí)出來的特征，訓(xùn)練出適應(yīng)目標(biāo)域的分類器.基于深度學(xué)習(xí)的算法的局限性是需要海量訓(xùn)練數(shù)據(jù)來保證分類準(zhǔn)確度.基于域間特征轉(zhuǎn)換的算法也有很多，比如文獻(xiàn)［3，16-19］等.文獻(xiàn)［18］提出了一種將源域和目標(biāo)域中的高維特征映射到低維特征空間中，實(shí)現(xiàn)域間遷移的學(xué)習(xí)算法.基于域間特征轉(zhuǎn)換的算法剛好可以克服掉基于SVM的算法的最大缺點(diǎn)，例如文獻(xiàn)［16］提出的ARC-t算法.但是ARC-t（Asymmetric regularized cross-domain transformation）算法對(duì)源域中類別的可分離性以及學(xué)習(xí)特征空間轉(zhuǎn)換中訓(xùn)練點(diǎn)的選擇缺乏充分的考慮.

綜上，為了充分利用源域的標(biāo)記同構(gòu)數(shù)據(jù)和保證目標(biāo)域中不同類映射到源域后盡可能相互不重疊，本文提出了一種新的基于域間特征轉(zhuǎn)換的遷移學(xué)習(xí)方法.首先，針對(duì)源域的樣本，本文基于邊際Fisher準(zhǔn)則，提出了特征向量點(diǎn)積作為距離度量標(biāo)準(zhǔn)，盡可能最大化類間分離性和最小化類內(nèi)緊湊性，這個(gè)過程將直接影響后面的轉(zhuǎn)換學(xué)習(xí)的效果.其次，本文設(shè)計(jì)了一種去除邊緣奇異點(diǎn)的算法，基于K-medoids思想從源域中選取合理的樣本點(diǎn)，學(xué)習(xí)與目標(biāo)域標(biāo)記樣本間的特征轉(zhuǎn)換，實(shí)現(xiàn)目標(biāo)域到源域的映射.本文采用該去除奇異點(diǎn)算法的原因有兩個(gè)：1）由于源域中每個(gè)類別中樣本點(diǎn)的分散性，必然在邊界附近存在部分奇異點(diǎn)，所以采用K-medoids思想能夠避免將目標(biāo)域相應(yīng)類別映射到源域的邊界附近；2）kmeans算法同樣可以達(dá)到以上效果，但是該算法計(jì)算類的中心點(diǎn)時(shí)會(huì)受到奇異點(diǎn)的影響，并不能將目標(biāo)域映射到源域中樣本密集分布區(qū)域.由于線性的特征轉(zhuǎn)換有時(shí)在特征空間上不能令不同類別可區(qū)分，所以為實(shí)現(xiàn)特征的非線性轉(zhuǎn)換，本文利用了核化特征，最后訓(xùn)練鄰近算法（k-nearest neighbor，kNN）分類器并在通用數(shù)據(jù)庫上計(jì)算物體分類識(shí)別準(zhǔn)確度.

本文的結(jié)構(gòu)如下：第1節(jié)介紹本文所提算法涉及的相關(guān)工作；第2節(jié)詳細(xì)闡述本文提出的基于邊際Fisher準(zhǔn)則和遷移學(xué)習(xí)的分類器設(shè)計(jì)算法；第3節(jié)是實(shí)驗(yàn)，給出了本文算法的具體實(shí)現(xiàn)過程，并把本文算法與近年來一些具有代表性的基于遷移學(xué)習(xí)的小樣本分類器設(shè)計(jì)算法進(jìn)行了性能對(duì)比；第4節(jié)是論文總結(jié)及后續(xù)研究方向.

1　相關(guān)工作

在近年來，利用大樣本數(shù)據(jù)集來提高小樣本集分類器性能的問題吸引了越來越多的關(guān)注.國(guó)內(nèi)外很多學(xué)者針對(duì)該問題做了許多研究工作，也提出了很多思路［6］.目前提出的方法從目標(biāo)域是否進(jìn)行特征映射的角度主要分為以下兩類：一類是在保持源域和目標(biāo)域在特征分布空間不變的前提下，在目標(biāo)域上通過調(diào)節(jié)分類器的適應(yīng)性參數(shù)來達(dá)到提高小樣本數(shù)據(jù)分類準(zhǔn)確率的目的；另一類是在保持目標(biāo)域中的特征分布不變的前提下，將目標(biāo)域上的點(diǎn)在特征空間中映射到源域中，直接利用在源域中訓(xùn)練好的分類器.在第一類方法中，文獻(xiàn)［9］提出一種自適應(yīng)SVM算法，通過增加擾動(dòng)函數(shù)和目標(biāo)域中的標(biāo)記樣本來更新源域中訓(xùn)練好的分類器fA（ xxx），即目標(biāo)域上的分類器為，其中是擾動(dòng)函數(shù).文獻(xiàn)［11］中將轉(zhuǎn)換SVMs應(yīng)用到了適應(yīng)性學(xué)習(xí)中.同時(shí)，很多工作是基于第二類的思想進(jìn)行研究的.文獻(xiàn)［20］提出的算法是基于測(cè)地流核的特征遷移學(xué)習(xí)算法實(shí)現(xiàn)的.在文獻(xiàn)［21］中，Long等學(xué)習(xí)了一種能夠直接使源域和目標(biāo)域間的特征分布相匹配的域間不變核，從而達(dá)到域間遷移學(xué)習(xí)的目的.文獻(xiàn)［22］通過一種自動(dòng)域間適應(yīng)的特征學(xué)習(xí)算法來適應(yīng)不同圖片數(shù)據(jù)域的特征差異性.在文獻(xiàn)［3］中，Saenko等提出了一種基于信息論矩陣學(xué)習(xí)［23］的特征轉(zhuǎn)換算法（Symm算法），在特征空間上將目標(biāo)域映射到源域，通過源域上的分類器對(duì)目標(biāo)域進(jìn)行分類.在文獻(xiàn)［16］中，Kulis等提出了一種叫做ARC-t的算法，該算法的核心是一種基于域間特征核化非線性轉(zhuǎn)換的模型并訓(xùn)練出kNN分類器.

與本文相關(guān)的工作還有文獻(xiàn)［24-25］，它們提出了邊際Fisher分析算法（Marginal Fisher analysis，MFA），該算法是使用歐氏距離作為度量標(biāo)準(zhǔn)并基于邊際Fisher準(zhǔn)則來設(shè)計(jì)特征映射，不僅對(duì)數(shù)據(jù)分布沒有嚴(yán)格的要求，而且能更好地表達(dá)出類內(nèi)緊湊性和類外分離性，有助于將不同類別更好地區(qū)分開.為了提高域間適應(yīng)性，雖然基于信息論矩陣學(xué)習(xí)的算法和ARC-t算法能夠?qū)⒛繕?biāo)域在特征空間中映射到源域中，但是存在兩個(gè)明顯的問題：1）源域內(nèi)不同類如果在特征空間中相互交錯(cuò)，不具有很好的類別差異性，那么目標(biāo)域中的類別映射到源域也不能保證相互之間是可區(qū)分的.2）在特征轉(zhuǎn)換訓(xùn)練過程中，源域中的訓(xùn)練樣本是隨機(jī)選取并與目標(biāo)域中的標(biāo)記樣本組成訓(xùn)練對(duì)，如果該過程選取的點(diǎn)是在源域?qū)?yīng)類別的邊界上，那么目標(biāo)域樣本也會(huì)被映射到源域的邊界區(qū)域，這樣勢(shì)必會(huì)影響類別間的分類.綜上考慮，首先我們需要將源域中的樣本點(diǎn)降維到類間可分離的特征空間中，使得在該空間中，源域的不同類別相互可區(qū)分.另外，為了保證目標(biāo)域的映射結(jié)果具有較高的分類準(zhǔn)確度以及訓(xùn)練樣本對(duì)的選擇要避免邊緣區(qū)域的樣本點(diǎn)，本文算法的設(shè)計(jì)正是基于上述考慮.

2　基于邊際Fisher準(zhǔn)則和遷移學(xué)習(xí)的小樣本集分類器設(shè)計(jì)算法

為了利用大量已有的同構(gòu)標(biāo)記數(shù)據(jù)提高小樣本集的分類器性能，本文提出了基于邊際Fisher準(zhǔn)則和遷移學(xué)習(xí)的小樣本數(shù)據(jù)的分類器設(shè)計(jì)算法.該算法的思路是首先為了提高源域的類內(nèi)緊湊性和類間區(qū)分性，本文根據(jù)內(nèi)積度量的邊際Fisher準(zhǔn)則優(yōu)化源域特征分布，其次利用篩選算法得到的訓(xùn)練樣本對(duì)學(xué)習(xí)目標(biāo)域到源域的非線性特征轉(zhuǎn)換的遷移學(xué)習(xí)算法，將目標(biāo)域映射到源域，提高域間適應(yīng)性，最后利用在源域上訓(xùn)練得到的kNN分類器對(duì)目標(biāo)域的樣本進(jìn)行分類.本文的分類器設(shè)計(jì)算法流程圖見圖2.

圖2　基于邊際Fisher準(zhǔn)則和遷移學(xué)習(xí)的小樣本數(shù)據(jù)分類器設(shè)計(jì)算法流程圖Fig.2The flow diagram of classifier-designing algorithm on a small dataset based on margin Fisher criterion and transfer learning

首先，我們考慮到了源域內(nèi)特征分布，利用內(nèi)積度量的邊際Fisher準(zhǔn)則對(duì)源域進(jìn)行特征映射，提高源域中類內(nèi)緊湊性和類間區(qū)分性.其次，在目標(biāo)域到源域的特征轉(zhuǎn)換的學(xué)習(xí)過程中，為了篩選合理的訓(xùn)練樣本對(duì)，本文提出一種去除邊界奇異點(diǎn)的算法來選擇源域密集區(qū)域樣本點(diǎn)，與目標(biāo)域中的標(biāo)記樣本點(diǎn)組成訓(xùn)練樣本對(duì).并在核化空間上，本文學(xué)習(xí)了目標(biāo)域特征到源域特征的非線性轉(zhuǎn)換，將目標(biāo)域映射到源域.最后，利用kNN分類器對(duì)映射后的目標(biāo)域樣本進(jìn)行分類.與其他小樣本集分類器的算法相比，本文算法考慮了域間轉(zhuǎn)換的學(xué)習(xí)過程的細(xì)節(jié).以下是本文提出算法的具體描述.

2.1內(nèi)積度量的邊際Fisher準(zhǔn)則

為了提高類內(nèi)緊湊性和類間可分性，本文首先利用根據(jù)邊際Fisher準(zhǔn)則將源域的特征映射到新的特征空間中.本文對(duì)原始MFA［26］方法進(jìn)行了改進(jìn).改進(jìn)后的邊際Fisher準(zhǔn)則與原始MFA方法的區(qū)別在于：本文方法的距離度量方式是內(nèi)積，而不是歐幾里得距離.這是為了優(yōu)化算法的求解過程，同時(shí)與后面的遷移學(xué)習(xí)算法中的距離度量方式保持一致，以保證算法求解的一致性.邊際Fisher準(zhǔn)則是基于圖嵌入的框架，設(shè)計(jì)出描述類內(nèi)緊湊性的本征圖和類間區(qū)分性的懲罰圖，如圖3所示.

圖3　邊際Fisher準(zhǔn)則的圖結(jié)構(gòu)：本征圖和懲罰圖Fig.3The graph structure of margin Fisher criterion：intinsic graph and penalty graph

在本征圖Gc中，同類點(diǎn)間的鄰近關(guān)系是由每一個(gè)樣本與k1個(gè)與其同類并近鄰的樣本點(diǎn)的距離之和描述.在懲罰圖Gp中，類間邊界點(diǎn)鄰近關(guān)系是由邊界奇異點(diǎn)與k2個(gè)與其異類并近鄰的邊界點(diǎn)的距離之和描述.因此本征圖Gc中類內(nèi)緊湊性Sc可以表示為

其中，M代表特征變換矩陣，Nk1（i）表示k1個(gè)與樣本 xi同類并與 xi近鄰的樣本點(diǎn)的索引集.

懲罰圖Gp中的類間分離性Sp可以表示為

其中，Pk2（ci）表示（i，j），i∈πci，j/∈πci中k2個(gè)最鄰近的邊界樣本對(duì)集.根據(jù)邊界Fisher準(zhǔn)則，最小化類內(nèi)緊湊性和最大化類間分離性，則特征變換矩陣M可以利用圖嵌入結(jié)構(gòu)得到：

本文算法創(chuàng)新點(diǎn)之一就是本文通過改進(jìn)傳統(tǒng)的邊界Fisher準(zhǔn)則并將其與域間遷移學(xué)習(xí)相結(jié)合，這樣更加充分地利用了源域的標(biāo)記樣本信息.本文的實(shí)驗(yàn)分別對(duì)集成了原始MFA的算法（實(shí)驗(yàn)部分的mmf-Euclid算法）和集成了改進(jìn)后的邊際Fisher準(zhǔn)則算法（實(shí)驗(yàn)部分的mmf算法）進(jìn)行了實(shí)驗(yàn).我們通過對(duì)比實(shí)驗(yàn)結(jié)果可以驗(yàn)證，集成了改進(jìn)后的邊際Fisher準(zhǔn)則的算法比集成了原始MFA的算法更有效地提高分類器的準(zhǔn)確率.

2.2自適應(yīng)訓(xùn)練樣本篩選和域間遷移學(xué)習(xí)

針對(duì)域間特征分布的差異性以及相關(guān)性，本文通過信息矩陣學(xué)習(xí)的方式，學(xué)習(xí)出目標(biāo)域到源域的映射矩陣.源域A和目標(biāo)源B的類別數(shù)均為c，其中A有nA個(gè)樣本點(diǎn)，設(shè)為， B中有nB個(gè)樣本點(diǎn)，設(shè)為

2.2.1訓(xùn)練樣本對(duì)自適應(yīng)篩選

訓(xùn)練樣本對(duì)的選擇會(huì)直接影響到訓(xùn)練結(jié)果的好壞.在文獻(xiàn)［16］提出的ARC-t算法，對(duì)于樣本對(duì)的選擇是隨機(jī)選取的.但是事實(shí)上，如果樣本對(duì)恰好選擇到源域中的奇異點(diǎn)，那么目標(biāo)域就會(huì)被映射到對(duì)應(yīng)類別的邊界區(qū)域，類間差異性就會(huì)變得不明顯，如圖4所示.

為了避免源域中奇異點(diǎn)對(duì)于學(xué)習(xí)特征轉(zhuǎn)換的影響，特征映射學(xué)習(xí)的訓(xùn)練樣本對(duì)不能隨機(jī)選取.本文其中一個(gè)主要的創(chuàng)新點(diǎn)是考慮到域間特征轉(zhuǎn)換學(xué)習(xí)的效果與訓(xùn)練樣本對(duì)的質(zhì)量是緊密相關(guān)的，我們提出了一種通過去除邊緣奇異點(diǎn)篩選出訓(xùn)練樣本對(duì)的算法，算法詳細(xì)過程如下：

圖4　圓形虛線內(nèi)是源域的同類樣本的密集區(qū)，源域的其他樣本點(diǎn)被稱為奇異點(diǎn)Fig.4The concentrated region of samples belonging to the same category in the source domain is surrounded by the round dashed line，while the other samples in the source domain are called singular points

1）計(jì)算每一個(gè)樣本點(diǎn) xxxi與同類其余樣本點(diǎn)間的距離，記為Sij，在本文中，距離統(tǒng)一都用點(diǎn)積作為度量標(biāo)準(zhǔn)，即

3）針對(duì)每個(gè)i（1≤i≤ne）對(duì)Si按降序進(jìn)行排序，倒數(shù)k3個(gè)樣本點(diǎn)會(huì)被認(rèn)為是奇異點(diǎn)，其余樣本點(diǎn)組成樣本候選集；

4）從上述候選集中隨機(jī)均勻選出kA個(gè)樣本點(diǎn)，該集合記為T（A），這些點(diǎn)將與B域中的kB個(gè)標(biāo)記樣本點(diǎn)（記為T（B））組成樣本對(duì).隨機(jī)選取是為了避免將B域中的樣本過分地映射到A域的中心位置，而是均勻地映射到A域的較密集區(qū)域.

至此，域轉(zhuǎn)換學(xué)習(xí)中所用到的訓(xùn)練樣本對(duì)的選擇結(jié)束.算法最后得到的樣本對(duì)將作為域間特征轉(zhuǎn)換的訓(xùn)練樣本對(duì).

圖5　域間特征轉(zhuǎn)換示意圖（灰色表示源域，黑色表示目標(biāo)域）Fig.5The diagrammatic sketch of features transformation between the target domain and source domain（The gray points represent the target domain，while the balck ones represent the source domain.）

2.2.2域間遷移學(xué)習(xí)

樣本間相似性函數(shù)可表示為

其中，fi（XTWY）是域間的約束條件.為了簡(jiǎn)化算法，可以選擇對(duì)W使用LogDet正則化.正則化函數(shù)γ（W）可以寫成W的奇異值之和的形式，即如果σ1，σ2，···，σp是W的奇異值，那么γ（W）可以寫成的形式，γj是一個(gè)標(biāo)量函數(shù).但是這個(gè)方法有一個(gè)很大的局限性就是使用LogDet正則化需要W是正定矩陣，為避免這個(gè)限制條件，本文提出用樣本之間特征向量的點(diǎn)乘來表示樣本間的相似性函數(shù)［16］，該問題的目標(biāo)函數(shù)可以用內(nèi)積的形式表示.設(shè)內(nèi)積KA=XTX，KB=YTY，該問題的最優(yōu)解，其中L是一個(gè)nA×nB的矩陣［12］.那么，該問題的約束函數(shù)可以表示為

因此算法的計(jì)算過程中只涉及特征向量?jī)?nèi)積的計(jì)算問題.

其中，l和u分別是兩個(gè)樣本點(diǎn)相似性的上限和下限參數(shù).對(duì)于同一類別的樣本對(duì)來說，相似性應(yīng)該更大；對(duì)于不同類別的樣本對(duì)來說，相似性應(yīng)該更小.

綜上，域間遷移學(xué)習(xí)的過程可以表述如下.設(shè)σ1，σ2，···，σp是W的奇異值，γj是一個(gè)標(biāo)量函數(shù)，本文采用的標(biāo)量函數(shù)，那么就是一個(gè)弗羅貝尼烏斯范數(shù)形式.則該遷移學(xué)習(xí)問題的求解可以用以下形式描述：

線性轉(zhuǎn)換有時(shí)并不能很好地表達(dá)出域間的映射關(guān)系，而非線性轉(zhuǎn)換則能較好地表達(dá)，所以算法可以引入特征的核化空間.該算法的核化就是將算法中出現(xiàn)特征向量?jī)?nèi)積的地方用相應(yīng)的核化函數(shù)表示.當(dāng)引入原始核函數(shù)，核化之后，則W表示的是在希爾伯特（Hilbert）空間中的一個(gè)算子，維度與和的維度相關(guān).因此，如果引入的原始核函數(shù)為徑向基函數(shù)（Radial basis function，RBF）核，則W的維數(shù)就是無窮大.盡管不能顯式計(jì)算W，但是仍然可以根據(jù)文獻(xiàn)［23］中的核化算法將W遞歸展開成如下形式：

其中，為約束訓(xùn)練樣本對(duì)，σij為Bregman投影系數(shù)（Bregman projection parameter）.此時(shí)我們可定義一個(gè)新的核函數(shù)則核化之后的相似性函數(shù)可以用新引入的核化函數(shù)表示，即，因此算法中出現(xiàn)特征向量?jī)?nèi)積的地方用相應(yīng)的核函數(shù)表示，算法的核化就完成了.該凸優(yōu)化問題有很多方法可以求解，本文采用Bregman迭代算法進(jìn)行求解，可以很快得到收斂解，具體求解過程可以參考文獻(xiàn)［27］.

3　實(shí)驗(yàn)結(jié)果

本文提出的算法采用Matlab編程實(shí)現(xiàn).

3.1數(shù)據(jù)庫

實(shí)驗(yàn)所用數(shù)據(jù)庫［3］包含了三個(gè)子數(shù)據(jù)域，分別是webcam，amazon和dslr.在這三個(gè)域中分別有31個(gè)物體類別，涵蓋了生活中常見的物體，例如椅子、背包、鍵盤等.這三個(gè)數(shù)據(jù)域相互之間是有差異的.首先，webcam域中的圖片是帶有閃關(guān)燈的網(wǎng)絡(luò)攝像頭拍攝得到的，具有姿態(tài)各異，低分辨率（640×480），背景變化等的特點(diǎn)，每一類別中有5個(gè)不一樣的對(duì)象且每個(gè)對(duì)象平均有3個(gè)不同的視角，webcam域共有795張圖片.其次，amazon域中的圖片是從網(wǎng)上收集的，具有畫面單一、物體居中、白色背景等特點(diǎn)，每一類別中平均有90張圖片，共計(jì)2813張圖片.最后，dslr域中的圖片是由數(shù)碼單鏡頭反光（Single lens reflex，SLR）相機(jī)在自然環(huán)境中拍攝得到的，具有背景多樣，高分辨率4288×2848，自然光線的特點(diǎn)，每一類別中有5個(gè)不同對(duì)象，每個(gè)對(duì)象平均有3個(gè)不同的視角.dslr域共有498張圖片.

圖6　webcam，amazon和dslr中椅子類別中的樣例圖Fig.6The samples image of chair in three domain：webcam，amazon，dslr

3.2本文算法的具體實(shí)現(xiàn)和參數(shù)

本文提出算法（記為mmf）實(shí)驗(yàn)的具體實(shí)現(xiàn)方案如下.如果每個(gè)算法采用的圖像特征不是統(tǒng)一的，那么很難對(duì)這些算法做比較.為了能更好地與前人取得的成果做對(duì)比，本實(shí)驗(yàn)中所用到的圖像特征均采用文獻(xiàn)［3］中提供的SURF（Speeded up robust features）特征，將所有圖片灰度化并提取其SURF特征，最后被量化成800維的特征.為保證各對(duì)比算法實(shí)驗(yàn)結(jié)果的可比性，所有算法中的參數(shù)KA和KB均保持一致.從A中選取KA個(gè)樣本點(diǎn)（當(dāng)A域?yàn)閍mazon時(shí)，取KA=20，當(dāng)A域?yàn)閣ebcam或dslr時(shí)，取KA=15），與B域中隨機(jī)選擇的3個(gè)樣本點(diǎn)組成樣本對(duì)，取KB=3.首先訓(xùn)練出映射矩陣M，本文借鑒了對(duì)比方法中采用的核函數(shù)，利用的是高斯RBF核函數(shù)，其中σ=1，λ=103.通過迭代學(xué)習(xí)出域間的轉(zhuǎn)換W，本實(shí)驗(yàn)采用kNN分類器，其中k=1，通過20次的隨機(jī)實(shí)驗(yàn)，最終取所有實(shí)驗(yàn)的分類準(zhǔn)確率的平均值作為本實(shí)驗(yàn)的平均分類準(zhǔn)確率.具體的實(shí)驗(yàn)參數(shù)設(shè)置如表1所示.

表1　本文算法的實(shí)驗(yàn)參數(shù)設(shè)置Table 1The experiment parameters set of our method

3.3實(shí)驗(yàn)結(jié)果及分析

本文方法與近年來具有代表性的一些相關(guān)研究成果進(jìn)行了實(shí)驗(yàn)對(duì)比.基于深度學(xué)習(xí)的算法需要源域是目標(biāo)域的父集［15］并且需要海量訓(xùn)練數(shù)據(jù)保證其準(zhǔn)確率.考慮到本文實(shí)驗(yàn)所用的數(shù)據(jù)庫沒有其對(duì)應(yīng)的大樣本庫且其最小的數(shù)據(jù)域的樣本僅有498個(gè)，我們沒有加入基于深度學(xué)習(xí)的算法對(duì)比.對(duì)比實(shí)驗(yàn)中的基于SVM的算法和基于域間特征轉(zhuǎn)換的算法描述如下：

1）kNN-ab是在A域中的標(biāo)記樣本上訓(xùn)練出kNN分類器，直接將B域中的測(cè)試數(shù)據(jù)用在該kNN分類器上計(jì)算分類的準(zhǔn)確率.

2）kNN-bb是將B域中的標(biāo)記樣本和A域中的標(biāo)記樣本作為訓(xùn)練樣本訓(xùn)練出kNN分類器.其余樣本作為測(cè)試樣本計(jì)算分類準(zhǔn)確率.

3）symm是Saenko等提出的算法［3］.該算法主要通過信息論矩陣學(xué)習(xí)實(shí)現(xiàn)域間轉(zhuǎn)換并訓(xùn)練出kNN分類器來提高目標(biāo)域上的分類準(zhǔn)確率.

4）ARC-t是Kulis等提出的算法［16］.該算法是利用域間的非線性轉(zhuǎn)換的學(xué)習(xí)解決域間差異性問題，結(jié)合源域訓(xùn)練的kNN分類器對(duì)目標(biāo)域樣本進(jìn)行分類.

5）gfk是文獻(xiàn)［20］中提出的算法，是通過基于測(cè)地流核（Geodesic flow kernel）的遷移學(xué)習(xí)來訓(xùn)練目標(biāo)域上的kNN分類器.

6）svm-s是利用A域中的標(biāo)記樣本訓(xùn)練出的SVM分類器.

7）hfa是文獻(xiàn)［28］提出的，該方法提出了一種新的邊緣最大化的特征表示和svm損失函數(shù)相結(jié)合的算法，最終通過SVM分類器達(dá)到提高目標(biāo)域的分類準(zhǔn)確度的目的.

表2　在三個(gè)數(shù)據(jù)域上的分類準(zhǔn)確率（%）（加粗字體表示最佳性能，縮寫：a：amazom，w：webcam，d：dslr）Table 2Accuracy rates in the three domains（%）（The bold font represents the best performance，abbreviation：a：amazom，w：webcam，d：dslr.）

表2給出了本文算法和其他算法的對(duì)比結(jié)果.其中mmf-Euclid是集成了原始MFA的分類器算法，mmf是集成了本文改進(jìn)后的邊際Fisher準(zhǔn)則的分類器算法.從實(shí)驗(yàn)結(jié)果可以看出，mmf的分類準(zhǔn)確度要比mmf-Euclid更高，因此本文采用改進(jìn)后的邊際Fisher準(zhǔn)則比原始MFA更有助于提高本文的分類器算法的準(zhǔn)確率.與kNN-ab和kNN-bb的實(shí)驗(yàn)結(jié)果相比較，本文提出的算法通過將目標(biāo)域的樣本映射到源域的學(xué)習(xí)過程而不是簡(jiǎn)單地融合了兩個(gè)域的標(biāo)記樣本數(shù)據(jù)，有效提高了目標(biāo)域上的分類準(zhǔn)確率.從基于SVM的算法和基于域間特征轉(zhuǎn)換的算法的對(duì)比實(shí)驗(yàn)結(jié)果中，我們可以看出本文的算法充分考慮了源域和目標(biāo)域的特征分布及其差異性，通過對(duì)源域和目標(biāo)域的特征映射的學(xué)習(xí)過程使得目標(biāo)域的分類準(zhǔn)確率上有提高，并且在平均的識(shí)別準(zhǔn)確率上是最高的.

最后，我們不僅驗(yàn)證了本文提出的算法能夠獲得高準(zhǔn)確率，而且在圖7中還驗(yàn)證了該算法的性能隨著目標(biāo)域可用標(biāo)記樣本數(shù)的增大而提升.源域中的訓(xùn)練樣本數(shù)為20，目標(biāo)域中可用標(biāo)記的樣本數(shù)從1到5變化.從圖7可以看到這5種方法都是遞增的趨勢(shì)，本文的方法在整體上要比其他方法好.

綜上，與其他算法相比，本文提出的小樣本集的分類器設(shè)計(jì)算法能夠更充分考慮到了源域中不同類間的可分離性、同類間的緊湊性、域間特征分布的差異性以及域間特征轉(zhuǎn)換學(xué)習(xí)中學(xué)習(xí)樣本對(duì)的選擇過程，并實(shí)現(xiàn)了目標(biāo)到源域特征適應(yīng)性更好的非線性轉(zhuǎn)換.通過目標(biāo)域中少量標(biāo)記樣本特征的轉(zhuǎn)換學(xué)習(xí)，隨著標(biāo)記樣本數(shù)的增加，學(xué)習(xí)的分類器性能就越好.

圖7　在目標(biāo)域上的分類準(zhǔn)確率隨目標(biāo)域中可用標(biāo)記樣本數(shù)量的變化曲線（其中源域中選擇了20個(gè)標(biāo)記樣本，源域?yàn)閐slr，目標(biāo)域?yàn)閣ebcam）Fig.7The accuracy rate curves in the target domain varying with the number of labeled samples in the target domain（Where 20 labeled samples in source domain is selected，the source domain here is dslr，while the target domain is webcam.）

4　結(jié)論

本文提出了一種新的基于邊際Fisher準(zhǔn)則和遷移學(xué)習(xí)的小樣本集的分類器設(shè)計(jì)算法.通過對(duì)源域數(shù)據(jù)的特征分布的優(yōu)化和目標(biāo)域到源域的遷移學(xué)習(xí)，實(shí)現(xiàn)了利用大量標(biāo)記同構(gòu)樣本集來提升小樣本集上分類準(zhǔn)確率.與最近針對(duì)小樣本數(shù)據(jù)集上的分類器設(shè)計(jì)問題的算法進(jìn)行對(duì)比，本文提出的算法不僅在小樣本數(shù)據(jù)集上的分類器準(zhǔn)確率有所提高，并且隨著小樣本集中的標(biāo)記樣本數(shù)量的增加，本文提出的分類器設(shè)計(jì)算法的性能提升得也更明顯.

實(shí)驗(yàn)結(jié)果雖然證實(shí)了本文算法的有效性，但依然有待改進(jìn)的地方.其中一個(gè)是可以將該算法在邊際Fisher準(zhǔn)則的基礎(chǔ)上引入核化函數(shù)；另外一點(diǎn)是實(shí)驗(yàn)中用的是800維的SURF特征，不排除有更好的特征表示方法.因此，以上兩點(diǎn)將是以后工作研究的重點(diǎn).

References

1 Cristianini N，Shawe-Taylor J，Kandola J S.Spectral kernel methods for clustering.In：Proceedings of the 2001 Advances in Neural Information Processing Systems 14（NIPS01）.London：MIT，2002.649-655

2 Bosch A，Zisserman A，Munoz X.Representing shape with a spatial pyramid kernel.In：Proceedings of the 6th ACM International Conference on Image&Video Retrieval.New York：ACM，2007.401-408

3 Saenko K，Kulis B，F(xiàn)ritz M，Darrell T.Adapting visual category models to new domains.In：Proceedings of the 11th European Conference on Computer Vision，Lecture Notes in Computer Science.Heraklion，Crete，Greece：Springer，2010.213-226

4 Patel V M，Gopalan R，Li R，Chellappa R.Visual domain adaptation：a survey of recent advances.IEEE Signal Processing Magazine，2015，32（3）：53-69

5 Hoffman J，Rodner E，Donahue J，Darrell T，Saenko K.Efficient learning of domain-invariant image representations. arXiv：1301.3224，2013.

6 Shao L，Zhu F，Li X.Transfer learning for visual categorization：a survey.IEEE Transactions on Neural Networks &Learning Systems，2015，26（5）：1019-1034

7 Gu Xin，Wang Shi-Tong，Xu Min.A new cross-multidomain classificationalgorithmanditsfastversionforlarge datasets.Acta Automatica Sinica，2014，40（3）：531-547（顧鑫，王士同，許敏.基于多源的跨領(lǐng)域數(shù)據(jù)分類快速新算法.自動(dòng)化學(xué)報(bào)，2014，40（3）：531-547）

8 Zhang Qian，Li Ming，Wang Xue-Song，Cheng Yu-Hu，Zhu Mei-Qiang.Instance-based transfer learning for multi-source domains.Acta Automatica Sinica，2014，40（6）：1176-1183（張倩，李明，王雪松，程玉虎，朱美強(qiáng).一種面向多源領(lǐng)域的實(shí)例遷移學(xué)習(xí).自動(dòng)化學(xué)報(bào)，2014，40（6）：1176-1183）

9 Yang J，Yan R，Hauptmann A G.Cross-domain video concept detection using adaptive SVMS.In：Proceedings of the 15th ACM International Conference on Multimedia.New York：ACM，2007.188-197

10 Wang Xue-Song，Pan Jie，Cheng Yu-Hu，Cao Ge.Selfadaptive transfer for decision trees based on similarity metric.Acta Automatica Sinica，2013，39（12）：2186-2192（王雪松，潘杰，程玉虎，曹戈.基于相似度衡量的決策樹自適應(yīng)遷移.自動(dòng)化學(xué)報(bào)，2013，39（12）：2186-2192）

11 Bergamo A，Torresani L.Exploiting weakly-labeled web images to improve object classification：a domain adaptation approach.In：Proceedings of the Advances in Neural Information Processing Systems 23.Vancouver，British Columbia，Canada：Curran Associates，Inc.，2010.181-189

12 Li X.Regularized Adaptation：Theory，Algorithms and Applications［Ph.D.dissertation］，University of Washington，USA，2007

13 Dong Ai-Mei，Wang Shi-Tong.A shared latent subspace transfer learning algorithm using SVM.Acta Automatica Sinica，2014，40（10）：2276-2287（董愛美，王士同.共享隱空間遷移SVM.自動(dòng)化學(xué)報(bào)，2014，40（10）：2276-2287）

14 Oquab M，Bottou L，Laptev I，Sivic J.Learning and transferring mid-level image representations using convolutional neural networks.In：Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）. Columbus，OH：IEEE，2014.1717-1724

15 Razavian A S，Azizpour H，Sullivan J，Carlsson S.CNN features off-the-shelf：an astounding baseline for recognition. Computer Vision&Pattern Recognition Workshops，2014. 512-519

16 Kulis B，Saenko K，Darrell T.What you saw is not what you get：domain adaptation using asymmetric kernel transforms.In：Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Providence，RI：IEEE，2011.1785-1792

17 Farhadi A，Tabrizi M K.Learning to recognize activities from the wrong view point.In：Proceedings of the 10th European Conference on Computer Vision—ECCV 2008. Marseille，F(xiàn)rance：Springer，2008.154-166

18 Chopra S，Balakrishnan S，Gopalan R.DLID：deep learning for domain adaptation by interpolating between domains. In：Proceedings of the ICML Workshop on Representation Learning.Atlanta，Georgia，USA，2013.

19 Wang H，Nie F P，Huang H，Ding C.Dyadic transfer learning for cross-domain image classification.In：Proceedings of the 2011 IEEE International Conference on Computer Vision.Barcelona：IEEE，2011.551-556

20 Gong B，Shi Y，Sha F，Grauman，K.Geodesic flow kernel for unsupervised domain adaptation.In：Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition.Providence，RI：IEEE，2012.2066-2073

21 Long M，Wang J，Sun J，Yu P S.Domain invariant transfer kernel learning.IEEE Transactions on Knowledge&Data Engineering，2015，27（6）：1519-1532

22 Shao L，Liu L，Li X L.Feature learning for image classification via multiobjective genetic programming.IEEE Transactions on Neural Networks and Learning Systems，2014，25（7）：1359-1371

23 Davis J V，Kulis B，Jain P，Sra S，Dhillon I S.Informationtheoretic metric learning.In：Proceedings of the 24th International Conference on Machine Learning.Corvallis，Oregon，USA：ACM，2007.209-216

24 Yan S C，Xu D，Zhang B Y，Zhang H J，Yang Q，Lin S.Graph embedding and extensions：a general framework for dimensionality reduction.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29（1）：40-51

25 Li Y L，Liu P，Du H S，Li Z，Liu J H，Yu D Y，Li M Q. Marginal fisher analysis-based feature extraction for identification of drug and explosive concealed by body packing. Analytical Methods，2013，5（22）：6331-6337

26 Wang Z Q，Sun X.Optimal kernel marginal fisher analysis for face recognition.Journal of Computers，2012，7（9）：2298-2305

27 Al Censor Y，Zenios S A.Parallel optimization：theory，algorithms and applications.Scalable Computing：Practice& Experience.New York：Oxford University Press，1997.

28 Duan L X，Xu D，Tsang I W.Learning with augmented features for heterogeneous domain adaptation.In：Proceedings of the 29th International Conference on Machine Learning. Edinburgh，Scotland，UK：Omnipress，2012.711-718

舒醒浙江大學(xué)信息與電子工程學(xué)院碩士研究生.主要研究方向?yàn)橛?jì)算機(jī)視覺，圖像分類.

E-mail：21331093@zju.edu.cn

（SHU XingMaster student at the CollegeofInformationScienceand Electronic Engineering，Zhejiang University.Her research interest covers computer vision and image classification.）

于慧敏浙江大學(xué)信息與電子工程學(xué)院教授.主要研究方向?yàn)獒t(yī)學(xué)圖像處理，計(jì)算機(jī)視覺.本文通信作者.

E-mail：yhm2005@zju.edu.cn

（YU Hui-MinProfessor at the College of Information Science and Electronic Engineering，Zhejiang University.His research interest covers medical image processing and computer vision.Corresponding author of this paper.）

鄭偉偉浙江大學(xué)信息與電子工程學(xué)院博士研究生.主要研究方向?yàn)閳D像匹配，跟蹤技術(shù).

E-mail：3090102748@zju.edu.cn

（ZHENG Wei-WeiPh.D.candidate at the College of Information Science and Electronic Engineering，Zhejiang University.His research interest covers object matching and target tracking.）

謝奕浙江大學(xué)信息與電子工程學(xué)院博士研究生.主要研究方向?yàn)閳D像匹配，跟蹤技術(shù).

E-mail：Yixie@zju.edu.cn

（XIE YiPh.D.candidate at the CollegeofInformationScienceand Electronic Engineering，Zhejiang University.His research interest covers object matching and target tracking.）

胡浩基浙江大學(xué)信息與電子工程學(xué)院副教授.主要研究方向?yàn)閳D像處理，計(jì)算機(jī)視覺.

E-mail：haoji_hu@zju.edu.cn

（HU Hao-JiAssistant professor at the College of Information Science and Electronic Engineering，Zhejiang University.His research interest covers image processing and computer vision.）

唐慧明浙江大學(xué)信息與電子工程學(xué)院副教授.主要研究方向?yàn)閳D像識(shí)別，計(jì)算機(jī)視覺.

E-mail：tanghm@isee.zju.edu.cn

（TANG Hui-MingAssistant professor at the College of Information Science and Electronic Engineering，Zhejiang University.His research interest covers image recognition and computer vision.）

Manuscript September 9，2015；accepted December 11，2015

Classifier-designing Algorithm on a Small Dataset Based on Margin Fisher Criterion and Transfer Learning

SHU Xing1YU Hui-Min1，2ZHENG Wei-Wei1XIE Yi1HU Hao-Ji1TANG Hui-Ming1

It has great practical significance to design a classifier on a small dataset（target domain）with the help of a large dataset（source domain）.Since feature distribution varies on different datasets，the classifiers trained on the source domain cannot perform well on a target domain.To solve the problem，we propose a novel classifier-designing algorithm based on transfer learning theory.Firstly，to improve the compass of the same category and separateness of different categories in the source domain，this paper utilizes the extended margin Fisher criterion where the distance is measured by the inner product between data.Secondly，to select good sample pairs for transfer learning，this paper presents an algorithm to get rid of marginal singular points by selecting high-density samples in the source domain.The non-linear feature transformation mapping the target domain to the source domain is learned in the kernel space.Finally，k-nearest neighbor（kNN）classifiers are trained for classification.Compared with the existing works，this paper not only extends the margin Fisher criterion，but also applies the transfer learning theory based on the algorithm of selecting training sample pairs to design classifiers of a small dataset.We experimentally demonstrate the superiority of our method to effectively improve the performance of classifiers on the general datasets.

Classifiers on a small dataset，transfer learning，margin Fisher criterion，k-nearest neighbor（kNN）classifiers，domain transformation

10.16383/j.aas.2016.c150560

2015-09-09錄用日期2015-12-11

國(guó)家自然科學(xué)基金（61471321），教育部-中國(guó)移動(dòng)科研基金（MCM20150503），國(guó)家自然科學(xué)基金（61202400），浙江省自然科學(xué)基金（LQ12F02014）資助

Supported by National Natural Science Foundation of China（61471321），Ministry of Education-China Mobile Research Fund（MCM20150503），National Natural Science Foundation of China（61202400），and Natural Science Foundation of Zhejiang Province（LQ12F02014）

本文責(zé)任編委胡清華

Recommended by Associate Editor HU Qing-Hua

1.浙江大學(xué)信息與電子工程學(xué)院杭州3100272.浙江大學(xué)CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室杭州310027

1.College of Information Science and Electronic Engineering，Zhejiang University，Hangzhou 3100272.The State Key Laboratory of CAD&CG，Zhejiang University，Hangzhou 310027

Shu Xing，Yu Hui-Min，Zheng Wei-Wei，Xie Yi，Hu Hao-Ji，Tang Hui-Ming.Classifier-designing algorithm on a small dataset based on margin Fisher criterion and transfer learning.Acta Automatica Sinica，2016，42（9）：1313-1321