陶 洋，楊 雯，翁 善，林飛鵬

(重慶郵電大學(xué) 通信與信息工程學(xué)院，重慶 400065)

0 引 言

在實(shí)際應(yīng)用中，傳統(tǒng)機(jī)器學(xué)習(xí)算法面臨著缺乏標(biāo)簽樣本的困境。近年來，遷移學(xué)習(xí)和領(lǐng)域自適應(yīng)方法得到廣泛研究，這類方法將源域(訓(xùn)練集)豐富的知識(shí)遷移到目標(biāo)域(測(cè)試集)來解決缺乏標(biāo)簽問題[1-3]?；谔卣鞅磉_(dá)的領(lǐng)域適配方法通過原始空間或投影空間中的特征表示實(shí)現(xiàn)源域和目標(biāo)域之間的對(duì)齊[4-6]。Zhang等[7]提出了隱稀疏域遷移模型，在域之間聯(lián)合學(xué)習(xí)稀疏編碼和最優(yōu)子空間，挖掘子空間中源域和目標(biāo)域共有的隱藏結(jié)構(gòu)。B.Sun等[8]提出子空間分布對(duì)齊法，在子空間對(duì)齊的基礎(chǔ)上增加了概率分布自適應(yīng)，對(duì)源域和目標(biāo)域進(jìn)行二階特征變換，實(shí)現(xiàn)源域和目標(biāo)域數(shù)據(jù)對(duì)齊。然而這些方法都沒有很好地利用樣本的標(biāo)簽信息提高分類性能，因此一些方法結(jié)合了分類器設(shè)計(jì)和特征表示算法的優(yōu)點(diǎn)，利用了樣本的標(biāo)簽信息增強(qiáng)了模型的判別性[9-11]，還有一些方法利用樣本標(biāo)簽，挖掘了重構(gòu)矩陣所包含的樣本之間的類內(nèi)與類間信息，提高模型的分類性能[12]。本文中，主要研究了基于特征表示的領(lǐng)域自適應(yīng)，并提出了基于遷移子空間的半監(jiān)督領(lǐng)域自適應(yīng)方法(semi-supervised domain adaptation via transfer subspace，SSDTS)。該方法利用類別標(biāo)簽先驗(yàn)信息，進(jìn)一步分析同類樣本之間的相似性和異類樣本之間的差異性，得到鑒別性共享子空間和具有塊對(duì)角結(jié)構(gòu)的類重構(gòu)矩陣，最終提高模型的分類性能。

1 相關(guān)理論

1.1 子空間學(xué)習(xí)

子空間學(xué)習(xí)(subspace learning，SL)是基于某一特定準(zhǔn)則，將原始高維的樣本變換到低維、有意義的子空間中，其目的是為了找出數(shù)據(jù)的內(nèi)在結(jié)構(gòu)[13,14]，得到能反映原始樣本分類本質(zhì)的低維特征。子空間學(xué)習(xí)的任務(wù)有兩個(gè)，一是尋找針對(duì)模式最具鑒別性的描述，用較低維度的特征描述原始樣本并保留分類所需的鑒別信息。二是原始數(shù)據(jù)進(jìn)行維度約減后，能減少后續(xù)運(yùn)算的計(jì)算量，提高運(yùn)算速度。

1.2 稀疏表示和低秩表示

子空間學(xué)習(xí)方法中的兩大重要理論包括稀疏表示(sparse representation，SR)和低秩表示(low-rank representation，LRR)。其中稀疏問題來自域信號(hào)處理領(lǐng)域的壓縮感知(compressive sensing，CS)。稀疏性是指為了更好地對(duì)復(fù)雜的多維圖像進(jìn)行描述，可以將圖像信號(hào)看成是由適當(dāng)選取的一組過完備基中少數(shù)幾個(gè)基的線性組合，即用最少基的線性組合來表達(dá)圖像信號(hào)，得到信號(hào)在這組基上的稀疏表示。稀疏表示能從大量樣本中發(fā)掘數(shù)據(jù)的內(nèi)在結(jié)構(gòu)，具有良好的自適應(yīng)性和鑒別性，然而其在求解過程中缺乏對(duì)整體樣本結(jié)構(gòu)的全局約束，因此難以有效發(fā)掘樣本的全局結(jié)構(gòu)。矩陣的稀疏性可以通過秩來度量，具有很強(qiáng)的全局約束。低秩表示系數(shù)矩陣可以增強(qiáng)對(duì)噪聲的抵抗能力。當(dāng)數(shù)據(jù)來自多個(gè)獨(dú)立子空間時(shí)，低秩表示能夠準(zhǔn)確發(fā)現(xiàn)數(shù)據(jù)本身蘊(yùn)含的多子空間結(jié)構(gòu)。此時(shí)獲得的低秩表示系數(shù)矩陣會(huì)呈現(xiàn)塊對(duì)角形式，每個(gè)塊對(duì)應(yīng)每個(gè)子空間。

2 基于遷移子空間的半監(jiān)督領(lǐng)域自適應(yīng)方法

2.1 方法概述

圖1 SSDTS算法整體框架

2.2 問題建模

遷移子空間學(xué)習(xí)的目標(biāo)是找到一個(gè)投影矩陣，通過投影矩陣將源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)投影到共享子空間，在子空間中源域和目標(biāo)域樣本分布大致相同。本文提出的方法假設(shè)在共享子空間中目標(biāo)域數(shù)據(jù)可以由源域數(shù)據(jù)線性重構(gòu)，可形式化的表示為

(1)

其中，φ(·)是原始特征空間到再生希爾伯特空間的非線性映射，P是投影矩陣，Z是重構(gòu)矩陣。稀疏表示是局部約束，能夠發(fā)現(xiàn)數(shù)據(jù)間的局部線性關(guān)系，對(duì)重構(gòu)矩陣Z施加稀疏約束，不僅可以保留數(shù)據(jù)的局部結(jié)構(gòu)，而且使每個(gè)目標(biāo)域樣本可以被少量源域樣本更好地重構(gòu)。低秩性不僅有利于揭示塊對(duì)角結(jié)構(gòu)，還能夠保留數(shù)據(jù)的全局結(jié)構(gòu)。對(duì)重構(gòu)矩陣Z施加低秩約束使矩陣具有塊對(duì)角結(jié)構(gòu)，獲得源域樣本和目標(biāo)域樣本的一致表示，使源域樣本和目標(biāo)域樣本在共享子空間中可以很好地對(duì)齊。對(duì)重構(gòu)矩陣Z同時(shí)施加稀疏和低秩約束后可得

(2)

(3)

(4)

(5)

利用樣本的先驗(yàn)類別信息，將嚴(yán)格的二值標(biāo)簽矩陣松弛為變量矩陣，增大投影后不同類樣本之間的距離，挖掘樣本內(nèi)蘊(yùn)含的鑒別信息，加強(qiáng)投影后子空間中樣本的判別性，以此提高分類性能。式(5)可以表示為

(6)

圖嵌入方法能夠保證相同類的樣本在轉(zhuǎn)換后能緊密地聚集在一起，避免過擬合。引入了類緊致圖(class compactness graph，CCG)作為正則項(xiàng)。在類緊致圖中，同一個(gè)類的兩個(gè)不同樣本通過無向邊連接，因此類緊致圖的權(quán)重定義為

(7)

其中，σ表示核參數(shù)，可以通過下式(8)使得轉(zhuǎn)換后的同類樣本緊密聚集在一起

(8)

其中，fi=xiP表示轉(zhuǎn)換后的第i個(gè)訓(xùn)練樣本xi，L表示拉普拉斯圖，定義為L=D-W，D為對(duì)角矩陣，對(duì)角元素為Dij=∑jWij。聯(lián)合式(6)和式(8)，最終定義的目標(biāo)函數(shù)如下

(9)

2.3 模型優(yōu)化求解

(10)

其中，k(·)是核函數(shù)，滿足條件k(xi,xj)=〈φ(xi),φ(xj)〉=φ(xi)Tφ(xj)。令K=φ(X)Tφ(X)，Ks=φ(X)Tφ(Xs)和Kt=φ(X)Tφ(Xt)表示核格列姆矩陣。通常最優(yōu)投影矩陣P可以直觀地表示為φ(X)的線性組合，即P=φ(X)Φ。將其代入到式(10)中，可以得到

(11)

為了求解式(11)，采取了變量交替優(yōu)化策略，即固定其它變量來迭代更新每個(gè)變量。通過對(duì)重構(gòu)矩陣Z引入兩個(gè)輔助變量J和T，將引入新輔助變量的最小化問題重新寫成

(12)

通過增強(qiáng)的拉格朗日乘數(shù)(augmented lagrange multiplier，ALM)，上述式(12)可以轉(zhuǎn)換為以下最小化問題

(13)

其中，Y1和Y2是拉格朗日乘子，μ>0是懲罰參數(shù)。上述式(13)問題可以通過不精確拉格朗日法(inexact augmented lagrange multiplier，IALM)解決，具體步驟如下所示：

步驟1更新Φ，固定變量Z，J，T和N，解決優(yōu)化式(14)來更新Φ

(14)

(15)

其中，式(15)中的A=Y+B⊙M。

步驟2更新J，去掉與J無關(guān)的項(xiàng)后，式(13)可以重新寫成下列形式

(16)

式(16)可以進(jìn)一步寫成下列形式

(17)

通過奇異值閾值(SVT)算子可以有效地解決式(17)。

步驟3更新T，去掉與T無關(guān)的項(xiàng)后，式(13)可以重新寫成下列形式

(18)

式(18)可以進(jìn)一步寫成下列形式

(19)

利用收縮算子對(duì)式(19)求解，結(jié)果如下所示

(20)

步驟4更新Z，去掉與Z無關(guān)的項(xiàng)后，式(13)可以重新寫成式(21)形式

(21)

通過式(21)很難得到Z的封閉解，根據(jù)梯度下降算子，可以得到解ZK+1的表達(dá)式

(22)

其中，Z的導(dǎo)數(shù)可以表示為式(23)

(23)

步驟5更新N，可以通過解決式(24)問題更新N

(24)

令ΦTK-Y=I，考慮N的第(i,j)項(xiàng)Nij，可以得到下式

(25)

Nij的最優(yōu)解是

Nij=max(IijHij,0)

(26)

因此，N的最優(yōu)解也可以改寫為

N=max(I⊙H,0)

(27)

表1中詳細(xì)總結(jié)了所提算法的迭代優(yōu)化過程。

表1 SSDTS算法迭代流程

3 實(shí)驗(yàn)驗(yàn)證與結(jié)果分析

本文使用的基準(zhǔn)數(shù)據(jù)集分別是：Office、Caltech256、COIL、MNIST和USPS數(shù)據(jù)集。為了驗(yàn)證本論文提出算法的性能，在上述基準(zhǔn)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，并與多個(gè)相關(guān)的經(jīng)典領(lǐng)域自適應(yīng)算法，即SGF、GFK、JDA、LTSL、SA、LSDT、CORAL、LRSR算法進(jìn)行對(duì)比。本文提出的SSDTS算法選擇K-最近鄰分類器作為分類器。由于SSDTS算法是半監(jiān)督遷移學(xué)習(xí)算法，目標(biāo)域中存在部分標(biāo)簽，故使用源域樣本與少量有標(biāo)簽?zāi)繕?biāo)域樣本訓(xùn)練分類器，然后使用無標(biāo)簽?zāi)繕?biāo)域樣本測(cè)試分類效果。文中所有實(shí)驗(yàn)均重復(fù)了20次，最后記錄平均分類正確率。

3.1 數(shù)據(jù)集介紹

Office數(shù)據(jù)集是可視化領(lǐng)域適配的基準(zhǔn)數(shù)據(jù)，該數(shù)據(jù)集包括了來自亞馬遜(Amazon)、數(shù)碼單反(DSLR)和網(wǎng)絡(luò)攝像頭(Webcam)3個(gè)域中的常見對(duì)象類別。在Office數(shù)據(jù)集中，每個(gè)域包含31個(gè)不同的對(duì)象，共有4652張圖像。Caltech256數(shù)據(jù)集包含了256個(gè)類別，共有30 607幅圖像。Office和Caltech數(shù)據(jù)集的部分圖像樣例如圖2所示。將Amazon用符號(hào)A表示，DSLR用符號(hào)D表示，Webcam用符號(hào)W表示，Caltech256用符號(hào)C表示，利用這4個(gè)域中共有的10個(gè)類別進(jìn)行實(shí)驗(yàn)。任意選取兩個(gè)域作為源域和目標(biāo)域進(jìn)行實(shí)驗(yàn)，一共可以得到12組相關(guān)實(shí)驗(yàn)。根據(jù)文獻(xiàn)[12]中的設(shè)置，實(shí)驗(yàn)中，當(dāng)Amazon作為源域時(shí)，則從每類中隨機(jī)選擇20個(gè)樣本作為源域數(shù)據(jù)集，如果是DSLR、Webcam和Caltech256作為源域，則從每類中隨機(jī)選擇8個(gè)樣本作為源域數(shù)據(jù)集。當(dāng)4個(gè)域的樣本作為目標(biāo)域時(shí)，從每類中隨機(jī)選擇3個(gè)樣本作為目標(biāo)域數(shù)據(jù)集，剩下的作為測(cè)試數(shù)據(jù)集。對(duì)于Office和Caltech256數(shù)據(jù)集采用SURF特征和DeCAF6兩種特征進(jìn)行實(shí)驗(yàn)。

圖2 Office和Caltech256數(shù)據(jù)集圖像樣例

USPS和MNIST數(shù)據(jù)集都包含10個(gè)類，分別是數(shù)字0-9，兩個(gè)數(shù)據(jù)集的部分樣例如圖3所示。USPS數(shù)據(jù)集中，包含訓(xùn)練圖像7291張和測(cè)試圖像2007張，共有9298張圖像。MNIST數(shù)據(jù)集中，包含60 000張訓(xùn)練圖像和10 000張測(cè)試圖像，共有70 000張圖像。在實(shí)驗(yàn)中，從兩個(gè)數(shù)據(jù)集中隨機(jī)選擇10 000張圖像分別作為實(shí)驗(yàn)中的源域和目標(biāo)域，一共可以得到2組相關(guān)實(shí)驗(yàn)。當(dāng)USPS和MNIST數(shù)據(jù)集作為源域時(shí)，則從每類中隨機(jī)抽取100個(gè)樣本作為源域數(shù)據(jù)集，當(dāng)USPS和MNIST數(shù)據(jù)集作為目標(biāo)域時(shí)，從每類中隨機(jī)抽取10個(gè)樣本，共100個(gè)樣本作為目標(biāo)域數(shù)據(jù)集，其余未抽取樣本作為測(cè)試數(shù)據(jù)集。

圖3 USPS和MNIST數(shù)據(jù)集樣例

COIL-20數(shù)據(jù)集包含了20類對(duì)象，共1440張圖片。該數(shù)據(jù)集中的部分樣例如圖4所示。

圖4 COIL數(shù)據(jù)集樣例

在本次實(shí)驗(yàn)中，數(shù)據(jù)集被劃分為兩個(gè)子集C1和C2，兩個(gè)子集各有720張圖像。將C1和C2交替作為源域和目標(biāo)域可以得到2組實(shí)驗(yàn)。當(dāng)C1和C2子集作為源域時(shí)，選取子集中的所有樣本作為源域數(shù)據(jù)集，當(dāng)C1和C2子集作為目標(biāo)域時(shí)，從所有類別的樣本中隨機(jī)抽取270個(gè)樣本作為目標(biāo)域數(shù)據(jù)集，剩余未抽取樣本作為測(cè)試數(shù)據(jù)集。

3.2 實(shí)驗(yàn)結(jié)果對(duì)比

在Office+Caltech256(SURF)數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)的結(jié)果具體見表2，在Office-Caltech256(DeCAF6)數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)的結(jié)果見表3，在USPS和MNIST數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)的結(jié)果見表4，在COIL數(shù)據(jù)集上進(jìn)行分類實(shí)驗(yàn)的結(jié)果見表5。下面4個(gè)表中部分實(shí)驗(yàn)結(jié)果引自文獻(xiàn)[12]和文獻(xiàn)[15]，粗體數(shù)字為每個(gè)任務(wù)的最優(yōu)分類結(jié)果。

表2 在Office+Caltech256數(shù)據(jù)集(SURF)上的分類結(jié)果

綜合以上各組實(shí)驗(yàn)結(jié)果可以看出，SSDTS算法在上述4個(gè)數(shù)據(jù)集共28個(gè)任務(wù)中，有21個(gè)任務(wù)的分類正確率超過了其它對(duì)比算法。除了Office-Caltech256數(shù)據(jù)集(SURF)，SSDTS算法在其余的數(shù)據(jù)集中各任務(wù)的平均分類正確率均超過了其它算法，驗(yàn)證了在對(duì)齊領(lǐng)域總體分布時(shí)考慮樣本的先驗(yàn)類別信息有利于提高分類正確率。

如表4所示，在USPS和MNIST數(shù)據(jù)集上，任務(wù)“M->U”的分類準(zhǔn)確率都不同程度高于任務(wù)“U->M”，這是因?yàn)镸NIST數(shù)據(jù)集規(guī)模大于USPS數(shù)據(jù)集，提供的分類信息更加充足。如表5所示，在COIL數(shù)據(jù)集中的兩個(gè)任務(wù)都取得了最優(yōu)分類結(jié)果，平均分類準(zhǔn)確率達(dá)到了94.3%，比最優(yōu)對(duì)比方法LRSR提高了2.6%。如表3和表4所示，在(DeCAF6)Office-Caltech256數(shù)據(jù)集、USPS和MNIST數(shù)據(jù)集上的任務(wù)中，SSDTS算法的分類準(zhǔn)確率均高于LRSR算法，這表明利用樣本類標(biāo)簽，逐類考慮同類樣本的相似性和異類樣本的差異性，挖掘重構(gòu)矩陣中所蘊(yùn)含的判別信息的有效性。

表3 在Office+Caltech256數(shù)據(jù)集(DeCAF6)上的分類結(jié)果

表4 在USPS和MNIST數(shù)據(jù)集上的分類結(jié)果

表5 在COIL數(shù)據(jù)集上的分類結(jié)果

3.3 重構(gòu)矩陣可視化

引入樣本的類標(biāo)簽信息，獲得具有塊對(duì)角結(jié)構(gòu)的類重構(gòu)矩陣，可以進(jìn)一步挖掘樣本中蘊(yùn)含的鑒別信息，揭示同類樣本之間的相似性和不同類樣本之間的差異性，有助于提高分類性能。如圖5所示，在Office-Caltech256(DeCAF6)數(shù)據(jù)集的實(shí)驗(yàn)中，對(duì)重構(gòu)矩陣Z進(jìn)行可視化，可以看到重構(gòu)矩陣Z呈現(xiàn)出塊對(duì)角結(jié)構(gòu)，也就是說目標(biāo)數(shù)據(jù)中的第c類樣本可以很好地由同類的源域數(shù)據(jù)線性表示。

圖5 重構(gòu)矩陣可視化

3.4 參數(shù)敏感性分析

如式(10)所示，SSDTS算法模型有λ1和λ2兩個(gè)參數(shù)。為了驗(yàn)證參數(shù)的有效性，本節(jié)實(shí)驗(yàn)測(cè)試了λ1和λ2兩個(gè)參數(shù)不同值的組合下對(duì)SSDTS算法性能的影響。在Office-Caltech256(DeCAF6)數(shù)據(jù)集的A->D任務(wù)和USPS-MNIST數(shù)據(jù)集的M->U任務(wù)上進(jìn)行實(shí)驗(yàn)。參數(shù)λ1和λ2的取值范圍設(shè)置為{10-3,10-2,10-1,1,101,102}。不同參數(shù)組合對(duì)分類正確率的影響如圖6所示。可以看出，不同的分類任務(wù)中對(duì)于參數(shù)λ1、λ2取值的敏感度不同。在A->D任務(wù)中，當(dāng)參數(shù)λ1=0.01，λ2=0.1時(shí)，得到最大分類準(zhǔn)確率，在M->U任務(wù)中，當(dāng)參數(shù)λ1=100，λ2=10時(shí)，得到最大分類準(zhǔn)確率。表明在不同跨域任務(wù)中，相同類之間的類內(nèi)依賴和不同類之間的類間獨(dú)立并不是同等重要。

圖6 重構(gòu)矩陣可視化

3.5 算法運(yùn)行時(shí)間對(duì)比

本節(jié)對(duì)比了SSDTS算法與GFK、JDA、LSDT和LTSL算法的運(yùn)行時(shí)間。所有的測(cè)試都在一臺(tái)CPU為Intel 1.8 Ghz雙核處理器、內(nèi)存為8 GB的計(jì)算機(jī)上完成，軟件平臺(tái)選定為MATLAB R2018b。本節(jié)實(shí)驗(yàn)在Office-Caltech256(DeCAF6)數(shù)據(jù)集的W->D任務(wù)和COIL數(shù)據(jù)集的C1->C2任務(wù)上進(jìn)行實(shí)驗(yàn)，各個(gè)算法的執(zhí)行時(shí)間見表6。其中LSDT算法的運(yùn)行時(shí)間最短，其次是SSDTS算法。LTSL算法的運(yùn)行時(shí)間最長，這是因?yàn)樵撍惴ǖ氖諗克俣认噍^于其它算法較慢。

表6 算法運(yùn)算時(shí)間對(duì)比/s

4 結(jié)束語

針對(duì)領(lǐng)域自適應(yīng)在跨領(lǐng)域圖像識(shí)別中存在領(lǐng)域偏差、數(shù)據(jù)特征分布不一致的問題，本文提出了一種基于遷移子空間的半監(jiān)督領(lǐng)域自適應(yīng)方法(SSDTS)，通過投影矩陣將源域樣本和目標(biāo)域樣本投影到低維共享子空間中，使得目標(biāo)域樣本被同類別源域樣本線性重構(gòu)，從而減少源域和目標(biāo)域之間的差異。此外，為充分發(fā)掘同類樣本之間的相似性和異類樣本之間的差異性，利用樣本的標(biāo)簽信息，得到具有塊對(duì)角結(jié)構(gòu)的類重構(gòu)矩陣。不同于現(xiàn)有的遷移子空間算法，SSDTS模型能夠充分發(fā)掘和利用領(lǐng)域間共享標(biāo)簽先驗(yàn)知識(shí)，同時(shí)考慮子空間的判別性以及重構(gòu)矩陣蘊(yùn)含的判別信息。在4個(gè)領(lǐng)域自適應(yīng)公開數(shù)據(jù)集(COIL、USPS-MNIST、Office-Caltech-SURF、Office-Caltech-DeCAF6)上進(jìn)行實(shí)驗(yàn)，結(jié)果表明SSDTS算法優(yōu)于現(xiàn)有大多數(shù)方法。