鄧萬宇 屈玉濤 張 倩

（西安郵電大學(xué)計(jì)算機(jī)學(xué)院 西安 710061）

1 引言

互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)的快速發(fā)展，帶來了數(shù)據(jù)（例如，Web數(shù)據(jù)）的爆發(fā)式增長［11］。數(shù)據(jù)種類的增多導(dǎo)致實(shí)際應(yīng)用中經(jīng)常需要處理來自于不同領(lǐng)域的數(shù)據(jù)。由于數(shù)據(jù)特征之間的差異較大，導(dǎo)致很難訓(xùn)練出一種公共分類器去分類不同類別的數(shù)據(jù)，在這種情況下就需要使用遷移學(xué)習(xí)。遷移學(xué)習(xí)［15］的主要目的是訓(xùn)練一種健壯的公共分類器，可以很好地對(duì)來自于不同領(lǐng)域的數(shù)據(jù)進(jìn)行分類。遷移學(xué)習(xí)廣泛應(yīng)用在自然語言處理［16～18］，計(jì)算機(jī)視覺［18～20］，統(tǒng)計(jì)和機(jī)器學(xué)習(xí)［18～20］中。傳統(tǒng)的遷移學(xué)習(xí)有很多都是基于主成分分析法（PCA）［6，9～10］來實(shí)現(xiàn)的。PCA［5，12］是在盡量不改變數(shù)據(jù)特征的情況下來降低數(shù)據(jù)的維度，它是考察多個(gè)變量間相關(guān)性的一種多元統(tǒng)計(jì)方法，研究如何通過少數(shù)幾個(gè)主成分來揭示多個(gè)變量間的內(nèi)部結(jié)構(gòu)，即從原始變量中導(dǎo)出少數(shù)幾個(gè)主成分，使它們盡可能多地保留原始變量的信息，且彼此間互不相關(guān)。PCA所要做的就是設(shè)法將原來眾多具有一定相關(guān)性的變量，重新組合為一組新的相互無關(guān)的綜合變量來代替原變量。然而PCA具有它的局限性：1）它要求數(shù)據(jù)必須是線性的。2）它分解出的特征必須是正交的。這導(dǎo)致在實(shí)際應(yīng)用中很多數(shù)據(jù)都無法應(yīng)用PCA來進(jìn)行處理。

本文使用一種新的特征提取方法，即極限學(xué)習(xí)機(jī)自編碼（ELM-AE）?；贓LM-AE來完成遷移學(xué)習(xí)，它可以解決PCA應(yīng)用中的局限性，并在遷移學(xué)習(xí)上獲得更高的分類準(zhǔn)確率。

遷移學(xué)習(xí)的最基本的實(shí)現(xiàn)方法是將原始數(shù)據(jù)映射到一個(gè)新的空間中，在這個(gè)空間中，源域和目標(biāo)域的特征之間的差異被最小化?；赑CA的遷移學(xué)習(xí)算法已經(jīng)被廣泛的研究［6，9～10］，通過 PCA 可以找到一個(gè)公共的特征子空間。在文獻(xiàn)［8］中Blitzer等提出了一種方法，通過不同領(lǐng)域之間的特征關(guān)系去學(xué)習(xí)一個(gè)新的特征空間。在Chang［15］表示源域數(shù)據(jù)可以通過目標(biāo)域數(shù)據(jù)線性變換而得到。在 Gong等［7］提出了一個(gè) geodesic flow kernel（GFK），它主要統(tǒng)計(jì)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)在幾何和統(tǒng)計(jì)上特征的改變。Fernando等［3］提出了一種基于PCA的遷移學(xué)習(xí)算法，他們應(yīng)用PCA分別得到源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的特征空間，然后將源域數(shù)據(jù)特征映射到目標(biāo)域數(shù)據(jù)的特征空間中或者將目標(biāo)域數(shù)據(jù)的特征映射到源域數(shù)據(jù)的特征空間中。

2 ELM-AE

極速學(xué)習(xí)機(jī)自編碼器（ELM-AE）是一種基于極速神經(jīng)網(wǎng)絡(luò)（ELM）的自編碼器，具有ELM的計(jì)算速度快，效率高等優(yōu)點(diǎn)。和傳統(tǒng)的ELM［14］神經(jīng)網(wǎng)絡(luò)類似，ELM-AE的網(wǎng)絡(luò)結(jié)構(gòu)包含三層：輸入層，隱含層和輸出層。唯一不同之處在于ELM-AE的目標(biāo)輸出和它的輸入是相等的，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 ELM-AE網(wǎng)絡(luò)結(jié)構(gòu)

在圖1中，L代表的是隱含節(jié)點(diǎn)數(shù)，d代表的是輸入層和輸出層的節(jié)點(diǎn)數(shù)，也就是數(shù)據(jù)的維度，x代表的是ELM-AE的輸入和輸出。根據(jù)d和L之間的關(guān)系，ELM-AE可以被分為三種不同的類型。

壓縮型：代表數(shù)據(jù)從高維空間映射到低維空間中。

稀疏型：代表數(shù)據(jù)從低維空間映射到高維空間中。

等維型：代表數(shù)據(jù)映射前后的維度是相等的。

根據(jù)ELM的理論［4，14］，隱含層的參數(shù)可以隨機(jī)地生成。通?？梢赃x擇正交的隱含層參數(shù)來提高ELM-AE的泛化性能。隱含層的參數(shù)可以通過Johnson-Lindenstrauss lemma［13］來計(jì)算得到：

在式（1）中 a=是隨機(jī)正交的權(quán)重，b=[b1，…，bL]是隨機(jī)正交的偏差。對(duì)于壓縮型和稀疏型的ELM-AE，計(jì)算ELM-AE的輸出權(quán)值β可以通過式（2）：

-1

其中，H=[h1，…，hN]是ELM-AE的隱含層輸出，C是ELM的輸入?yún)?shù)，I是標(biāo)準(zhǔn)單位矩陣，X=[x1，…，xN]是ELM-AE的輸入和輸出。對(duì)于等維型ELM-AE，計(jì)算它的輸出權(quán)值 β可以通過式（3）：

式（2）的奇異值分解（SVD）可以表示為

其中u是HHT的特征向量，d是H的奇異值，H是輸入X在隱含層空間上的映射，所以ELM-AE的輸出權(quán)值β通過奇異值可以對(duì)輸入數(shù)據(jù)進(jìn)行特征表達(dá)，通過β可以將輸入數(shù)據(jù)映射到對(duì)應(yīng)的特征子空間中。

3 基于ELM-AE的子空間對(duì)齊

在實(shí)際應(yīng)用中，數(shù)據(jù)通常來源于不同領(lǐng)域，例如圖片和文本混合的數(shù)據(jù)，如果使用圖片的數(shù)據(jù)來訓(xùn)練一個(gè)分類器，并用它來分類文本的數(shù)據(jù)，通常不會(huì)獲得好的分類效果。遷移學(xué)習(xí)可以很好地解決此類問題。

ELM-AE的輸出權(quán)β可以通過奇異值來對(duì)輸入數(shù)據(jù)進(jìn)行特征表達(dá)，因此通過ELM-AE可以得到源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)各自的特征子空間，分別記為WS和WT（WS，WT∈RD×L）。D表示的是數(shù)據(jù)的維度，L表示的是ELM-AE的隱含層節(jié)點(diǎn)數(shù)。由于源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)分布不同，映射出的特征子空間也各不相同。通過子空間對(duì)齊將源域和目標(biāo)域的特征子空間映射到一個(gè)公共的特征空間中，在該公共特征空間中，源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)之間的特征差異被最小化。這樣通過公共特征子空間上的數(shù)據(jù)來訓(xùn)練的分類器可以很好地分類來自不同域的數(shù)據(jù)。

假設(shè)源域數(shù)據(jù)為 xS，目標(biāo)域數(shù)據(jù)為 xT，xS，xT∈R1×D，則源域和目標(biāo)域的特征子空間 X?S和X?T可以被分別表示為 ySWS和 yTWT。為了將源域特征子空間 X?S和目標(biāo)域特征子空間 X?T映射到一個(gè)公共特征子空間中，在此需要學(xué)習(xí)一個(gè)轉(zhuǎn)換矩陣M ，通過M 使WS和WT對(duì)齊。根據(jù)文獻(xiàn)［3］，M可以通過最小化Bregman矩陣求解：

其中是Frobenius范數(shù)。由于Frobenius范數(shù)的正交不變性，式（5）可以寫成

由式（7）可以求得最優(yōu)的轉(zhuǎn)化矩陣M ：

通過轉(zhuǎn)化矩陣M，可以得到子空間對(duì)齊后的新的映射空間：

W?a就是目標(biāo)域特征子空間對(duì)齊源域特征子空間后的公共特征空間。

4 算法實(shí)現(xiàn)

基于ELM-AE的子空間對(duì)齊算法的實(shí)現(xiàn)主要分兩個(gè)環(huán)節(jié)：子空間生成；子空間對(duì)齊。其主現(xiàn)現(xiàn)步驟為：首先初始化ELM-AE，計(jì)算輸入數(shù)據(jù)的輸出權(quán)值，生成對(duì)應(yīng)的特征子空間。其次，利用生成的特征子空間求解出轉(zhuǎn)化矩陣M。最后利用轉(zhuǎn)化矩陣將各自的特征空間進(jìn)行對(duì)齊?；贓LM-AE的子空間對(duì)齊算法流程見算法1。

算法1：基于ELM-AE的子空間對(duì)齊算法

輸入：源域數(shù)據(jù)XS，目標(biāo)域數(shù)據(jù)XT，源域數(shù)據(jù)標(biāo)簽TS，目標(biāo)域數(shù)據(jù)標(biāo)簽TT，隱含層節(jié)點(diǎn)數(shù) L，激活函數(shù) h(x)。

輸出：預(yù)測的目標(biāo)域標(biāo)簽 TT

5 實(shí)驗(yàn)驗(yàn)證

本次實(shí)驗(yàn)選取 Office［1］和 Caltech256［2］數(shù)據(jù)集來進(jìn)行算法的驗(yàn)證。Office數(shù)據(jù)集上包含webcam圖片（W），DSLR圖片（D）和 Amazon圖片（A）。Caltech256中的圖片被標(biāo)記為C。數(shù)據(jù)集共包含4個(gè)不同領(lǐng)域的數(shù)據(jù)。A，W，D和C可以組成12組遷移學(xué)習(xí)問題。遷移學(xué)習(xí)可以被標(biāo)記為S→T，S代表源數(shù)據(jù)域，T代表目標(biāo)數(shù)據(jù)域。

本實(shí)驗(yàn)將基于ELM-AE的遷移學(xué)習(xí)算法與其他幾種常見的遷移學(xué)習(xí)算法進(jìn)行了比較，每組遷移學(xué)習(xí)分別使用KNN和SVM作為最終分類器，實(shí)驗(yàn)結(jié)果如表1所示。

表1 （Part I）.KNN分類器的分類準(zhǔn)確率（Office dataset+Caltech256）

表2 （Part I）.SVM分類器的分類準(zhǔn)確率（Office dataset+Caltech256）

6 實(shí)驗(yàn)結(jié)果分析

在上述實(shí)驗(yàn)結(jié)果中，表1和表2均被分為兩個(gè)部分。NA表示的是在該組遷移學(xué)習(xí)中不涉及特征映射。GFK［7］主要統(tǒng)計(jì)源數(shù)據(jù)和目標(biāo)數(shù)據(jù)在幾何和統(tǒng)計(jì)上特征的改變。PCA［3］表示應(yīng)用PCA分別得到源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)的特征空間，然后將源域數(shù)據(jù)特征映射到目標(biāo)域數(shù)據(jù)的特征空間中或者將目標(biāo)域數(shù)據(jù)的特征映射到源域數(shù)據(jù)的特征空間中。DA-SA1［3］表示源數(shù)據(jù)通過PCA來求得源數(shù)據(jù)的目標(biāo)子空間WS。DA-SA2［3］表示目標(biāo)域數(shù)據(jù)利用PCA得到目標(biāo)域子空間WT。表1使用KNN作為最終分類器，在表1的12組遷移學(xué)習(xí)中，有8組在準(zhǔn)確率方面提升明顯。表2使用了SVM作為最終分類器，表2中的遷移學(xué)習(xí)中有11組遷移學(xué)習(xí)獲得了更高的分類準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明不論最終分類器是選擇KNN還是SVM，基于ELM-AE的遷移學(xué)習(xí)算法都可以獲得更高的分類準(zhǔn)確率，這證明了基于ELM-AE的遷移學(xué)習(xí)算法擁有更好的應(yīng)用性。

7 結(jié)語

基于ELM-AE的遷移學(xué)習(xí)算法相比傳統(tǒng)的遷移學(xué)習(xí)算法擁有著更好的效率。由于ELM-AE和ELM一樣在計(jì)算過程中不需要迭代，因此計(jì)算速度快。相比于PCA，ELM-AE可以很好地處理那些非線性的數(shù)據(jù)問題。隨著數(shù)據(jù)種類的增多，基于ELM-AE的遷移學(xué)習(xí)算法在未來會(huì)獲得更加廣泛的應(yīng)用。

［1］Saenko K，Kulis B，F(xiàn)ritz M，et al.Adapting Visual Category Models to New Domains［J］.ECCV，Heraklion，Greece，September 2010：213-226.

［2］Gopalan R，Ruonan L，Chellappa R.Domain adaptation for object recognition：An unsupervised approach［J］.2011，24（4）：999-1006.

［3］Fernando B，Habrard A，Sebban M，et al.Unsupervised Visual Domain Adaptation Using Subspace Alignment［C］//IEEE International Conference on Computer Vision.IEEE，2014：2960-2967.

［4］Kasun L L C，Zhou H，Huang G B，et al.Representational Learning with ELMs for Big Data［J］.Intelligent Systems IEEE，2013，28（6）：31-34.

［5］Jolliffe I T.Principal Component Analysis［J］.Journal of Marketing Research，2002.

［6］Chen B，Lam W，Tsang I，et al.Extracting discriminative concepts for domain adaptation in text mining［C］//ACM SIGKDD International Conference on Knowledge Discovery and Data Mining，Paris，F(xiàn)rance，June 28-July.DBLP，2009：179-188.

［7］Gong B，Shi Y，Sha F，et al.Geodesic flow kernel for unsupervised domain adaptation［C］//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society，2012：2066-2073.

［8］Blitzer J，Mcdonald R，Pereira F.Domain adaptation with structural correspondence learning［J］.Emnlp，2006：120-128.

［9］Pan S J，Kwok J T，Yang Q.Transfer learning via dimensionality reduction［C］//AAAI Conference on Artificial Intelligence，AAAI 2008，Chicago，Illinois，Usa，July.DBLP，2008：677-682.

［10］Pan S J，Tsang I W，Kwok J T，et al.Domain adaptation via transfer component analysis［J］.IEEE Transactions on Neural Networks，2011，22（2）：199.

［11］Torralba A，Efros A A.Unbiased look at dataset bias［C］//Computer Vision and Pattern Recognition.IEEE，2011：1521-1528.

［12］Zwald L，Blanchard G.On the Convergence of Eigenspaces in Kernel Principal Component Analysis［C］//2005：1649-1656.

［13］Johnson W B，Lindenstrauss J.Extensions of Lipschitz maps into a Hilbert space［J］.1984，26（189）：189-206.

［14］Huang G B，Chen L，Siew C K.Universal approximation using incremental constructive feedforward networks with random hidden nodes［J］.IEEE Trans Neural Netw，2006，17（4）：879-892.

［15］Jhuo I H，Liu D，Lee D T，et al.Robust visual domain adaptation with low-rank reconstruction［C］//Computer Vision and Pattern Recognition.IEEE，2012：2168-2175.

［16］Iii H D.Frustratingly Easy Domain Adaptation［J］.ACL，2009.

［17］Leggetter C J，Woodland P C.Maximum likelihood linear regression for speaker adaptation of continuous density hidden Markov models［J］.Computer Speech&Language，1995，9（2）：171-185.

［18］Huang J，Smola A J，Gretton A，et al.Correcting sample selection bias by unlabeled data［C］//International Conference on Neural Information Processing Systems.MIT Press，2006：601-608..

［19］Ben-David S，Blitzer J，Crammer K，et al.Analysis of representations for domain adaptation［C］//International Conference on Neural Information Processing Systems.MIT Press，2006：137-144.

［20］Pan S J，Yang Q.A Survey on Transfer Learning［J］.IEEE Transactions on Knowledge&Data Engineering，2010，22（10）：1345-1359.