梁俊葛，線巖團，2，相 艷，2，王紅斌，2，陸 婷，許 瑩

（1.昆明理工大學(xué)信息工程與自動化學(xué)院，昆明，650500；2.昆明理工大學(xué)云南省人工智能重點實驗室，昆明，650500）

引 言

傳統(tǒng)的跨領(lǐng)域情感分類是將在源域?qū)W習(xí)到的特征表示遷移到目標(biāo)域中[1-3]。由于不同的源域與目標(biāo)域之間的特征分布的不同，單源域遷移的分類器僅僅利用了單源域遷移至目標(biāo)域的特征，對多源域的遷移特征并沒有充分利用。在實際應(yīng)用中，跨領(lǐng)域遷移可以利用多個源域的情感標(biāo)簽數(shù)據(jù)，從多個領(lǐng)域進行情感遷移，而不是僅僅只利用單一的領(lǐng)域。例如，Kitchen 產(chǎn)品領(lǐng)域可能包括對烹飪書或電子設(shè)備的評論，這些評論不能完美的與單個領(lǐng)域（如書籍或電子產(chǎn)品）的特征對齊，通過集成來自多個領(lǐng)域的不同信息，可以更好地適應(yīng)目標(biāo)域的特征分布，得到更好的情感分類結(jié)果。

利用多個源域數(shù)據(jù)的直接方法是將它們的數(shù)據(jù)組合成單個領(lǐng)域。然而，這種策略沒有考慮到不同源域和目標(biāo)域?qū)嵗g的關(guān)系，將不同領(lǐng)域的特征構(gòu)建到共同的特征空間中可能會清除部分領(lǐng)域的特征，并導(dǎo)致負(fù)面轉(zhuǎn)移，影響情感分類器在目標(biāo)域的性能[4-5]。對此，本文提出一種無監(jiān)督的多源跨領(lǐng)域情感分類模型。使不同的源域與目標(biāo)域在特征空間對齊，得到不同的基分類器。對于每個目標(biāo)域?qū)嵗?，其預(yù)測結(jié)果為各個基分類器預(yù)測結(jié)果的加權(quán)組合，分類器權(quán)重反映了目標(biāo)域?qū)嵗c源域的相關(guān)程度。引入集成一致性度量函數(shù)，分類器權(quán)重是該度量函數(shù)的主要參數(shù)。當(dāng)不同基分類器對目標(biāo)域?qū)嵗A(yù)測結(jié)果高度一致時，該度量函數(shù)達到最大值，此時的分類器權(quán)重最優(yōu)。與傳統(tǒng)方法相比，本文提出的基于集成一致性的多源跨領(lǐng)域情感分類模型，不需要任何的目標(biāo)域情感標(biāo)簽，擺脫了目標(biāo)域?qū)嵗A(yù)測時對情感標(biāo)簽的依賴。本文采用亞馬遜公開數(shù)據(jù)集和Skytrax 數(shù)據(jù)集作為模型的評測數(shù)據(jù)集，并與6 種跨領(lǐng)域情感分類模型進行了比較。實驗結(jié)果表明，本文方法與傳統(tǒng)的單源模型和多源模型相比，具有更高的跨領(lǐng)域情感分類準(zhǔn)確率。

1 跨領(lǐng)域情感分類方法

1.1 單源跨領(lǐng)域情感分類方法

多源跨領(lǐng)域情感分類方法以單源跨領(lǐng)域情感分類為基礎(chǔ)?，F(xiàn)有的單源跨領(lǐng)域情感分類方法大多是通過對齊源域特征和目標(biāo)域特征，來減少不同領(lǐng)域間的域間差。Yu 等[6]用2 個神經(jīng)網(wǎng)絡(luò)來學(xué)習(xí)在跨域任務(wù)中有用的句子嵌入，通過共同訓(xùn)練卷積遞歸神經(jīng)網(wǎng)絡(luò)模型，預(yù)測源域句子的情感標(biāo)簽，并同時預(yù)測樞軸的存在。Bollegala 等[7]提出了跨領(lǐng)域詞嵌入表示模型，通過約束樞軸特征在不同領(lǐng)域之間有著相似的詞嵌入表示，來解決跨領(lǐng)域任務(wù)中樞軸特征的詞嵌入分布問題。Ganin 等[8]提出DANN 模型，利用領(lǐng)域?qū)褂?xùn)練方法來使神經(jīng)網(wǎng)絡(luò)產(chǎn)生混淆領(lǐng)域分類器的表示。為了提高深度模型的可解釋性，Li等[9]將內(nèi)存網(wǎng)絡(luò)合并到了DANN 模型中以自動識別樞軸特征。Ziser 等[10]提出了神經(jīng)結(jié)構(gòu)對應(yīng)模型，通過結(jié)合結(jié)構(gòu)對應(yīng)學(xué)習(xí)和自編碼器模型，提出了AE-SCL 模型和AE-SCL-SR 模型。利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)勢，在非樞軸特征和樞軸特征之間建立起映射關(guān)系。通過自編碼器將不同領(lǐng)域的特征遷移到低維度的特征空間中去，得到跨領(lǐng)域任務(wù)的遷移特征；基于遷移特征來減少源域和目標(biāo)域之間的域間差。

1.2 多源跨領(lǐng)域情感分類方法

多源跨領(lǐng)域情感分類任務(wù)需考慮的主要問題是不同領(lǐng)域間的聯(lián)系。Yasuhisa 等[11]提出了多源域到目標(biāo)域的跨領(lǐng)域情感分類的概率生成模型。在該方法中，每個特征都分配了領(lǐng)域標(biāo)簽、領(lǐng)域獨立性標(biāo)簽以及情感極性3 個屬性。然而，該方法并沒有考慮源域和目標(biāo)域之間的相似性，此外，盡管方法中使用了未標(biāo)記的數(shù)據(jù)，但未利用未標(biāo)記目標(biāo)域中有用的情感知識。Duan 等[12]提出一種基于域適應(yīng)機制的方法，通過利用在多個源域中獨立訓(xùn)練的分類器，學(xué)習(xí)目標(biāo)域中的最小二乘SVM 分類器，以監(jiān)督的方式使用標(biāo)記數(shù)據(jù)來學(xué)習(xí)全局域相似性度量。Yu 等[13]使用標(biāo)簽數(shù)據(jù)以監(jiān)督方式學(xué)習(xí)全局域相似度。Bhatt 等[14]利用目標(biāo)域的未標(biāo)記數(shù)據(jù)，來構(gòu)建與目標(biāo)域?qū)嵗嗨频脑从驅(qū)嵗妮o助訓(xùn)練集。Chen 等[15]將源域特征與全局的目標(biāo)域特征對齊，而不考慮每個源域?qū)τ谀繕?biāo)域?qū)嵗闹匾浴?與以上方法不同的是，本文將集成一致性度量函數(shù)作為集成分類器的目標(biāo)函數(shù)，當(dāng)不同的基分類器對目標(biāo)域?qū)嵗念悇e預(yù)測達到高度一致時，表明分類器達到集成一致性，此時分類器的權(quán)重最優(yōu)?；诖藱?quán)重集成基分類器，可以達到更好的跨領(lǐng)域情感分類效果。

2 本文方法

問題描述：本文遵循多源跨領(lǐng)域情感分類設(shè)置，設(shè)定源域標(biāo)簽數(shù)據(jù)來源于m個源域：Si=表示第i個源域中第t個實例及其對應(yīng)的情感標(biāo)簽。目標(biāo)域數(shù)據(jù)定義為：T=表示目標(biāo)域中第t個實例。多源跨領(lǐng)域情感分類任務(wù)的目標(biāo)是集成多源域數(shù)據(jù)，并在目標(biāo)域中取得較好的分類效果。

2.1 算法流程

基于集成一致性的多源跨領(lǐng)域情感分類模型流程如圖1 所示。選定基分類器，通過源域至目標(biāo)域的遷移特征，訓(xùn)練得到不同源域到目標(biāo)域的基分類器；由此得到目標(biāo)域?qū)嵗诓煌从蛑械姆诸惛怕?。此時引入集成一致性作為集成分類器的目標(biāo)函數(shù)，并優(yōu)化不同源域到目標(biāo)域的分類器的權(quán)重，當(dāng)各個基分類器對目標(biāo)域?qū)嵗念A(yù)測達到集成一致性最大時，表明集成分類器的性能最優(yōu)。目標(biāo)域?qū)嵗念A(yù)測結(jié)果由最優(yōu)權(quán)重下的各分類器加權(quán)集成得到。

2.2 集成一致性

基于信息熵的集成一致性原則描述如下：利用不同源域到目標(biāo)域的遷移特征訓(xùn)練得到不同的分類器，并預(yù)測目標(biāo)域?qū)嵗那楦袠O性；當(dāng)各分類器對目標(biāo)域?qū)嵗A(yù)測高度一致時，信息熵達到最小，模型達到集成一致性。

本文使用Logistics 分類器為基分類器。定義集成分類器，第hi個Logistics 分 類 器 對 輸 入實例的極性預(yù)測概率為pi，那么m個分類器的平均概率分布為

圖1 基于集成一致性的多源域跨領(lǐng)域情感分類流程圖Fig.1 Flow chart of multiple source domain cross-domain emotion classification based on ensemble consistency

本文以情感二分類問題為例來說明一致性度量的作用，如表1 所示。

表1 概率分布與一致性度量Table 1 Probability distributions and consistency measures

表1 中 ，xT1，xT2為 目 標(biāo) 域 的 實 例 ，p1,p2,p3分 別 為 各 源 域 至 目 標(biāo) 域 的Logistics 基 分 類 器h1，h2和h3對目標(biāo)域?qū)嵗念A(yù)測結(jié)果，-p 為平均概率。 對實例的預(yù)測結(jié)果的維度為2 維，分別表示實例屬于類別1 和類別2 的概率。 對于實例xT1，所有分類器預(yù)測達到完全一致，以100% 的概率屬于類別2。 3 個分類器對實例預(yù)測結(jié)果的共識程度達到最大值，因此可以判斷出實例xT1屬于第2 個類別，此時平均概率-p 的信息熵E ( 0,1 ) 達到了最小值0。 對于實例xT2，前2 個分類器分別預(yù)測它屬于類別1 和類別2，而第3 個分類器預(yù)測它分別屬于類別1、2 的概率各占50%。 3 個分類器對實例的預(yù)測結(jié)果完全不一致，幾乎不能判別實例所屬的類別，共識程度為最小，此時平均概率-p 的信息熵E ( 0.5,0.5 ) 達到其最大值log2。 因此，信息熵的負(fù)數(shù)可作為不同預(yù)測結(jié)果的一致度量。 基于熵的一致性度量為

式中，C 為一致性度量值，p1,…,pm為m 個分類器對實例預(yù)測的概率，E 為式（2）所示的信息熵，-p 為由式（1）得到的平均概率。信息熵的和取相反數(shù)即一致性度量值C。

2.3 權(quán)重優(yōu)化

基于加權(quán)集成分類器模型的一致性度量函數(shù)為

式中,w 為集成分類器的權(quán)重集合，wi為第hi個分類器對應(yīng)的權(quán)重，m 為基分類器的數(shù)目，f ( w )為集成分類器的一致性度量值，當(dāng)不同分類器加權(quán)后計算得到的f ( w )值達到最大時，分類器對目標(biāo)域?qū)嵗A(yù)測結(jié)果的共識程度達到最大。

本文使用模擬退火（Simulated annealing, SA）算法尋找最優(yōu)參數(shù)wi使f ( w ) 的值達到最大。模擬退火算法以一定的概率接受比當(dāng)前解效果差的解，更有利于跳出局部優(yōu)化達到全局優(yōu)化，得到集成一致性的全局最大值，算法描述如下：

(1) 給定初始值t0，終止值t1，T = t0，給定初始可行解wi，i = 1,2,…,m，目標(biāo)函數(shù)f ( w )，設(shè)定每一個T 值下的迭代次數(shù)L；

(2) 迭代次數(shù)計數(shù)器l = 1,2,…,L，重復(fù)步驟(3)至步驟(6)；

(3) 產(chǎn)生新解wi_new，不斷更改自變量的值wi_new= wi+ Δw，Δw 為[ 0,1 ]之間產(chǎn)生的隨機變量；

(4) 計算 Δf = f ( wi_new)- f ( wi)，優(yōu)化目標(biāo)f ( w )；

(5) 如果Δf ≥0，接受wi_new為當(dāng)前解，否則以一定的概率接受新解為當(dāng)前解；

(6) 判斷每個T 值下的是否達到迭代次數(shù)L，達到終止條件，則退出；

(7) 判斷T值是否達到終止條件，設(shè)T的下降幅度為α，T=α?T，逐漸下降，T＞t0，轉(zhuǎn)步驟(2)。否則，獲得當(dāng)前最優(yōu)解f(w)。

基于集成一致性的多源跨領(lǐng)域分類模型的時間復(fù)雜度主要為其尋優(yōu)算法的時間復(fù)雜度，即模擬退火算法的時間復(fù)雜度O(n)。

3 實驗與分析

3.1 實驗數(shù)據(jù)

本文方法在亞馬遜產(chǎn)品評論數(shù)據(jù)集[16]上進行了實驗。該數(shù)據(jù)集為跨領(lǐng)域情感分類任務(wù)中的標(biāo)準(zhǔn)數(shù)據(jù)集，一共包括4 個領(lǐng)域，即電子產(chǎn)品(Electronics)、書本(Book)、廚具(Kitchen)和DVD，如表2 所示。每個領(lǐng)域中提供了2 000 條已標(biāo)記數(shù)據(jù)，其中1 000 條數(shù)據(jù)為正向數(shù)據(jù)，1 000 條數(shù)據(jù)為負(fù)向數(shù)據(jù)。另外，每個領(lǐng)域還包括大量的無標(biāo)簽數(shù)據(jù)，用于輔助訓(xùn)練非樞軸特征和樞軸特征的映射。

本文方法還在Skytrax 評論數(shù)據(jù)集[17]上進行了實驗，該數(shù)據(jù)集由航空公司(Airline)，機場(Airport)，休息室(Lounge)和座位(Seat)4 個領(lǐng)域組成，Skytrax 數(shù)據(jù)如表3 所示。

表2 亞馬遜產(chǎn)品數(shù)據(jù)Table 2 Datasets of Amazon Product

表3 Skytrax 數(shù)據(jù)Table 3 Datasets of Skytrax

3.2 基線模型

（1）AE-SCL 模型

該模型為文獻[10]所提出的模型，樞軸特征在源域和目標(biāo)域數(shù)據(jù)中出現(xiàn)詞頻均超過20，樞軸特征的數(shù)目設(shè)為100，隱層特征空間維度為500 維。

（2）AE-SCL-SR

該模型為文獻[10]所提出的模型，模型參數(shù)與AE-SCL 模型一致，其中隱層到輸出層的權(quán)重矩陣固定不變，以得到更好的遷移特征。

（3）IDDIWP

該模型為文獻[11]所提出的模型，通過識別依賴和不依賴域的獨立詞極性，來進行多域情感分析。Gibbs 采樣的迭代次數(shù)為300，然后根據(jù)最近的50 次的迭代結(jié)果來確定文檔的極性。

（4）DWHC

該模型為文獻[18] 所提出的模型，通過加權(quán)不同源域來得到目標(biāo)域分布表示，加權(quán)參數(shù)α∈{ 0.1,0.2,…,1.0 }。

（5）CP-MDA

該模型為文獻[19]所提出的模型，該模型通過使用偽標(biāo)簽來訓(xùn)練目標(biāo)域的分類器。將用于計算權(quán)重的拉普拉斯圖矩陣設(shè)置為二進制類型，N近鄰中的N值為10，使用五折交叉驗證，懲罰因子γA設(shè)置為0.014。

（6）DAN

該模型為文獻[8]所提出的模型，利用領(lǐng)域?qū)股窠?jīng)網(wǎng)絡(luò)，來完成多域情感分類。使用5 折交叉驗證法，學(xué)習(xí)率設(shè)置為0.000 1，丟失率設(shè)置為0.4，隱層特征空間維度分別為1 000 和500 兩層。

（7）MAN

該模型為文獻[15]所提出的模型，通過對抗訓(xùn)練模型，可以學(xué)習(xí)跨多個領(lǐng)域的常規(guī)和領(lǐng)域特定特征。使用5 折交叉驗證法，訓(xùn)練、驗證以及測試數(shù)據(jù)比例為3∶1∶1。（8） PBLM-LSTM

該模型為文獻[20]所提出的模型。通過自動構(gòu)建情感字典并使用它來學(xué)習(xí)基于樞軸特征的語言模型，然后將語言模型學(xué)習(xí)到的嵌入特征送入到LSTM 層中進行情感分類。樞軸特征在源域和目標(biāo)域數(shù)據(jù)中出現(xiàn)詞頻均超過20，樞軸特征的數(shù)目為500，隱層維度空間為256 維度。

3.3 實驗設(shè)置

本文實驗分2 部分，第1 部分為本文集成方法與單源域遷移的實驗結(jié)果對比。本文分別選用AESCL 和AE-SCL-SR 模型來提取單源域遷移特征，AE-SCL 和AE-SCL-SR 模型將非樞軸特征向量矩陣作為神經(jīng)網(wǎng)絡(luò)的輸入，將樞軸特征向量作為神經(jīng)網(wǎng)絡(luò)的輸出，通過在非樞軸特征和樞軸特征之間建立起連接，得到隱層的遷移特征。在得到遷移特征后，訓(xùn)練Logistics 分類器預(yù)測情感極性。第2 部分為本文模型與基線模型的實驗結(jié)果對比。本文從數(shù)據(jù)集中選取1 個領(lǐng)域為目標(biāo)域，剩下3 個領(lǐng)域為源域。選用Logistics 作為基分類器，訓(xùn)練得到3 個源域到目標(biāo)域的分類器h1，h2，h3。模擬退火優(yōu)化算法中，初始值t0= 10 000，終止值t1= 0.1，迭代次數(shù)L = 1 000。設(shè)置Logistics 分類器h1和h2的初始權(quán)重w1,w2為[0.1，0.5]區(qū)間的隨機值，分類器h3的權(quán)重w3= 1- w1- w2，T 值不斷下降，下降幅度 α = 0.95。

3.4 實驗結(jié)果與分析

3.4.1 實驗評估指標(biāo)

本文采用準(zhǔn)確率來評估情感分類的效果，定義為

式中，T 為預(yù)測正確樣本數(shù)，N 為樣本的總數(shù)。準(zhǔn)確率度量的是所有樣本中預(yù)測正確樣本的百分比。

3.4.2 集成方法與單源跨領(lǐng)域模型的實驗結(jié)果對比

本文分別用AE-SCL 和AE-SCL-SR 作為提取單源域遷移特征的模型，在得到單源域遷移特征后，使用本文方法訓(xùn)練并集成Logistics 分類器，得到多源跨領(lǐng)域情感分類的結(jié)果。實驗結(jié)果對比如表4所示。

從表4 的結(jié)果可以看出，以AE-SCL 為特征遷移模型時，本文方法明顯優(yōu)于AE-SCL 單源域的準(zhǔn)確率。其中以B 為目標(biāo)域時，本文方法比E→B 單源域情感分類準(zhǔn)確率提高了5.9%；以E 為目標(biāo)域時，本文方法比B→E的單源域情感分類準(zhǔn)確率提高了7.35%。

表4 集成方法與單源跨領(lǐng)域模型的實驗結(jié)果Table 4 Experimental results of ensemble method and single source cross-domain model

以AE-SCL-SR 為特征遷移模型時，本文方法明顯優(yōu)于AE-SCL-SR 單源域的準(zhǔn)確率，其中以B為目標(biāo)域時，本文方法比E→B單源域情感分類準(zhǔn)確率提升了6.1%；以E為目標(biāo)域時，本文方法比B→E單源域情感分類準(zhǔn)確率提升了5.7%。

以上實驗結(jié)果說明了使用不同的特征遷移基模型時，本文方法均可以取得較好的實驗結(jié)果。與單源域?qū)嶒灲Y(jié)果對比，基于集成一致性多源域的方法可以更準(zhǔn)確地預(yù)測目標(biāo)域?qū)嵗鶎俚那楦蓄悇e，減少了目標(biāo)域?qū)卧从虻囊蕾嚕徑饬艘蛟从虿煌瑢?dǎo)致分類性能差異較大的缺點。

3.4.3 與基線模型實驗結(jié)果對比

為了驗證本文方法的有效性，本文在亞馬遜產(chǎn)品評論數(shù)據(jù)集以及Skytrax 數(shù)據(jù)集上進行了實驗。亞馬遜數(shù)據(jù)集上的實驗結(jié)果如表5 所示，Skytrax 數(shù)據(jù)集上的實驗結(jié)果如表6 所示。

表5 亞馬遜數(shù)據(jù)集的實驗結(jié)果Table 5 Experimental results of the Amazon datasets

表6 Skytrax 數(shù)據(jù)集的實驗結(jié)果Table 6 Experimental results of the Skytrax datasets

從表5 可以看出，對于多源跨領(lǐng)域情感分類任務(wù)，本文方法在4 組實驗中有3 組實驗結(jié)果取得所有模型中最高的準(zhǔn)確率。與IDDIWP 模型相比，本文方法在以DVD 為目標(biāo)域的分類實驗中準(zhǔn)確率提升了2.12%，在4 組實驗中平均提升了1.7%。與DWHC 模型相比，本文方法在以Electronics 為目標(biāo)域的實驗中準(zhǔn)確率提升了5.10%，在4 組實驗中平均提升了1.89%。與CP-MDA 模型相比，本文方法在以DVD 為目標(biāo)域的實驗中分類準(zhǔn)確率提升了1.58%，在4 組實驗中平均提升了0.75%。與DAN、MAN、PBLM-LSTM 模型相比，本文方法在4 組實驗中均取得了最好的分類效果?？梢钥闯?，將集成一致性作為目標(biāo)函數(shù)，通過優(yōu)化不同分類器間的權(quán)重，可以得到對目標(biāo)域?qū)嵗淖罴杨A(yù)測。

從表6 可以看出，在Skytrax 數(shù)據(jù)集上的實驗，本文方法取得了較好的分類結(jié)果。與DAN、MAN 模型相比，本文在4 組目標(biāo)域的實驗中，分類準(zhǔn)確率均優(yōu)于DAN 模型和MAN 模型，其中以Airline 為目標(biāo)域的實驗中，本文方法優(yōu)于DAN 模型8.93%，優(yōu)于MAN 模型7.67%，驗證了在跨領(lǐng)域情感分類任務(wù)中，集成多源域可以達到更好的分類效果。與PBLM-LSTM 模型相比，本文有3 組實驗結(jié)果優(yōu)于該模型，其中以Seat 為目標(biāo)域的實驗中，本文方法優(yōu)于該模型2.22%。充分驗證了本文方法引入集成一致性的有效性。

與基線模型的實驗對比驗證了本文方法的有效性，說明基于集成一致性的多源域跨領(lǐng)域情感分類模型，可以很好地集成目標(biāo)域?qū)嵗诓煌从虻谋碚?，更?zhǔn)確地預(yù)測目標(biāo)域?qū)嵗那楦袠O性。并且，基于一致性的集成多源域情感分類結(jié)果比較穩(wěn)定，不再局限于單域的影響，擺脫了當(dāng)源域不同、域間差異不同時，分類性能差異明顯的缺點。本文模型訓(xùn)練以及預(yù)測過程中，并沒有用到目標(biāo)域的標(biāo)簽，相對于弱監(jiān)督、半監(jiān)督任務(wù)需要部分目標(biāo)域標(biāo)簽來輔助訓(xùn)練，本文模型擺脫了對目標(biāo)域標(biāo)簽的依賴。

4 結(jié)束語

針對跨領(lǐng)域情感分類任務(wù)，本文提出了基于多源域集成的跨領(lǐng)域情感分類模型。充分利用不同源域分類器對目標(biāo)域?qū)嵗念A(yù)測概率，引入集成一致性，最大化不同源域分類器對同一目標(biāo)實例的預(yù)測共識。通過優(yōu)化算法得到分類器權(quán)重，達到多源域集成模型的一致性。本文方法集成了多源域的優(yōu)勢，得到了穩(wěn)定的情感分類結(jié)果。實驗結(jié)果表明，本文方法相比基線模型能夠更好地解決跨領(lǐng)域情感分類任務(wù)。本文的多源域集成方法性能受限于單源域遷移特征，在今后的工作中可以考慮使用其他單源域特征遷移方法，以進一步提高分類質(zhì)量。