郭苗苗 陳昕彤 王磊 李夢凡 蔡梓良 徐桂芝

（1.河北工業(yè)大學(xué)電氣工程學(xué)院省部共建電工裝備可靠性與智能化國家重點實驗室，天津 300130；2.河北工業(yè)大學(xué)電氣工程學(xué)院天津市生物電工與智能健康重點實驗室，天津 300130）

1 引言

情緒識別是讓計算機感知人類情感狀態(tài)從而實現(xiàn)人機交互技術(shù)的關(guān)鍵環(huán)節(jié)，隨著神經(jīng)科學(xué)對情緒機理研究的逐步深入和腦機接口技術(shù)在情感智能領(lǐng)域應(yīng)用的迅速發(fā)展，情緒識別在情感腦機接口的相關(guān)研究和應(yīng)用中得到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。在眾多情緒識別的方法中，腦電（Electroencephalogram，EEG）信號作為一種生理信號，由人體的中樞神經(jīng)直接產(chǎn)生，難以人為操縱或改變，可以實時客觀地反映出人類情緒狀態(tài)，相較于其他諸如基于語音或面部表情等非生理信號進行情緒識別的傳統(tǒng)方法而言［1-2］，具有更高的可靠性和準確性［3］，這使得很多研究人員選擇基于EEG 的情緒識別方法作為研究大腦對情緒刺激反應(yīng)的首選方法。

在各類基于EEG 的情緒識別方法中，大多數(shù)研究使用淺層模型，如支持向量機（Support vector machine，SVM）、決策樹等［4-5］，這類傳統(tǒng)方法對復(fù)雜函數(shù)表達能力有限，更容易受到不同領(lǐng)域數(shù)據(jù)分布變化的影響，進而在一定程度上限制了機器學(xué)習(xí)模型解決復(fù)雜分類問題的能力［6］。相較而言，深度學(xué)習(xí)通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)復(fù)雜函數(shù)逼近［7］，對輸入數(shù)據(jù)分布式表示具有更好的擬合能力，展現(xiàn)了強大的從樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力，顯示出來一些優(yōu)于淺層模型的優(yōu)勢［8-9］。楊豪等［10］采用深度信念網(wǎng)絡(luò)（Deep Belief Network，DBN）對微分熵（Differential entropy，DE）特征進行識別的平均準確率為89.12%±6.54%；陳景霞等［6］基于DEAP 數(shù)據(jù)集中EEG 信號的時域、頻域特征及其組合特征，提出一種基于卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network，CNN）模型的EEG 情感特征學(xué)習(xí)與分類算法，在效價維度上平均準確率最高達到88.76%，在喚醒度上平均準確率最高達到85.57%。這些單被試的深度學(xué)習(xí)方法通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型，來學(xué)習(xí)更有用的特征，從而提升分類或預(yù)測的準確性。然而，由于EEG 信號的非平穩(wěn)性所造成的被試間的不同數(shù)據(jù)分布差異［11］，使得以上針對單一被試訓(xùn)練的分類模型在跨被試應(yīng)用時存在困難，且利用固定分類模型對腦電情緒狀態(tài)的預(yù)測效果隨時間改變而下降，因而極大地限制了腦電情緒識別技術(shù)的實際應(yīng)用。

為了解決跨被試情緒識別問題，部分研究團隊使用了領(lǐng)域適配（Domain Adaptation，DA）方法［12-13］。DA模型將從具有標簽的源域樣本中學(xué)到的知識遷移到缺少標簽的目標域，來實現(xiàn)不同領(lǐng)域間的知識遷移，從而解決傳統(tǒng)機器學(xué)習(xí)方法在跨人識別時所存在的數(shù)據(jù)分布不一致問題。Zheng等［14］在公開情緒分類數(shù)據(jù)集SEED 上使用直推式參數(shù)遷移（Transductive parameter transfer，TPT）算法對齊源域和目標域邊緣分布，最終分類準確率達到76.31%±15.89%，略高于基于距離最大均值差異（Maximum mean discrepancy，MMD）實現(xiàn)的遷移成分分析（Transfer component analysis，TCA）算法［15］（63.64%±14.88%）。Jin等［16］利用域?qū)股窠?jīng)網(wǎng)絡(luò)（Domain adversarial neural networks，DANN）建立的跨被試情感識別模型在SEED 上的平均準確率為79.19%±13.14%，該跨被試情感識別模型在訓(xùn)練階段保持特征區(qū)分性和領(lǐng)域不變性，通過加入幾個標準層和一個梯度反轉(zhuǎn)層構(gòu)造了一個前饋神經(jīng)網(wǎng)絡(luò)。然而，通過DANN 方法利用無標簽的目標域數(shù)據(jù)僅適配了源域與目標域的邊緣分布，單純地只進行全局對齊由于未考慮兩個域中所包含同類樣本的子域之間的關(guān)系，引起源域和目標域的所有數(shù)據(jù)以及鑒別結(jié)構(gòu)的混淆，并由此丟失各類別的細粒度信息。為應(yīng)對全局域?qū)R的挑戰(zhàn)，越來越多的研究人員［17-19］關(guān)注以學(xué)習(xí)局部域移位為中心的子域適配（也稱為語義對齊或匹配條件分布），即準確地對齊源域和目標域相關(guān)子域特征分布。

本文提出了一種新的深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)用于情緒識別：全局域適應(yīng)與相關(guān)子域自適應(yīng)串聯(lián)系統(tǒng)（Series System of global domain adaptation network and relevant subdomain adaptation network，SS_GDAN_RSAN）。它在DANN 基礎(chǔ)上通過捕獲每個類別的細粒度信息來擴展域適應(yīng)網(wǎng)絡(luò)能力。為了實現(xiàn)適當?shù)膶R，本文利用了賦予特定權(quán)重的局部最大平均差異（Local Maximum Mean Discrepancy，LMMD）［20］，LMMD 在考慮不同樣本權(quán)重的情況下，測量了源域和目標域中相關(guān)子域在再生核希爾伯特-施密特范數(shù)空間的分布差異。研究結(jié)果表明，通過SS_GDAN_RSAN 進行跨被試及跨時間情緒識別任務(wù)最終均得到了較高的準確率和較好的穩(wěn)定性，這為基于腦電信號的情緒識別做出了有益嘗試。

2 SS_GDAN_RSAN模型

2.1 模型結(jié)構(gòu)

為了從少數(shù)樣本集中捕捉更能反映數(shù)據(jù)集本質(zhì)的特征［21］，從而實現(xiàn)更好的情緒分類效果，本文以深度神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建域適應(yīng)模型，具體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

如圖1所示，整個模型可分為三個部分：特征提取器、全局域分類器、子域域分類器。在圖中分別被標記為F（feature extractor），G（global domain classifier），S（subdomain classifier），其中F 對于源域和目標域共享權(quán)重。為了對目標域的樣本作出可靠的預(yù)測，F(xiàn)、G、S 的更新準則不僅包括對帶有標簽的源域樣本進行情感分類，而且要同時滿足使源域與目標域的細粒度特征盡可能相似。為此，本文設(shè)計了全局對齊和子域?qū)R兩種不同的域自適應(yīng)策略實現(xiàn)在較淺的層生成域不變特征、在較深的層生成特定于任務(wù)的特征［22］。在較淺的層中，G 構(gòu)建了經(jīng)典的域自適應(yīng)神經(jīng)網(wǎng)絡(luò)，此時的F 與G 類似于生成對抗網(wǎng)絡(luò)（Generative adversarial networks，GAN）中的監(jiān)督器與生成器［23］，為子域模型適配條件分布作準備。串聯(lián)后的源域數(shù)據(jù)與目標域數(shù)據(jù)通過F產(chǎn)生較低維度的特征向量，通過G 中的梯度反轉(zhuǎn)層迫使F生成具有域不變性質(zhì)的特征。

圖1 SS_GDAN_RSAN模型圖Fig.1 Model diagram of SS_GDAN_RSAN

在較深的層S處，使用了新的DA方法深度子域自適應(yīng)網(wǎng)絡(luò)（Deep Subdomain Adaption Network，DSAN）［20］，基于源域的真實標簽和經(jīng)過淺層分類器得到的目標域偽裝標簽，將源域和目標域劃分為多個包含同類樣本的子域，并通過對齊相關(guān)子域，捕獲每個類別的細粒度信息，這些信息可以在端到端的框架中進行訓(xùn)練，從而擴展深度適應(yīng)網(wǎng)絡(luò)的特征表示能力。

2.2 模型訓(xùn)練

為了從少數(shù)樣本集中捕捉更能反映數(shù)據(jù)集本質(zhì)的特征，從而得到一個更貼合目標域數(shù)據(jù)特點的模型，本文研究將模型每一輪的訓(xùn)練在同一批次的源域數(shù)據(jù)與目標域數(shù)據(jù)下完成A、B 兩個步驟。具體訓(xùn)練流程如下：

步驟A該步驟目標是對齊源域和目標域整體邊緣分布，并且盡可能的減少在源域的情緒分類損失，具體的訓(xùn)練方法如圖2所示。

圖2 SS_GDAN_RSAN方法中的訓(xùn)練步驟AFig.2 Training step A of SS_GDAN_RSAN

網(wǎng)絡(luò)在步驟A 中使用了兩種不同的參數(shù)更新方法。其中，F(xiàn)、G 是為了使兩個域的淺層輸出特征分布相似，其優(yōu)化策略可以用公式（1）所描述。

公式（1）第一項Lclass是模型對源域數(shù)據(jù)的情緒分類損失，其具體計算過程如公式（2）所示。

公式（1）第二項Ldomain是模型對源域及目標域數(shù)據(jù)的邊緣分布相似性損失，需要借助對抗性領(lǐng)域自適應(yīng)方法進行優(yōu)化。為使淺層F生成對抗性特征以混淆G，其損失函數(shù)如公式（4）所描述。

其中，H 是交叉熵損失，p∈｛0，1｝是域標簽是域分類器的輸出。如果腦電樣本來自于源域，p=0；如果它來自目標域，p=1。

S 的更新策略與F、G 不同。較深層的參數(shù)更新應(yīng)該將最小化子域情緒分類損失作為主要目標。在無監(jiān)督域自適應(yīng)中，我們得到了一個含有ns個帶標簽樣本的源域表示的預(yù)測標簽，即意味著屬于第j類，在這里C指類別數(shù)目）和一個含有nt個無標簽樣本的目標域其中Ds和Dt是分別來自不同數(shù)據(jù)分布p和q的樣本數(shù)據(jù)集。

為了將源域和目標域劃分為包含同類樣本的多個子域，需利用樣本之間的相關(guān)性關(guān)系。由于只有源域樣本被標記，而目標域樣本是未標記的，我們首先需要在源監(jiān)督的基礎(chǔ)上對目標樣本進行分類。我們發(fā)現(xiàn)，深度神經(jīng)網(wǎng)絡(luò)的輸出是一個恰當?shù)母怕史植?，它能夠很好地表征將xi賦給每個C類的概率。因此，對于沒有標簽的目標域Dt，我們使用作為偽標簽。根據(jù)源域真實標簽和目標域偽標簽，我們將Ds和Dt分別劃分為C個子域，其中c∈｛1，2，3｝代表類別標簽的分布對應(yīng)分別為p（c）和q（c）。接下來基于此進行子域適配，對齊具有相同標簽的樣本的相關(guān)子域的分布。

綜合子域分類損失和子域適應(yīng)損失，得到在步驟A中S參數(shù)的更新方法如公式（5）：

在此E［c·］是類別的數(shù)學(xué)期望。

經(jīng)過步驟A，模型在淺層生成了域不變特征。接下在步驟B的優(yōu)化目標以適配源域與目標域的條件分布并使分類器模擬目標域特異性的決策邊界為主［24］，具體過程如圖3所示。

圖3 SS_GDAN_RSAN方法中的訓(xùn)練步驟BFig.3 Training steps B of SS_GDAN_RSAN

步驟B為了調(diào)整源域和目標域中同一類別中相關(guān)子域的分布，假設(shè)每個樣本根據(jù)權(quán)重wc屬于各類，我們使用基于非參數(shù)的MMD［25］定義賦予權(quán)重的局部最大平均差：weighted_LMMD 度量局部分布的差異的無偏估計：

遵循Adam 算法進行訓(xùn)練，通過迭代，目標樣本的標記通常會變得更精確。

3 數(shù)據(jù)預(yù)處理

3.1 數(shù)據(jù)集創(chuàng)建

本文實驗數(shù)據(jù)集采用上海交通大學(xué)提供的情緒腦電信號數(shù)據(jù)庫（Shanghai Jiao Tong University，emotion electroencephalogram dataset，SEED）［8］，SEED以電影片段作為情緒誘發(fā)素材，在15個受試者觀看電影片段的過程中，使用62通道腦電帽采集受試者的腦電信號（62通道信號為一組），每個受試者分別有5 組“積極”、5 組“消極”、5 組“中性”的腦電信號，且對每組數(shù)據(jù)都經(jīng)濾波獲取了腦電信號在Delta（1～3 Hz），Theta（4～7 Hz），Alpha（8～13 Hz），Beta（14～30 Hz），Gamma（31～50 Hz）等5 個頻段的信號，再在此基礎(chǔ)上使用多種特征變換方法對每個頻段下的數(shù)據(jù)進行特征提取。其中，DE 特征在香農(nóng)熵的概念上擴展而來，能夠表示連續(xù)隨機變量的復(fù)雜性?，F(xiàn)有的研究表明［26-27］，腦電信號在人體內(nèi)五個頻段近似服從高斯分布，如果隨機變量服從高斯分布，即x～N（μ，σ2），那么DE可以簡單地通過以下公式計算得到：

其中σ2是x的方差，e是歐拉常數(shù)。

Zheng等［8］在識別正性、中性和負性3 種情緒的實驗中，使用DE 作為特征獲得的識別準確率高于其他特征，因此本文同樣以DE 作為輸入特征，通過輸入小批量包含源域和目標域同等數(shù)量樣本的腦電特征向量作為訓(xùn)練數(shù)據(jù)。

3.2 數(shù)據(jù)預(yù)處理

對于15 個受試者，先后進行三次實驗，每次實驗下3 種情緒隨機重復(fù)5 次組情緒誘發(fā)數(shù)據(jù)。種情緒誘發(fā)實驗電影片段時長約為4 分鐘，每隔1 秒采集得到一次樣本，即每個被試在每次實驗過程中可產(chǎn)15 × 4 × 60 ≈3394 個樣本，所有腦電數(shù)據(jù)共有3394 × 15=50910 個樣本。為了加快跨被試模型的訓(xùn)練速度，本文從中隨機選取了5000個標記有情緒分類標簽的源域樣本，與目標域全部3394個未標記的腦電數(shù)據(jù)串聯(lián)在一起并打上域標簽，共同構(gòu)成訓(xùn)練集。此外，為加快神經(jīng)網(wǎng)絡(luò)的收斂速度，對所有輸入特征進行歸一化處理。

4 實驗結(jié)果與分析

為了研究SS_GDAN_RSAN 模型在跨被試、跨時間兩種情景下的情緒分類能力，本文設(shè)計了兩種遷移學(xué)習(xí)實驗，分別為多對一的跨被試遷移實驗和單被試跨時間遷移實驗。

4.1 基于SS_GDAN_RSAN 的多對一跨被試遷移實驗結(jié)果

本文采用留一交叉驗證方法設(shè)計了多對一的跨被試遷移實驗，以研究SS_GDAN_RSAN 模型在跨被試情景下的情緒分類能力?；谇昂髮嶒灁?shù)據(jù)重復(fù)進行同一情緒分類實驗，模型相對準確、穩(wěn)定地識別出同一個體的不同情緒狀態(tài)。

SS_GDAN_RSAN 方法對15 個被試的跨被試情緒分類準確率和平均分類準確率如圖4所示。其中被試15的準確率最高（93.67%），被試3的準確率最低（69.39%）。15 個被試的平均正確率為84.05%±5.91%，且被試間準確率差異較小，SS_GDAN_RSAN方法顯示出較好的穩(wěn)定性。

圖4 SS_GDAN_RSAN在跨被試任務(wù)中對每個被試的準確率和平均準確率Fig.4 Accuracy for each subject and average accuracy by SS_GDAN_RSAN

此外，當訓(xùn)練被試數(shù)量分別為2、4、6、8、10、12、14人時，對同一組被試進行分類檢測結(jié)果如下圖5。

圖5 增加訓(xùn)練被試數(shù)量與分類性能關(guān)系曲線Fig.5 Relationship between the number of training subjects and classification performance

可以觀察到，隨著訓(xùn)練被試數(shù)量增加，分類結(jié)果平均準確率呈上升趨勢，標準差整體呈下降趨勢，即隨著訓(xùn)練被試數(shù)量增加分類性能變好。

本文還對比分析了SS_GDAN_RSAN 與非跨被試算法和其他主流情緒識別方法的結(jié)果，如圖6 所示，實驗結(jié)果表示基于不同方法的跨被試遷移情緒分類準確率的平均值±標準差。

圖6 基于不同方法的跨被試遷移結(jié)果Fig.6 Cross-subject emotion recognition results based on different methods

其中，非跨被試為模擬理想情況直接使用目標域數(shù)據(jù)進行訓(xùn)練及測試。從圖中可以看出：與非跨被試結(jié)果相比，SVM 方法在跨被試實驗中的分類效果較差，其準確率及標準差均產(chǎn)生較明顯差距，這是由于被試間腦電特征的差異未經(jīng)過DA 方法進行調(diào)整所造成的。原始遷移方法TCA 的性能比一般分類器更具優(yōu)勢，表明通過特征降維進行知識遷移的有效性。相較于TCA 和SVM，TPT 通過利用核函數(shù)捕捉數(shù)據(jù)分布之間的相似性，并利用回歸模型學(xué)習(xí)數(shù)據(jù)分布到分類器參數(shù)的映射，在平均分類準確率方面有更明顯提高，充分體現(xiàn)了DA 方法的優(yōu)勢。DANN方法在TPT的基礎(chǔ)上提高了2.88%的分類準確率，同時降低了2.75%的標準差，表現(xiàn)出具有更高準確率和較好的穩(wěn)定性趨勢，但是由于網(wǎng)絡(luò)較淺，其表征能力有限。SS_GDAN_RSAN 在5 種方法中顯示出最高的分類準確率和最好的穩(wěn)定性，在DANN 的基礎(chǔ)上提高了4.86%的分類準確率，并降低了7.23%的標準差，15 組測試數(shù)據(jù)中共有13 組被試情緒分類準確率高于使用DANN 方法跨被試遷移情緒分類準確率的平均值，這是由于SS_GDAN_RSAN 方法在DANN 基礎(chǔ)上通過捕獲每個類別的細粒度信息來擴展DAN 的能力，從而使分類器更為契合目標域。單因素方差分析結(jié)果表明：SS_GDAN_RSAN 方法在15 名受試者上的跨被試分類準確率顯著優(yōu)于圖6中其他方法（P＜0.01）。

為了更直觀的展示SS_GDAN_RSAN 方法在跨被試任務(wù)中的特點，本文使用（t-stochastic neighbor embedding，TSNE）技術(shù)［28］在二維平面上投射了F、S的輸出，結(jié)果如圖7 所示。圖7 中兩列分別顯示了三種方法在淺層F 處及深層S 處輸出特征的分布。第一行為未使用DA方法的神經(jīng)網(wǎng)絡(luò)情緒分類效果，其源域與目標域在淺層特征分布的分離體現(xiàn)了腦電非平穩(wěn)特性造成的被試間腦電分布差異，深層特征分布結(jié)果顯示利用源域標簽數(shù)據(jù)訓(xùn)練的分類器對目標域數(shù)據(jù)難以做出正確情緒分類。在使用DANN方法后，源域與目標域在淺層F即產(chǎn)生了邊緣分布近似相同的特征，在深層S輸出的特征向量也相較于未遷移方法有更多重疊，但由于網(wǎng)絡(luò)較淺其對于樣本的各子域邊界分類模糊。SS_GDAN_RSAN 方法在DANN基礎(chǔ)上通過捕獲每個類別的細粒度信息來擴展域適應(yīng)網(wǎng)絡(luò)的特征表示能力，同時適配了源域與目標域的全局與子域的特征分布，通過調(diào)整多個域特定層中激活的相關(guān)子域分布自適應(yīng)，使目標域特征在淺層分布F 即生成可見的情感聚類，也在深層分布S中得到更為清晰的子域情緒類別邊界。

圖7 三種方法（未遷移，DANN，SS_GDAN_RSAN）生成特征的可視化Fig.7 Visualization of features generated by three methods（without transter learning，DANN，SS_GDAN_RSAN）

4.2 基于SS_GDAN_RSAN 的跨時間遷移實驗結(jié)果

本文在跨時間遷移實驗中訓(xùn)練數(shù)據(jù)集的源域為單個被試前兩個時間段腦電數(shù)據(jù)，目標域選用相應(yīng)被試第三個時間段的腦電數(shù)據(jù)。SS_GDAN_RSAN 方法對15 個被試的跨時間情緒分類準確率和平均分類準確率如圖8所示。

圖8 SS_GDAN_RSAN在跨時間任務(wù)中對每個被試的準確率和平均準確率Fig.8 Accuracy and average accuracy for each subject by SS_GDAN_RSAN

圖8 中被試7、8、11、15 的準確率最高（近100%），被試10 的準確率最低（81.76%）。15 個被試的平均正確率為91.66%±7.32%。被試間準確率差異較小，因此SS_GDAN_RSAN 模型在跨時間情景下進行情緒分類仍然顯示出很好的穩(wěn)定性。

為進一步評價SS_GDAN_RSAN 方法在跨時間情景下的情緒分類能力，本文對比分析了SS_GDAN_RSAN與其他主流方法的情緒識別結(jié)果，15名被試的跨時間遷移結(jié)果如圖9所示。

為了模擬理想條件下識別結(jié)果作為對照組，實驗使用單個被試的同一時間數(shù)據(jù)訓(xùn)練并測試，得到非跨時間識別結(jié)果。圖9通過對比模擬理想條件下識別結(jié)果展示了基于不同方法的跨時間遷移情緒分類準確率的平均值±標準差。未遷移指在跨時間任務(wù)中直接使用神經(jīng)網(wǎng)絡(luò)進行情緒分類。相比于非跨時間任務(wù)，其準確率大幅降低、標準差明顯增加，分類效果不佳。在此基礎(chǔ)上，DANN方法由于使用了DA，在跨時間任務(wù)中的準確率略有所提升。相較而言，SS_GDAN_RSAN 方法準確率最高且標準差最低。與DANN 方法相比較，其準確率提高了8.51%、標準差降低了4.69%，該方法的域適應(yīng)性能在跨時間任務(wù)中體現(xiàn)出明顯優(yōu)勢。

圖9 基于不同方法的跨時間遷移結(jié)果Fig.9 Cross-session transfer results based on different methods

此外在計算量方面，本文使用具有兩個隱藏層的全連接網(wǎng)絡(luò)，神經(jīng)元個數(shù)分別為128，100。具體計算量為310 × 128+128 × 100+100 × 3=52780，網(wǎng)絡(luò)參數(shù)較少，在GPU 運算環(huán)境下計算前向傳播的時間可以忽略不計，與其余主流方法無顯著差異。使用本方法微調(diào)參數(shù)后的網(wǎng)絡(luò)模型能夠快速分類腦電的微分熵特征，滿足在線識別的需求，實時情緒識別效果更好。

5 結(jié)論

為解決腦電信號非平穩(wěn)性及被試間差異的局限性對情緒識別模型跨被試、跨時間應(yīng)用產(chǎn)生的問題，深度學(xué)習(xí)算法被進一步研究和應(yīng)用于基于腦電信號的多維情緒分類任務(wù)。對于不同的源域和目標域數(shù)據(jù)分布，域適應(yīng)可以最小化其分布差異。相較于以往全局分布的域適應(yīng)對齊方法，子域自適應(yīng)方法能夠精確地對齊源域和目標域同一類別中相關(guān)子域的分布。在此基礎(chǔ)上，本文提出了簡單高效的全局域適應(yīng)與相關(guān)子域自適應(yīng)串聯(lián)系統(tǒng)（SS_GDAN_RSAN）來推廣跨被試和跨時間的情感識別模型。本文使用神經(jīng)網(wǎng)絡(luò)建立情感識別模型，通過最小化全局域適應(yīng)過程中的源域情緒分類誤差、源域與目標域數(shù)據(jù)的邊緣分布相似性損失以及子域自適應(yīng)過程中的子域分類誤差、子域自適應(yīng)損失來實現(xiàn)優(yōu)化，基于weighted_LMMD 的域間特定層激活的相關(guān)子域分布來學(xué)習(xí)傳輸網(wǎng)絡(luò)，通過捕獲每個類別的細粒度信息來擴展域適應(yīng)網(wǎng)絡(luò)的特征表示能力。本文通過與已有情緒識別方法性能的對比證明了該模型的有效性，實驗結(jié)果表明，該方法進行跨被試情緒識別的平均分類正確率84.05%±5.91%，跨時間情緒識別的平均分類準確率為91.66%±7.32%，在精度及穩(wěn)定性上顯著優(yōu)于其他傳統(tǒng)方法（P＜0.01），對跨被試、跨時間情緒分類任務(wù)域適應(yīng)性與穩(wěn)定性的提高取得顯著效果，為情緒識別的實際應(yīng)用提供了新的方法。