唐裕彪

（中國移動(dòng)通信集團(tuán)重慶有限公司，重慶 401121）

1 情感分析概述

情感分析采用自然語言來處理和挖掘文本的技術(shù)，對(duì)帶有情感色彩的主觀性文本描述進(jìn)行分析、處理和識(shí)別的過程。文本情感分析涵蓋了自然語言處理、文本挖掘、信息檢索、信息抽取、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域，得到眾多學(xué)者以及研究機(jī)構(gòu)的廣泛關(guān)注，成為自然語言處理領(lǐng)域的熱點(diǎn)研究問題。情感分析包含了文檔級(jí)、句子級(jí)、方面級(jí)三個(gè)層次[1]。文檔級(jí)情感分析假設(shè)整個(gè)文檔只包含關(guān)于一個(gè)主題的觀點(diǎn)；句子級(jí)的情感分析同樣假設(shè)一個(gè)句子中只表達(dá)一個(gè)主題；方面級(jí)情感分析旨在判斷所討論的每個(gè)方面所表達(dá)的情感極性。目前，方面級(jí)情感分類的深度學(xué)習(xí)領(lǐng)域正在蓬勃發(fā)展，其目標(biāo)是確定用戶在評(píng)論中對(duì)給定方面表達(dá)的意見是積極的、消極的還是中性的。

2 面向情感分析的深度學(xué)習(xí)技術(shù)

基于深度學(xué)習(xí)的方面級(jí)情感分類可分為用于方面級(jí)情感分類的遞歸神經(jīng)網(wǎng)絡(luò)，用于方面情感分類的循環(huán)神經(jīng)網(wǎng)絡(luò)，用于方面級(jí)情感分類的基于注意機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)，用于方面級(jí)情感分類的卷積神經(jīng)網(wǎng)絡(luò)，用于方面級(jí)情感分類的存儲(chǔ)記憶網(wǎng)絡(luò)[2]。

2.1 遞歸神經(jīng)網(wǎng)絡(luò)

遞歸神經(jīng)網(wǎng)絡(luò)是一種從數(shù)據(jù)中學(xué)習(xí)有向無環(huán)圖結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。它可以看作是遞歸神經(jīng)網(wǎng)絡(luò)的一種推廣。給定一個(gè)句子的結(jié)構(gòu)表示，采用遞歸的方式由下至上來產(chǎn)生父表示，其中短語可以依照組合的形式標(biāo)記出來，從而可以得到一個(gè)句子完整的表示方法。然后，一個(gè)句子的表示被用來對(duì)給定的輸入句子進(jìn)行類似情感分類的最終預(yù)測。相關(guān)研究模型有遞歸神經(jīng)網(wǎng)絡(luò)。

2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

在這一分類中，模型可以分為三大類：循環(huán)神經(jīng)網(wǎng)絡(luò)、雙向循環(huán)神經(jīng)網(wǎng)絡(luò)、混合循環(huán)神經(jīng)網(wǎng)絡(luò)。相關(guān)研究模型如下：

（1）目標(biāo)獨(dú)立長短期記憶神經(jīng)網(wǎng)絡(luò)。它利用兩個(gè)長短期記憶神經(jīng)網(wǎng)絡(luò)，從關(guān)于給定方面的左上下文和右上下文學(xué)習(xí)表示。在此之后，將最后的隱藏向量連接起來，并將它們輸入決策層，以預(yù)測句子在這個(gè)方面的情感極性。

（2）廣義回歸神經(jīng)網(wǎng)絡(luò)。該模型采用雙向循環(huán)神經(jīng)網(wǎng)絡(luò)來克服池化函數(shù)的缺點(diǎn)，為此提出了兩種門控神經(jīng)網(wǎng)絡(luò)。首先，它利用雙向廣義回歸神經(jīng)網(wǎng)絡(luò)將句子中的單詞連接起來，以便在隱藏狀態(tài)上應(yīng)用池化函數(shù)，而不是單詞嵌入函數(shù)，以便更好地表示方面及其上下文。其次，采用三向門控神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)句子中所提到的方面與其周圍語境之間的相互作用進(jìn)行建模。

2.3 基于注意機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)

注意機(jī)制已成功應(yīng)用于多種自然語言處理任務(wù)中，如機(jī)器翻譯、智能問答、語義理解等[3]。各種基于注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型最近被引入到方面級(jí)情感分析中，它可以有效地關(guān)注句子的重要部分。方面級(jí)情感分析的基于注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型可分為基本注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型和基于交互注意力的循環(huán)神經(jīng)網(wǎng)絡(luò)模型。單跳注意長短期記憶神經(jīng)網(wǎng)絡(luò)模型是一種基于方面嵌入，以方面表示與詞嵌入的拼接為輸入，利用長短期記憶神經(jīng)網(wǎng)絡(luò)的隱藏狀態(tài)進(jìn)行注意計(jì)算。在這個(gè)模型中，連接注意是用來捕捉句子中給定方面的重要部分。

2.4 存儲(chǔ)記憶網(wǎng)絡(luò)

存儲(chǔ)記憶網(wǎng)絡(luò)為方面級(jí)情感分類引入了一種端到端記憶網(wǎng)絡(luò)，它利用一種外部記憶機(jī)制來捕捉句子中與給定方面有關(guān)的重要信息。此外，還有人提出一種基于記憶網(wǎng)絡(luò)的重復(fù)注意機(jī)制，針對(duì)各個(gè)方面捕捉長距離分離的情感信息。為了克服記憶模型的近視問題，提出了句子級(jí)內(nèi)容注意機(jī)制。方面級(jí)情感分類的多跳注意機(jī)制的深度記憶網(wǎng)絡(luò)，在外部存儲(chǔ)器上采用了一種多跳注意機(jī)制來關(guān)注上下文詞項(xiàng)的重要性水平，明確地捕獲了語境詞的重要信息，用于推斷特定方面的情感極性。這些重要度和文本表示通過多個(gè)計(jì)算層進(jìn)行計(jì)算，這些計(jì)算層是具有外部記憶的以注意為基礎(chǔ)的神經(jīng)模型。

2.5 聯(lián)邦學(xué)習(xí)

2.5.1 情感分析安全

情感分析的安全問題主要存在3種威脅：惡意客戶端修改模型更新，破壞全局模型聚合；惡意分析者通過對(duì)模型更新信息的分析推測源數(shù)據(jù)情感隱私信息；惡意服務(wù)器企圖獲得客戶端的情感源數(shù)據(jù)。針對(duì)以上威脅，增強(qiáng)聯(lián)邦學(xué)習(xí)隱私安全性的主流方案與經(jīng)典機(jī)器學(xué)習(xí)隱私保護(hù)技術(shù)結(jié)合，包括差分隱私（DP，Differential Privacy）、安全多方計(jì)算（MPC，secure Multi-party Computation）、同態(tài)加密（HE，Homomorphic Encryption）等技術(shù)。

2.5.2 信任與激勵(lì)機(jī)制

學(xué)術(shù)界通過結(jié)合區(qū)塊鏈技術(shù)做出了大量研究。區(qū)塊鏈?zhǔn)潜忍貛诺牡讓蛹夹g(shù)，它作為一種安全可靠、不可篡改和支持查詢驗(yàn)證的分布式分類賬，被應(yīng)用于解決各類數(shù)據(jù)安全存儲(chǔ)和信任問題。聯(lián)邦學(xué)習(xí)通過集成區(qū)塊鏈能夠以一種安全、高度抗中斷和可審計(jì)的方式記錄其模型更新，為系統(tǒng)框架提供可問責(zé)性和不可否認(rèn)性。同時(shí)，區(qū)塊鏈的激勵(lì)機(jī)制作為一種經(jīng)濟(jì)回報(bào)能夠根據(jù)構(gòu)建模型時(shí)客戶端的貢獻(xiàn)給予相應(yīng)的獎(jiǎng)勵(lì)。

2.5.3 研究熱點(diǎn)

（1）系統(tǒng)異構(gòu)。在基于聯(lián)邦學(xué)習(xí)的情感分析環(huán)境中，由于參與訓(xùn)練的客戶端之間硬件配置、網(wǎng)絡(luò)帶寬、電池容量等不同，各終端設(shè)備的計(jì)算能力、通信速度和存儲(chǔ)能力各不相同。除此之外，基于聯(lián)邦學(xué)習(xí)的情感分析架構(gòu)通常會(huì)限制終端設(shè)備參與訓(xùn)練的數(shù)量，尤其是在數(shù)百萬設(shè)備參與的訓(xùn)練中，處于活躍狀態(tài)的往往只有數(shù)百個(gè)客戶端。每個(gè)客戶端并不一定可靠，隨時(shí)可能因?yàn)榫W(wǎng)絡(luò)故障、算力限制等問題退出現(xiàn)有訓(xùn)練，這些系統(tǒng)級(jí)別的異構(gòu)會(huì)給模型整體效能造成極大的挑戰(zhàn)。因此，適用于系統(tǒng)異構(gòu)的聯(lián)邦學(xué)習(xí)算法必須滿足3點(diǎn)要求：客戶端的低參與率；兼容不同的硬件結(jié)構(gòu)；能夠容忍訓(xùn)練設(shè)備的中途退出。

（2）統(tǒng)計(jì)異構(gòu)。不同的終端設(shè)備通常使用各式各樣的方式生成、存儲(chǔ)和傳輸用戶情感數(shù)據(jù)，因此各設(shè)備之間數(shù)據(jù)的特征和體量可能有很大的不同，導(dǎo)致數(shù)據(jù)呈非獨(dú)立同分布和非平衡分布。盡管這類分布的數(shù)據(jù)集可以通過通信效率優(yōu)化的方式處理，但仍然存在一些針對(duì)統(tǒng)計(jì)異構(gòu)的解決方法，如通過多任務(wù)學(xué)習(xí)框架學(xué)習(xí)不同的局部模型。類似于元學(xué)習(xí)，多任務(wù)學(xué)習(xí)由于對(duì)個(gè)性化和特定于設(shè)備建模的支持，已經(jīng)成為解決數(shù)據(jù)統(tǒng)計(jì)異構(gòu)性的主流方法。

（3）無線通信。在5G技術(shù)日益普及的今天，基于聯(lián)邦學(xué)習(xí)的情感分析開始被逐漸應(yīng)用于無線網(wǎng)絡(luò)領(lǐng)域。由于無線信道的帶寬容量有限，因此在發(fā)送情感數(shù)據(jù)之前，需要對(duì)模型更新進(jìn)行量化壓縮，在這種模式下，一個(gè)重要的考慮因素是當(dāng)存在量化誤差時(shí)模型更新的魯棒性。除了通信帶寬，無線通信中復(fù)雜的噪聲和干擾也是加劇信道瓶頸的因素。因此，開發(fā)適用于無線通信的聯(lián)邦學(xué)習(xí)算法具有突出的研究意義。

除了對(duì)聯(lián)邦學(xué)習(xí)本身技術(shù)的改進(jìn)，最新的研究進(jìn)展包括結(jié)合邊緣計(jì)算在情感分析領(lǐng)域的應(yīng)用。由于部分終端設(shè)備并沒有足夠的計(jì)算資源，同時(shí)為了滿足智能決策的低時(shí)延響應(yīng)，邊緣計(jì)算在云中心和終端設(shè)備之間添加了邊緣服務(wù)器作為中介層，聯(lián)邦學(xué)習(xí)作為其“操作系統(tǒng)”滿足了智能邊緣設(shè)備實(shí)時(shí)決策、多點(diǎn)協(xié)同、自主可控的要求。充分利用智能邊緣服務(wù)器計(jì)算、存儲(chǔ)、傳輸能力，改變傳統(tǒng)集中上傳情感數(shù)據(jù)進(jìn)行決策的方式，破解了傳統(tǒng)集中式機(jī)器學(xué)習(xí)數(shù)據(jù)難以聚合、隱私難以保護(hù)、云中心的單點(diǎn)故障等問題，為未來多功能集群、跨多智能設(shè)備的實(shí)時(shí)情感分析提供了可靠的技術(shù)保障。

2.6 多模態(tài)情感分析

由于人類的語言行為通常呈現(xiàn)為多模態(tài)混合的形式，比如自然語言、面部特征以及聲學(xué)行為，因此在處理這類多模態(tài)情感數(shù)據(jù)時(shí)就會(huì)面臨這樣的困難：一是由于對(duì)于每種模態(tài)序列采樣速率的不同導(dǎo)致數(shù)據(jù)不對(duì)齊；二是跨模態(tài)元素之間具有遠(yuǎn)距離的依賴，這種依賴性會(huì)對(duì)特征融合帶來一定的影響。

針對(duì)上述問題，傳統(tǒng)的處理方法是通過人工預(yù)處理強(qiáng)制地將視覺和聲覺特征與詞的分辨率對(duì)齊，然后基于這種對(duì)齊后的時(shí)間步長來對(duì)多模態(tài)之間的相互作用進(jìn)行建模，沒有將原始多模態(tài)特征之間長距離的依賴性考慮在內(nèi)。多模態(tài)轉(zhuǎn)換模型，以端到端的方式來直接學(xué)習(xí)沒有對(duì)齊的模態(tài)特征表示，其核心是雙向的跨模態(tài)注意機(jī)制，該機(jī)制關(guān)注不同時(shí)間步長的多模態(tài)序列之間的交互作用，并潛移默化地使一個(gè)模態(tài)去適應(yīng)另一個(gè)模態(tài)。

在高維上，模型通過一個(gè)前饋融合進(jìn)程從多個(gè)跨模態(tài)轉(zhuǎn)移來合并多模態(tài)時(shí)間序列，每個(gè)跨模態(tài)轉(zhuǎn)換器通過學(xué)習(xí)跨兩種模態(tài)特征的注意力，使用來自源模態(tài)的低維特征去反復(fù)強(qiáng)化目標(biāo)模態(tài)。因此，多模態(tài)轉(zhuǎn)換模型使用該跨模態(tài)轉(zhuǎn)換器對(duì)所有的模態(tài)對(duì)進(jìn)行建模，然后由一個(gè)序列模型使用融合的特征進(jìn)行預(yù)測。

由于人類的多模態(tài)語言序列不像詞嵌入那樣離散且具有良好的代表性，模態(tài)序列之間有很大的頻率差異，使用注意力機(jī)制將一個(gè)模態(tài)潛移默化地去適應(yīng)另一個(gè)模態(tài)，從而可以將模態(tài)之間長距離的依賴性考慮在內(nèi)。

2.7 可搜索加密

（1）為了保護(hù)情感數(shù)據(jù)的機(jī)密性，情感數(shù)據(jù)需要采用端到端方式進(jìn)行加密；此外，靈活的訪問控制（AC）在數(shù)據(jù)共享中起著至關(guān)重要的作用。

（2）數(shù)據(jù)擁有者：自身的存儲(chǔ)和計(jì)算資源不足，需將本地資源文檔外包給云服務(wù)器存儲(chǔ)。首先，數(shù)據(jù)擁有者將外包文檔加密并生成檢索索引，將密文文檔和檢索索引一起外包給云服務(wù)器。其次，當(dāng)數(shù)據(jù)擁有者想要檢索某個(gè)特定關(guān)鍵詞時(shí)，生成該關(guān)鍵詞的檢索陷門，并提交給云服務(wù)器進(jìn)行檢索。

（3）一般的可搜索加密方案包含四個(gè)算法：一是用戶生成秘鑰，用戶輸入安全參數(shù)，返回密鑰；二是用戶生成密文的檢索索引，輸入密鑰和明文數(shù)據(jù)庫，返回檢索索引；三是用戶生成關(guān)鍵詞的檢索門限，輸入關(guān)鍵詞，返回關(guān)鍵詞的檢索門限；四是服務(wù)器執(zhí)行檢索操作。

3 結(jié)束語

文本情感分析可實(shí)現(xiàn)對(duì)主題詞描述情感極性的有效識(shí)別，本文簡要概述了情感分析的概念及其分類。詳細(xì)討論了面向方面情感分析的深度學(xué)習(xí)模型。未來，在方面級(jí)情感分析的研究中，文本情感預(yù)訓(xùn)練粒度控制技術(shù)、結(jié)構(gòu)語言訓(xùn)練模型決策技術(shù)以及可解釋性方面情感分析技術(shù)等將是該領(lǐng)域的熱點(diǎn)研究方向。