崔滕

摘要：隨著我國(guó)移動(dòng)互聯(lián)網(wǎng)和互聯(lián)網(wǎng)金融的快速發(fā)展，為更好地讓商家和用戶理解與分析電商平臺(tái)上的用戶評(píng)論，為了獲取商品評(píng)論中的情感特征并捕捉更多的情感信息，可以使用深度學(xué)習(xí)技術(shù)來(lái)構(gòu)建模型。文章提出構(gòu)建BERT-BiLSTM-CRF模型，該模型將深層語(yǔ)言模型BERT與雙向長(zhǎng)短記憶網(wǎng)絡(luò)和條件隨機(jī)場(chǎng)模型（BiLSTM+CRF） 相結(jié)合建立新模型，運(yùn)用BERT模型的嵌入層對(duì)句子進(jìn)行分割，將其轉(zhuǎn)為詞向量后傳遞到BiLSTM模型中，從而獲得文本中的屬性和情感詞，并使用條件隨機(jī)場(chǎng)來(lái)解決遠(yuǎn)程依賴關(guān)系無(wú)法識(shí)別的缺陷。實(shí)驗(yàn)結(jié)果表明，通過(guò)國(guó)際語(yǔ)義評(píng)測(cè)大會(huì)提供的數(shù)據(jù)集，實(shí)驗(yàn)驗(yàn)證了本模型在文本情感分析精度方面的優(yōu)越性。

關(guān)鍵詞：情感分析；深度學(xué)習(xí)；雙向長(zhǎng)短時(shí)記憶模型；BERT

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）31-0034-04

開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID） ：

0 引言

情感分析技術(shù)（sentiment analysis）[1]是一種能夠?qū)χ饔^性文本或句子中所包含的情感色彩進(jìn)行分析、處理和抽取的技術(shù)，是一種重要的自然語(yǔ)言處理技術(shù)，應(yīng)用廣泛，如方面級(jí)情感分析可以用于輿情分析、個(gè)性化推薦和搜索等領(lǐng)域中。在方面級(jí)情感分析中，方面是指句子中被描述、顯式或隱式提及的實(shí)體或概念，而情感則是對(duì)方面的描述或評(píng)價(jià)。方面情感分析可以分為方面提取和方面情感分析兩個(gè)子任務(wù)。方面提取的目標(biāo)是從文本中識(shí)別出句子中的方面，而方面情感分析則是對(duì)提取出的內(nèi)容進(jìn)行情感判斷。 在方面情感分析中，術(shù)語(yǔ)是指特定領(lǐng)域中常用的詞匯或表達(dá)方式，可以幫助識(shí)別和描述方面的情感。通過(guò)對(duì)句子中的術(shù)語(yǔ)進(jìn)行分析，可以更準(zhǔn)確地判斷方面的情感。 方面情感分析的結(jié)果通常以方面類別和情感極性兩個(gè)維度進(jìn)行描述。方面類別是對(duì)方面進(jìn)行分類，常見(jiàn)的類別包括產(chǎn)品特征、服務(wù)質(zhì)量、用戶體驗(yàn)等。情感極性則是對(duì)方面的情感進(jìn)行判斷，通常分為正面、負(fù)面和中性。如今，在互聯(lián)網(wǎng)技術(shù)的快速發(fā)展下，人們可以通過(guò)網(wǎng)絡(luò)對(duì)已購(gòu)買的商品或感興趣的事物進(jìn)行評(píng)論[2]，這些評(píng)論數(shù)據(jù)對(duì)于企業(yè)和輿情相關(guān)部門都具有十分重要的價(jià)值。通過(guò)對(duì)產(chǎn)品的評(píng)論數(shù)據(jù)進(jìn)行情感分析，企業(yè)可以更好地了解客戶需求，進(jìn)行個(gè)性化的銷售，提高收益。同樣的，輿情相關(guān)部門可以通過(guò)分析事件評(píng)論進(jìn)行輿情分析和觀點(diǎn)挖掘等，快速做出反應(yīng)，控制和引導(dǎo)輿論，避免重大的輿情問(wèn)題的發(fā)生。情感分析的早期方法也就是第一階段主要是基于情感詞典的匹配方式，需要人為構(gòu)建情感詞典。雖然這種方法在文本情感分類方面具有一定的靈活性，但是隨著時(shí)代的發(fā)展，文本中的情感信息不易顯現(xiàn)，使用情感詞典的方法進(jìn)行情感分析已經(jīng)達(dá)不到預(yù)期的效果。第二階段是基于機(jī)器學(xué)習(xí)的情感分類方法，使用樸素貝葉斯、隨機(jī)森林和支持向量機(jī)等算法進(jìn)行分類。雖然相對(duì)于第一階段的方法，基于機(jī)器學(xué)習(xí)的方法能夠帶來(lái)不錯(cuò)的效果，但是它仍然存在局限性，只適用于小型結(jié)構(gòu)化或標(biāo)記化的數(shù)據(jù)集。第三階段是現(xiàn)在廣泛使用的深度學(xué)習(xí)，使用卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制等深度學(xué)習(xí)技術(shù)，能夠更好地處理大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)集，有效提高情感分類的準(zhǔn)確性和效率。對(duì)于情感分析的歷史，在1995年，Picard R W提出情感分析的概念，開(kāi)始了相關(guān)研究；2002年，Turney P等人提出基于無(wú)監(jiān)督學(xué)習(xí)方法的文本情感分析模型，但此模型方法輸入的特征需要手動(dòng)設(shè)計(jì)，這是一大缺點(diǎn)；隨后，深度學(xué)習(xí)的概念被提出，后廣泛應(yīng)用于情感分析中；2015年，Le P等人提出了一種名為樹形長(zhǎng)短期記憶（Tree-LSTM） 模型的方法。該模型可以增強(qiáng)從單詞層面到整個(gè)句子層面的特征合成能力，從而提高自然語(yǔ)言處理任務(wù)的性能。雖然情感分析的模型被越來(lái)越優(yōu)化，但其結(jié)果仍受情感詞典質(zhì)量和判斷情感規(guī)則的影響[3]。目前，研究上多采用Word2vec、BERT等基線模型的方法獲取文本向量，但以上方法有著忽略詞的上下文聯(lián)系等方面的缺陷。因此，本文提出使用混合模型BERT-BiLSTM-CRF的方法提取向量來(lái)解決問(wèn)題。

1 基于BERT-BiLSTM-CRF模型的情感分析

1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network） [4]是一種神經(jīng)網(wǎng)絡(luò)，能夠發(fā)掘序列數(shù)據(jù)中的語(yǔ)義信息，因此在自然語(yǔ)言處理等領(lǐng)域應(yīng)用廣泛。與傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)不同，RNN增加了循環(huán)結(jié)構(gòu)，使得網(wǎng)絡(luò)能夠記憶先前處理過(guò)的信息，并將其應(yīng)用于后續(xù)的輸入數(shù)據(jù)中。這種設(shè)計(jì)能夠有效地處理可變長(zhǎng)度的輸入序列，并在文本分類、機(jī)器翻譯等任務(wù)中取得很好的表現(xiàn)。使得隱藏層不僅可以受到當(dāng)前輸入的影響，還可以接收上一時(shí)刻隱藏層的影響。

循環(huán)神經(jīng)網(wǎng)絡(luò)的核心思想是通過(guò)循環(huán)地傳遞信息來(lái)處理序列數(shù)據(jù)。在循環(huán)神經(jīng)網(wǎng)絡(luò)中，每個(gè)神經(jīng)元的輸出不僅依賴于當(dāng)前輸入，還依賴于上一時(shí)刻的輸出。因此，循環(huán)神經(jīng)網(wǎng)絡(luò)可以更好地處理序列數(shù)據(jù)中的時(shí)序信息和長(zhǎng)期依賴關(guān)系，從而提高模型的性能和準(zhǔn)確性。

具體來(lái)說(shuō)，循環(huán)神經(jīng)網(wǎng)絡(luò)將每個(gè)時(shí)刻的輸入和上一時(shí)刻的輸出作為輸入，通過(guò)隱藏層中的循環(huán)結(jié)構(gòu)來(lái)保留并傳遞上下文信息。這樣，循環(huán)神經(jīng)網(wǎng)絡(luò)可以有效地挖掘出特征中的語(yǔ)義信息，從而提高模型的性能和泛化能力。在自然語(yǔ)言處理等領(lǐng)域，循環(huán)神經(jīng)網(wǎng)絡(luò)已經(jīng)被廣泛用在翻譯、語(yǔ)音識(shí)別、情感分析等領(lǐng)域。循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)展開(kāi)如圖1所示。

1.2 BERT

Devlin[5]等人提出基于Transformer的模型BERT，BERT是一種預(yù)訓(xùn)練的語(yǔ)言模型，其與傳統(tǒng)模型不同，它采用了遮擋語(yǔ)言模型（Masked Language Model， MLM） 生成深度的雙向語(yǔ)言表征。BERT模型對(duì)自然語(yǔ)言處理領(lǐng)域有著很大的提升與改善。傳統(tǒng)模型使用單向訓(xùn)練或?qū)蓚€(gè)單向訓(xùn)練相結(jié)合，而BERT則使用了多層的Transformer結(jié)構(gòu)，以將句子轉(zhuǎn)化為詞向量，從而對(duì)語(yǔ)境進(jìn)行更加透徹的分析。BERT-base的Encoder由12層結(jié)構(gòu)相同的Transformer Encoder結(jié)構(gòu)構(gòu)成。雖然這些Encoder在結(jié)構(gòu)上相同，但其之間的權(quán)重不可以共享。這意味著每個(gè)Encoder都具有獨(dú)立的參數(shù)，可以對(duì)不同位置的輸入進(jìn)行不同的處理，從而進(jìn)一步提高模型的性能?？傊珺ERT模型是一種基于深度雙向語(yǔ)言表征的預(yù)訓(xùn)練語(yǔ)言模型，在自然語(yǔ)言處理領(lǐng)域中具有廣泛的應(yīng)用前景。通過(guò)使用多層的Transformer結(jié)構(gòu)，BERT模型能夠更好地對(duì)語(yǔ)境進(jìn)行分析，提高模型的性能和泛化能力。BERT結(jié)構(gòu)如圖2所示。

1.3 Bilstm模型

在自然語(yǔ)言處理中，單詞的順序?qū)τ诰渥拥暮x影響很大，但傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)模型并沒(méi)有考慮輸入數(shù)據(jù)的順序。為處理這種現(xiàn)象，Zaremba[6]等提出RNN模型的概念，然而RNN模型存在梯度消失與爆炸的問(wèn)題。為了更好地處理長(zhǎng)序列數(shù)據(jù)，Hochreiter等提出了LSTM模型，LSTM模型引入三個(gè)門控單元，從而控制信息流動(dòng)，使得模型可以學(xué)習(xí)哪些信息需要記憶、哪些信息需要遺忘，并能夠捕捉較長(zhǎng)距離的依賴關(guān)系。但LSTM模型只涉及由前到后的信息，無(wú)法獲得當(dāng)前位置后的信息。因此，BiLSTM模型被推出 ，該模型由雙向LSTM組成，可以同時(shí)編碼從前向后和從后向前的信息。BiLSTM模型在自然語(yǔ)言處理任務(wù)中經(jīng)常被用于建模上下文信息，它能夠更好地捕捉雙向的語(yǔ)義依賴關(guān)系。BILSTM結(jié)構(gòu)如圖３所示。

1.4 CRF模型

CRF是自然語(yǔ)言處理領(lǐng)域中常用的基礎(chǔ)模型，適用于分詞、命名實(shí)體識(shí)別和詞性標(biāo)注等任務(wù)。CRF是一個(gè)無(wú)向概率圖模型，用于將序列數(shù)據(jù)進(jìn)行標(biāo)記。CRF模型采用了全局歸一化的隨機(jī)場(chǎng)模型和條件隨機(jī)場(chǎng)模型的優(yōu)點(diǎn)，從而可以獲得全局最優(yōu)的標(biāo)記結(jié)果。在訓(xùn)練過(guò)程中，為了簡(jiǎn)化模型，CRF僅訓(xùn)練正確選擇相鄰標(biāo)簽情況下的單個(gè)標(biāo)簽決策，以最大程度地減少誤差。這種簡(jiǎn)化的訓(xùn)練方法可以提高訓(xùn)練效率，并在實(shí)踐中表現(xiàn)良好，這種基于局部標(biāo)簽決策的方法被稱為“隨機(jī)場(chǎng)自動(dòng)回歸”（CRF-AR） ，其核心思想是通過(guò)建立每個(gè)標(biāo)記對(duì)應(yīng)的概率分布來(lái)確定最優(yōu)標(biāo)記序列。

1.5 本文構(gòu)建的基于BERT-BiLSTM-CRF的模型

基于BERT-BiLSTM-CRF[7]的文本情感識(shí)別方法。首先，通過(guò)BERT作語(yǔ)義信息表示，繼而將BERT編碼以后的詞向量通過(guò)雙向長(zhǎng)短期記憶網(wǎng)絡(luò)學(xué)習(xí)上下文特征，得到隱藏層向量，然后通過(guò)CRF層學(xué)習(xí)相鄰標(biāo)簽之間的依賴關(guān)系，得到全局最優(yōu)的句子級(jí)標(biāo)簽序列，最終依據(jù)該標(biāo)簽序列對(duì)方面詞進(jìn)行抽取。文本情感模型如圖4所示。

綜上所述，基于BERT-BiLSTM-CRF算法模型的情感分析的步驟主要有以下4步：

1） 數(shù)據(jù)預(yù)處理：對(duì)文本數(shù)據(jù)進(jìn)行清洗、分詞等處理，得到符合模型輸入要求的格式，送入BERT模型。

2） 模型訓(xùn)練：使用BERT-BiLSTM-CRF模型對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行訓(xùn)練。

3） 模型預(yù)測(cè)：使用訓(xùn)練好的BERT-BiLSTM-CRF模型對(duì)新的文本數(shù)據(jù)進(jìn)行情感分析。對(duì)于每個(gè)輸入文本，模型會(huì)輸出一個(gè)標(biāo)注序列，其中每個(gè)標(biāo)注表示該位置的字符的情感類別，例如正向情感或負(fù)向情感。

4） 結(jié)果后處理：對(duì)模型輸出的標(biāo)注序列進(jìn)行后處理，例如去除無(wú)意義的標(biāo)簽、合并相鄰的相同標(biāo)簽等，得到最終的情感分析結(jié)果。

2 實(shí)驗(yàn)結(jié)果分析

2.1 數(shù)據(jù)集預(yù)處理

在方面級(jí)情感分析領(lǐng)域，常用的數(shù)據(jù)集主要包括SemEval（國(guó)際語(yǔ)義評(píng)測(cè)大會(huì)）數(shù)據(jù)集。本文采用的數(shù)據(jù)集來(lái)自2014年國(guó)際語(yǔ)義評(píng)測(cè)大會(huì)（SemEval-2014） Task4提供的數(shù)據(jù)集：Res-14和Laptop-14，以及2015年國(guó)際語(yǔ)義評(píng)測(cè)大會(huì)（SemEval-2015） Task12提供的數(shù)據(jù)集Res-15：

1） SemEval－2014Task4數(shù)據(jù)集，由3000條左右餐廳評(píng)論、1800條左右筆記本評(píng)論組成，一部分劃為測(cè)試集，其余作為訓(xùn)練數(shù)據(jù)集。去除有沖突情感極性或沒(méi)有方面項(xiàng)的數(shù)據(jù)后，餐廳類訓(xùn)練樣本2021個(gè)，測(cè)試樣本606個(gè)。筆記本類訓(xùn)練樣本1488，測(cè)試樣本422個(gè)。

2） SemEval－2015Task12數(shù)據(jù)集由2000條左右餐廳評(píng)論組成，去除有沖突情感極性或沒(méi)有方面項(xiàng)的數(shù)據(jù)后，訓(xùn)練樣本1315個(gè)，測(cè)試樣本685個(gè)。由于本章是對(duì)評(píng)論中給定的方面詞進(jìn)行情感極性判別，所以剔除數(shù)據(jù)集中不含有方面詞的評(píng)論文本。為保證數(shù)據(jù)源的公平性，還對(duì)兩個(gè)Res數(shù)據(jù)集進(jìn)行平均，最終得出關(guān)于Res和Laptop兩個(gè)對(duì)象的評(píng)論情感分析結(jié)果。

數(shù)據(jù)集相關(guān)統(tǒng)計(jì)信息如表1所示。數(shù)據(jù)集中方面的情感極性分為三類，分別為Positive、Negative和Neutral，每條評(píng)論都至少包含一個(gè)方面詞。表中SN表示評(píng)論數(shù)量，AN表示方面詞數(shù)量，Pos表示方面情感極性為Positive的標(biāo)簽數(shù)量，Neg表示方面情感極性為Negative的標(biāo)簽數(shù)量，Neu表示方面情感極性為Neutral的標(biāo)簽數(shù)量。

文本預(yù)處理的過(guò)程[8]為：去除多余無(wú)用符號(hào)：如HTML標(biāo)簽、特殊符號(hào)等；糾錯(cuò)處理：對(duì)文本中的拼寫錯(cuò)誤、語(yǔ)法錯(cuò)誤等進(jìn)行檢查和糾正，以便于后續(xù)處理和分析；剔除無(wú)意義單詞：可以使用自定義停用詞表和刪除特殊符號(hào)的方法。自定義停用詞表可以剔除文本數(shù)據(jù)中那些頻繁出現(xiàn)但無(wú)實(shí)際意義的單詞；刪除特殊符號(hào)可以通過(guò)使用正則表達(dá)式把文本中的特殊符號(hào)刪除，以便于后續(xù)處理和分析；提取句子主干，使用SentenceBERT等模型提取句子主干，以削減冗余信息，避免句子過(guò)長(zhǎng)無(wú)法訓(xùn)練的問(wèn)題；索引長(zhǎng)度標(biāo)準(zhǔn)化，對(duì)處理后的文本數(shù)據(jù)進(jìn)行索引和標(biāo)準(zhǔn)化，以便于后續(xù)模型的訓(xùn)練和應(yīng)用，如表2所示。

2.2 實(shí)驗(yàn)配置

硬件環(huán)境：64位系統(tǒng)，AMDRyzen75800HwithRadeonGraphics處理器，16.0GB內(nèi)存，amdradeon（TM）graphics顯卡。

軟件環(huán)境：Python3.6，TensorFlow1.14.0。

Transformer設(shè)為12層，隱藏層的維度設(shè)為768，注意力機(jī)制的頭數(shù)設(shè)為12。模型總參數(shù)大小為110ＭＢ。特征提取層主要由BILSTM構(gòu)成。

模型訓(xùn)練方面：設(shè)置批次大小為64，最大序列長(zhǎng)度為512，隱藏層個(gè)數(shù)為13，epoch為4，batchsize設(shè)定為256，優(yōu)化器選用lamb，dropout率為0.5。

2.3 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)分析數(shù)據(jù)[9]是消極還是積極，若預(yù)測(cè)結(jié)果為積極，則標(biāo)記為1，反之標(biāo)記為０，如表3所示。

表3中，TP含義：預(yù)測(cè)是積極，實(shí)際是積極；FP：預(yù)測(cè)是積極，實(shí)際是消極；FN：預(yù)測(cè)是消極，實(shí)際是積極；TN：預(yù)測(cè)是消極，實(shí)際是消極。而對(duì)于研究中的評(píng)價(jià)指標(biāo)，本文有以下幾種：

1） 召回率（Recall score） ：表示模型的實(shí)際為1的樣本，預(yù)測(cè)也為1的概率，計(jì)算公式如下：

[R=TPTP+FN]

２） 精準(zhǔn)率（Precision score） ：在所有預(yù)測(cè)為1的樣本中，實(shí)際上有多少個(gè)樣本真的為1，其計(jì)算公式為：

[P=TPTP+FP]

３） F1值（F1-score） ：是對(duì)以上兩個(gè)指標(biāo)進(jìn)行加權(quán)平均的結(jié)果，其計(jì)算公式為：

[F1=2PRP+R]

2.4 實(shí)驗(yàn)結(jié)果分析

本文將準(zhǔn)確率、召回率和F1值[10]三個(gè)方面作為評(píng)價(jià)指標(biāo)。其中，準(zhǔn)確率衡量了分類器對(duì)負(fù)樣本的區(qū)分能力，召回率衡量了分類器對(duì)正樣本的識(shí)別能力，而F1值是綜合考慮準(zhǔn)確率和召回率的指標(biāo)，能夠全方面地反映出分類性能。用F1值分析評(píng)估分類器時(shí)，如果分類器性能越好，則其值（F1值）越接近于1。所以本文將F1值作為主要的評(píng)價(jià)指標(biāo)。

本實(shí)驗(yàn)在對(duì)比模型上，樣本分別選取了BERT、BILSTM、CNN模型進(jìn)行訓(xùn)練與結(jié)果比較。具體描述如下。

1） BERT：首先使用預(yù)處理模型使參數(shù)與之前預(yù)設(shè)的參數(shù)一致，利用預(yù)訓(xùn)練文本特征后輸入BERT情感分類。

2） BILSTM：定義參數(shù)的大小同2層BILSTM模型的結(jié)構(gòu)一樣，使用全連接層，最后通過(guò)Sof Max分類器得出結(jié)果。

3） CNN：使用TensorFlow中的CNN，調(diào)整input與卷積核參數(shù)，迭代次數(shù)為100，epoch次數(shù)為5，詞向量的維度為20。

由表4的整體結(jié)果分析可知，BERT-BILSTM-CRF模型精度與BERT、BILSTM和CNN精度相比分別提高了3.32%、9.1%和4.35%。BERT-BILSTM-CRF模型相對(duì)于傳統(tǒng)文本模型在進(jìn)行情感分析上可以獲得更好的結(jié)果。

3 結(jié)論

針對(duì)網(wǎng)絡(luò)評(píng)論文本中包含豐富的情感信息，通過(guò)詳細(xì)介紹文本情感分析領(lǐng)域中常用的情感分析方法和算法，本文設(shè)計(jì)了基于BERT-BiLSTM-CRF的模型，對(duì)電商平臺(tái)的評(píng)論文本進(jìn)行情感分析。在BERT模型的基礎(chǔ)上，加入BiLSTM+CRF模型。首先，通過(guò)BERT作語(yǔ)義信息表示，繼而將BERT編碼以后的詞向量通過(guò)雙向長(zhǎng)短期記憶網(wǎng)絡(luò)學(xué)習(xí)上下文特征，得到隱藏層向量，然后通過(guò)CRF層學(xué)習(xí)相鄰標(biāo)簽之間的依賴關(guān)系，得到全局最優(yōu)的句子級(jí)標(biāo)簽序列，最終依據(jù)該標(biāo)簽序列對(duì)方面詞進(jìn)行抽取。結(jié)果證明，基于BERT-BiLSTM-CRF混合模型用于文本的情感分析，在提高情感分析的精確性方面具有優(yōu)越性。

參考文獻(xiàn)：

[1] ZHANG X J，HUANG S，ZHAO J Q，et al.Exploring deep recurrent convolution neural networks for subjectivity classification[J].IEEE Access，2018（7）：347-357.

[2] 王鵬嶺，應(yīng)欣慧，梁家瑞，等.網(wǎng)購(gòu)評(píng)論情感分析：以某化妝品為例[J].電腦知識(shí)與技術(shù)，2022，18（13）：21-23.

[3] 康月，薛惠珍，華斌.面向深度學(xué)習(xí)網(wǎng)絡(luò)的細(xì)粒度商品評(píng)價(jià)分析[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（11）：140-147.

[4] 郭佳怡，唐矛寧，宋濤，等.旅游景區(qū)印象分析系統(tǒng)V1.0：2022SR0471334[P].2022-04-14.

[5] DEVLIN J，CHANG M，LEE K，et al.BERT：pre-training of deep bidirectional transformers for language understanding[EB/OL].[2022-10-20].https：//arxiv.org/abs/1810.04805.pdf.

[6] ZAREMBA W，RAY A，SCHNEIDER J，et al.Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World[2021-10-12].https：//arxiv.org/abs/1703. 06907.

[7] 趙宏，傅兆陽(yáng)，趙凡.基于BERT和層次化Attention的微博情感分析研究[J].計(jì)算機(jī)工程與應(yīng)用，2022，58（5）：156-162.

[8] 王美榮.基于卷積神經(jīng)網(wǎng)絡(luò)的文本分類算法[J].佳木斯大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，36（3）：354-357.

[9] 趙富，楊洋，蔣瑞，等.融合詞性的雙注意力Bi-LSTM情感分析[J].計(jì)算機(jī)應(yīng)用，2018，38（S2）：103-106，147.

[10] 石文華，高羽，胡英雨.基于情感傾向和觀察學(xué)習(xí)的在線評(píng)論有用性影響因素研究[J].北京郵電大學(xué)學(xué)報(bào)（社會(huì)科學(xué)版），2015，17（5）：32-39.

【通聯(lián)編輯：謝媛媛】