曾 誠(chéng)，溫超東，孫瑜敏，潘 列，何 鵬

(1.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院 湖北 武漢 430062；2.湖北省軟件工程工程技術(shù)研究中心 湖北 武漢 430062；3.智慧政務(wù)與人工智能應(yīng)用湖北省工程研究中心 湖北 武漢 430062)

0 引言

隨著數(shù)字媒體技術(shù)的快速發(fā)展，彈幕成為人們表達(dá)觀點(diǎn)的一個(gè)重要途徑，深受年輕用戶的歡迎，并在嗶哩嗶哩、愛奇藝和騰訊視頻等多個(gè)視頻平臺(tái)逐漸流行。彈幕評(píng)論在發(fā)送后直接同步顯示在視頻播放過程中，并在屏幕上從右到左如子彈般緩緩飛過，故網(wǎng)友稱之為彈幕。相比普通文本，彈幕文本有著其獨(dú)特的風(fēng)格，不僅包含較多的網(wǎng)絡(luò)詞語(yǔ)和字符表情，且存在大量“同詞不同義”的情況，給情感分析帶來較大挑戰(zhàn)。如“喜歡”這個(gè)詞，在“我很喜歡up主的風(fēng)格”這個(gè)句子中表示一種正向的情感，但在“男主總是喜歡搬弄是非”這個(gè)句子中表示一種傾向，不帶任何感情色彩。傳統(tǒng)的彈幕文本情感分析方法大多利用情感詞典來判斷彈幕文本的情感極性。文獻(xiàn)[1]采用情感詞典對(duì)彈幕文本中的詞匯進(jìn)行情感分析，得到詞匯的情感強(qiáng)度并將其累加，從而得出彈幕文本整體的情感極性。文獻(xiàn)[2]針對(duì)彈幕文本口語(yǔ)化的特點(diǎn)，建立了網(wǎng)絡(luò)彈幕常用詞詞典，能夠更好地識(shí)別彈幕文本中出現(xiàn)的網(wǎng)絡(luò)詞匯，并通過該詞典計(jì)算彈幕文本的情感值，最終利用情感值對(duì)彈幕文本進(jìn)行分類。近年來，隨著深度學(xué)習(xí)的發(fā)展，越來越多的研究者將深度學(xué)習(xí)應(yīng)用在彈幕文本分析任務(wù)中。文獻(xiàn)[3]提出一種基于注意力機(jī)制的長(zhǎng)短期記憶網(wǎng)絡(luò)情感分析模型，用于幫助用戶準(zhǔn)確地獲取彈幕文本中所包含的情感信息。文獻(xiàn)[4]使用雙通道卷積神經(jīng)網(wǎng)絡(luò)對(duì)文本進(jìn)行情感分析，其中一個(gè)通道為字向量，另一個(gè)通道為詞向量，解決了單通道卷積神經(jīng)網(wǎng)絡(luò)視角單一以及不能充分學(xué)習(xí)到文本特征信息的問題。文獻(xiàn)[5]則提出一種基于奇異值分解算法的卷積神經(jīng)網(wǎng)絡(luò)模型，使用奇異值分解的方法代替?zhèn)鹘y(tǒng)卷積神經(jīng)網(wǎng)絡(luò)模型中的池化層進(jìn)行特征提取和降維，有效提升了彈幕文本情感分析的效果。

雖然以上研究取得了不錯(cuò)的效果，但是由于彈幕文本中存在著大量“同詞不同義”的情況，以上方法在進(jìn)行特征提取時(shí)無法區(qū)分句子中同一個(gè)詞在不同上下文語(yǔ)境中的不同含義，且在訓(xùn)練過程中不能兼顧文本中的局部特征信息和上下文語(yǔ)義關(guān)聯(lián)，導(dǎo)致其分類準(zhǔn)確率相對(duì)較低。因此，本文結(jié)合ALBERT預(yù)訓(xùn)練語(yǔ)言模型和卷積循環(huán)神經(jīng)網(wǎng)絡(luò)(CRNN)方法來分析彈幕文本的情感極性，提出一種彈幕文本情感分析模型ALBERT-CRNN。利用ALBERT預(yù)訓(xùn)練語(yǔ)言模型獲取彈幕文本的動(dòng)態(tài)特征表示，充分利用了句子中詞的上下文信息，使得句子中同一個(gè)詞在不同上下文語(yǔ)境中具有不同的詞向量表達(dá)；使用CRNN對(duì)特征進(jìn)行訓(xùn)練，充分考慮了文本中的局部特征信息和上下文語(yǔ)義關(guān)聯(lián)，進(jìn)一步提高了模型在彈幕文本情感分析任務(wù)中的準(zhǔn)確率。

1 相關(guān)工作

深度學(xué)習(xí)技術(shù)在情感分析中應(yīng)用的前提是解決詞映射問題，即將文本轉(zhuǎn)化為機(jī)器可以識(shí)別的數(shù)字，常用的方法是針對(duì)文本訓(xùn)練詞向量。Mikolov等[6-7]提出Word2Vec模型，其本質(zhì)為一種神經(jīng)網(wǎng)絡(luò)概率語(yǔ)言模型，包括CBOW和Skip-Gram兩種模型，但通過該模型訓(xùn)練出的詞向量為靜態(tài)詞向量，舍棄了文本中大量詞語(yǔ)的位置信息，不能表示出文本的完整語(yǔ)義。Devlin等[8]在ELMo[9]和GPT[10]的基礎(chǔ)上提出了BERT預(yù)訓(xùn)練語(yǔ)言模型，該模型通過使用雙向Transformer[11]編碼器對(duì)語(yǔ)料庫(kù)進(jìn)行訓(xùn)練得到文本的雙向編碼表示，且訓(xùn)練出的詞向量為動(dòng)態(tài)詞向量，使得句子中同一個(gè)詞在不同上下文語(yǔ)境中具有不同的詞向量表達(dá)。

增大BERT預(yù)訓(xùn)練模型的規(guī)模能提升下游任務(wù)的效果，但受計(jì)算資源的限制，所需的訓(xùn)練時(shí)間較長(zhǎng)，且進(jìn)一步提升模型的規(guī)模將導(dǎo)致顯存或內(nèi)存不足。為此，Lan等[12]提出ALBERT模型，該模型是基于BERT模型的一種輕量級(jí)預(yù)訓(xùn)練語(yǔ)言模型，采用雙向Transformer獲取文本的特征表示，且大大減少了模型中的參數(shù)，并在多項(xiàng)自然語(yǔ)言處理(NLP)任務(wù)中取得了最佳效果。為準(zhǔn)確判斷彈幕文本的情感傾向，特征分類算法的選擇也尤為重要。Kim[13]提出文本卷積神經(jīng)網(wǎng)絡(luò)模型(TextCNN)，使用不同尺寸的卷積核對(duì)文本局部特征進(jìn)行訓(xùn)練，實(shí)現(xiàn)了句子級(jí)別的分類任務(wù),并取得了較好的分類效果。Socher等[14]將循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)應(yīng)用到NLP任務(wù)中，在進(jìn)行文本特征訓(xùn)練時(shí)能夠較好地利用上下文信息。然而，傳統(tǒng)RNN存在梯度爆炸和消失問題，處理長(zhǎng)序列文本的效果并不理想。Hochreiter等[15]提出長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)，解決了傳統(tǒng)RNN的梯度爆炸和消失問題。之后，Dey等[16]提出了門控循環(huán)單元(GRU)，在保持LSTM效果的同時(shí)使得模型結(jié)構(gòu)更加簡(jiǎn)單。

卷積神經(jīng)網(wǎng)絡(luò)(CNN)雖然能夠高效地利用文本的局部特征信息，但無法獲取上下文信息；雙向門控循環(huán)單元(BiGRU)雖然能夠有效地獲取文本的上下文信息，但由于自身循環(huán)遞歸的特性，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜度較高，時(shí)間代價(jià)較大。文獻(xiàn)[17]結(jié)合CNN和BiGRU的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)勢(shì)，提出基于注意力機(jī)制的CRNN文本分類算法，既能利用CNN訓(xùn)練局部特征的優(yōu)勢(shì)，又能利用BiGRU獲取上下文語(yǔ)義信息的優(yōu)勢(shì)，提升了文本分類的準(zhǔn)確率。然而，由于其在提取文本特征時(shí)采用的是傳統(tǒng)的Word2Vec模型，導(dǎo)致其舍棄了大量詞語(yǔ)的位置信息，無法表示出文本的完整語(yǔ)義。綜合以上研究，本文將ALBERT預(yù)訓(xùn)練語(yǔ)言模型與CRNN相結(jié)合，提出了一種基于ALBERT-CRNN的彈幕文本情感分析模型，并通過與其他模型的對(duì)比實(shí)驗(yàn)證明了其在彈幕文本情感分析中的有效性。

2 基于ALBERT-CRNN的彈幕文本情感分析模型

本文提出的ALBERT-CRNN彈幕文本情感分析方法主要包括以下步驟。1)對(duì)彈幕文本數(shù)據(jù)進(jìn)行清洗和預(yù)處理，篩選出具有情感極性的彈幕文本數(shù)據(jù)，并打上相應(yīng)的標(biāo)簽。2)使用ALBERT預(yù)訓(xùn)練語(yǔ)言模型獲取彈幕文本的動(dòng)態(tài)特征表示。3)使用結(jié)合CNN與BiGRU的神經(jīng)網(wǎng)絡(luò)模型CRNN對(duì)文本特征進(jìn)行訓(xùn)練，獲取每條彈幕文本的深層語(yǔ)義特征。4)利用Softmax函數(shù)對(duì)文本深層語(yǔ)義特征進(jìn)行分類，最終得出每條彈幕文本的情感極性。

2.1 ALBERT預(yù)訓(xùn)練語(yǔ)言模型

2.1.1ALBERT模型結(jié)構(gòu) ALBERT預(yù)訓(xùn)練語(yǔ)言模型采用雙向Transformer獲取文本的特征表示，其模型結(jié)構(gòu)如圖1所示。其中，E1,E2,…,EN表示序列中的每一個(gè)字符，經(jīng)過多層雙向Transformer編碼器的訓(xùn)練，最終得到文本的特征向量表示T1,T2,…,TN。Transformer的模型結(jié)構(gòu)為Encoder-Decoder[18-19]，ALBERT采用的是其Encoder部分，該部分由多個(gè)相同的基本層組成。其中，每個(gè)基本層包含兩個(gè)子網(wǎng)絡(luò)層：第一個(gè)為多頭自注意力機(jī)制層；第二個(gè)為普通前饋網(wǎng)絡(luò)層。

圖1 ALBERT模型結(jié)構(gòu)

2.1.2ALBERT模型對(duì)BERT模型的改進(jìn) 為減少BERT模型的參數(shù)和增強(qiáng)模型的語(yǔ)義理解能力，ALBERT模型在BERT模型的基礎(chǔ)上主要進(jìn)行了兩點(diǎn)改進(jìn)。首先，ALBERT模型通過嵌入層參數(shù)因式分解和跨層參數(shù)共享方法有效減少了BERT模型中的參數(shù)，大大降低了訓(xùn)練時(shí)的內(nèi)存花銷，并有效提升了模型的訓(xùn)練速度。其次，為彌補(bǔ)Yang等[20]提出的BERT模型中NSP任務(wù)存在的缺點(diǎn)，ALBERT模型通過使用SOP任務(wù)代替BERT模型中的NSP任務(wù)，提升了多句子輸入的下游任務(wù)的效果。

2.2 CNN層

CNN是一種前饋神經(jīng)網(wǎng)絡(luò)，由卷積層和池化層組成。在卷積層中，通過與文本特征表示矩陣S進(jìn)行卷積得到新的特征ci，其計(jì)算公式為

ci=f(w?Si:i+m-1+b)，

(1)

其中：i表示第i個(gè)特征值；m表示卷積計(jì)算中滑動(dòng)窗口的大??；Si:i+m-1表示矩陣S中第i行至第i+m-1行的文本特征矩陣；w為卷積核；?表示卷積計(jì)算；f為非線性激活函數(shù)；b為偏置值。將滑動(dòng)窗口應(yīng)用于各局部文本特征矩陣S1:m,S2:m+1,…,Sn-m+1:n,最終得到特征向量C,

C=(c1,c2,…,cn-m+1)。

(2)

另外，分別采用尺寸為3、4、5的卷積核對(duì)特征圖進(jìn)行卷積，對(duì)每個(gè)卷積核重復(fù)上述過程，得到各自的特征向量。在池化層中，通過最大池化方法保留權(quán)重最大的特征值，并舍棄其他特征值，計(jì)算公式為

pj=max(cj)，

(3)

其中：pj表示特征圖中第j個(gè)池化區(qū)域內(nèi)最大的特征值。

2.3 BiGRU層

GRU是LSTM模型的一個(gè)變體，其模型結(jié)構(gòu)如圖2所示。LSTM模型包含三個(gè)門計(jì)算,即輸入門、輸出門和遺忘門。GRU模型在LSTM模型的基礎(chǔ)上進(jìn)行了簡(jiǎn)化，只由zt和rt兩個(gè)門控單元組成。其中：zt表示更新門，用于控制前一時(shí)刻的狀態(tài)信息被帶入到當(dāng)前狀態(tài)中的程度；rt表示重置門，用于控制忽略前一時(shí)刻的狀態(tài)信息的程度。

圖2 GRU模型結(jié)構(gòu)

基于以上GRU的模型結(jié)構(gòu)，可以得出GRU的前向傳播計(jì)算公式為

zt=σ(Wzxxt+Wzhht-1+bz)，

(4)

rt=σ(Wrxxt+Wrhht-1+br)，

(5)

(6)

(7)

2.4 ALBERT-CRNN模型

ALBERT-CRNN模型結(jié)構(gòu)如圖3所示，主要由以下6個(gè)部分組成：輸入層、ALBERT層、CRNN層(包含CNN層和BiGRU層)、全連接層、Softmax層和輸出層。該模型的工作流程如下。

圖3 ALBERT-CRNN模型結(jié)構(gòu)

步驟1 利用輸入層將彈幕文本數(shù)據(jù)輸入到模型的ALBERT層中，輸入的彈幕文本數(shù)據(jù)X=(X1,X2,…,XN)，其中Xi表示該條彈幕文本中的第i個(gè)詞。

步驟2 在ALBERT層對(duì)輸入的文本數(shù)據(jù)進(jìn)行序列化，將文本數(shù)據(jù)X中的每個(gè)詞轉(zhuǎn)化為其在字典中所對(duì)應(yīng)的編號(hào)。序列化后的文本數(shù)據(jù)E=(E1,E2,…,EN)，其中Ei表示文本中第i個(gè)詞的序列化字符。利用多層雙向Transformer編碼器對(duì)序列化后的彈幕文本進(jìn)行訓(xùn)練，得到彈幕文本的動(dòng)態(tài)特征表示。文本特征表示T=(T1,T2,…,TN)，其中Ti表示文本中第i個(gè)詞的特征向量。在使用Transformer編碼器獲取彈幕文本特征時(shí)，計(jì)算當(dāng)前句子中每個(gè)詞與其他詞之間的相互關(guān)系，然后利用這些相互關(guān)系去調(diào)整每個(gè)詞的權(quán)重，從而獲得句子中每個(gè)詞的新的表達(dá)。通過此方式訓(xùn)練出的文本特征表示T充分利用了句子中詞的上下文信息，使得句子中同一個(gè)詞在不同上下文語(yǔ)境中具有不同的詞向量表達(dá)，較好地區(qū)分了同一個(gè)詞在不同上下文語(yǔ)境中的不同含義。

步驟3 將文本特征表示T輸入到CNN層中, 分別采用尺寸為3、4、5的卷積核對(duì)文本特征進(jìn)行訓(xùn)練，經(jīng)池化層降維后分別得到三個(gè)文本向量Fc1、Fc2和Fc3,將三者進(jìn)行疊加得到向量Fc。為保證池化后的三個(gè)文本向量能夠相互疊加，在池化層采用全填充的方式使得池化后的三個(gè)文本向量形狀相同。

步驟4 將CNN層的輸出Fc分別傳給BiGRU層的前向GRU層和后向GRU層，經(jīng)過多個(gè)GRU隱藏單元的訓(xùn)練，最終得到兩個(gè)文本向量表示，分別記作Fg0和Fg1。

步驟5 將Fg0和Fg1進(jìn)行疊加得到向量Fg，F(xiàn)g的維度為2h，其中h為GRU隱藏單元個(gè)數(shù)。通過全連接層對(duì)Fg進(jìn)行兩次全連接，全連接層的輸出維度為s，s表示情感標(biāo)簽的個(gè)數(shù)。

步驟6 使用Softmax函數(shù)對(duì)全連接層的輸出結(jié)果進(jìn)行歸一化，得到彈幕文本情感極性的概率分布矩陣L，對(duì)L按行取最大值的索引，最終得到彈幕文本的情感極性。

上述流程中的步驟3和步驟4充分利用了CNN訓(xùn)練局部特征的優(yōu)勢(shì)以及BiGRU獲取上下文語(yǔ)義信息的優(yōu)勢(shì)，從而能夠充分考慮文本中的局部特征信息和上下文語(yǔ)義關(guān)聯(lián)，進(jìn)一步提升了模型的效果。

3 實(shí)驗(yàn)部分與結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)

實(shí)驗(yàn)環(huán)境如下：操作系統(tǒng)為Ubuntu16.04，CPU是Intel?Xeon?Gold 5218，GPU為NVIDIA Tesla V100，內(nèi)存為48 GB，使用Python3.6進(jìn)行算法編程，并使用Tensorflow1.12.0作為深度學(xué)習(xí)框架。利用網(wǎng)絡(luò)爬蟲技術(shù)分別從嗶哩嗶哩、愛奇藝和騰訊視頻三個(gè)視頻網(wǎng)站上爬取彈幕文本數(shù)據(jù)，形成不同的彈幕文本數(shù)據(jù)集。對(duì)彈幕數(shù)據(jù)進(jìn)行清洗，剔除掉不具有情感傾向的彈幕，并將具有情感傾向的彈幕分為負(fù)向和正向情感彈幕。數(shù)據(jù)清洗完成后，嗶哩嗶哩彈幕數(shù)據(jù)集共包含5 037個(gè)負(fù)向情感樣本和5 109個(gè)正向情感樣本，愛奇藝彈幕數(shù)據(jù)集共包含5 014個(gè)負(fù)向情感樣本和5 115個(gè)正向情感樣本，騰訊視頻彈幕數(shù)據(jù)集共包含5 024個(gè)負(fù)向情感樣本和5 218個(gè)正向情感樣本。對(duì)以上數(shù)據(jù)進(jìn)行預(yù)處理，并按照7∶3的比例劃分為訓(xùn)練集和測(cè)試集。

3.2 評(píng)價(jià)指標(biāo)

為評(píng)價(jià)模型的分類效果，采用混淆矩陣對(duì)分類結(jié)果進(jìn)行統(tǒng)計(jì)。使用TP表示實(shí)際為正樣本且預(yù)測(cè)為正樣本，F(xiàn)P表示實(shí)際為負(fù)樣本但預(yù)測(cè)為正樣本，TN表示實(shí)際為負(fù)樣本且預(yù)測(cè)為負(fù)樣本，F(xiàn)N表示實(shí)際為正樣本但預(yù)測(cè)為負(fù)樣本。根據(jù)混淆矩陣統(tǒng)計(jì)的結(jié)果，采用準(zhǔn)確率(Acc)、精確率(P)、召回率(R)以及精確率與召回率的調(diào)和平均值(F1)對(duì)模型效果進(jìn)行評(píng)價(jià)，計(jì)算公式為

(8)

(9)

(10)

(11)

3.3 實(shí)驗(yàn)參數(shù)

實(shí)驗(yàn)參數(shù)主要包括ALBERT模型和CRNN模型的參數(shù)。其中ALBERT采用Google發(fā)布的預(yù)訓(xùn)練模型ALBERT-Base，其模型參數(shù)如下：嵌入層尺寸為128，隱藏層尺寸為768，隱藏層的層數(shù)為12，注意力頭的個(gè)數(shù)為12，并且使用ReLU作為模型的激活函數(shù)。另外，在模型訓(xùn)練的過程中對(duì)該預(yù)訓(xùn)練模型進(jìn)行微調(diào)，以更加適用于本文的情感分析任務(wù)。CRNN模型參數(shù)如下：CNN中的卷積核尺寸分別為3、4、5，且每種尺寸卷積核的個(gè)數(shù)均為128，另外在池化層采用最大池化的方法對(duì)特征進(jìn)行降維，且池化尺寸為4。BiGRU中的GRU隱藏單元個(gè)數(shù)為128，模型的層數(shù)為1，采用ReLU作為激活函數(shù)，并在訓(xùn)練階段將Dropout的比例設(shè)置為0.5。ALBERT-CRNN模型訓(xùn)練參數(shù)如下：設(shè)置批次大小為64，迭代輪數(shù)為30，由于彈幕文本一般較短，設(shè)置最大序列長(zhǎng)度為30，采用交叉熵?fù)p失函數(shù)，選取Adam作為模型的優(yōu)化器，并將學(xué)習(xí)率設(shè)置為5×10-5。

3.4 對(duì)比實(shí)驗(yàn)設(shè)置

為驗(yàn)證ALBERT-CRNN彈幕文本情感分析模型的有效性，將ALBERT-CRNN模型與SVM、CNN、BiGRU、CRNN以及ALBERT模型進(jìn)行對(duì)比，在嗶哩嗶哩、愛奇藝和騰訊視頻三個(gè)視頻平臺(tái)的彈幕文本數(shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)。其中SVM、CNN、BiGRU和CRNN模型均基于Word2Vec模型構(gòu)建詞向量；ALBERT和ALBERT-CRNN模型則采用Google發(fā)布的中文預(yù)訓(xùn)練模型ALBERT-Base來進(jìn)行文本特征表示，并將此預(yù)訓(xùn)練模型在本文數(shù)據(jù)集下進(jìn)行微調(diào)。

3.5 實(shí)驗(yàn)結(jié)果及分析

不同模型在三個(gè)彈幕文本數(shù)據(jù)集上的精確率、召回率和F1值結(jié)果如表1所示?？梢钥闯觯啾萐VM、CNN、BiGRU、CRNN和ALBERT模型，ALBERT-CRNN模型在嗶哩嗶哩數(shù)據(jù)集上的F1值分別提高了8.5、5.5、5.6、4.9和0.6個(gè)百分點(diǎn)，在愛奇藝數(shù)據(jù)集上的F1值分別提高了8.1、5.0、5.5、3.8和0.7個(gè)百分點(diǎn)，在騰訊視頻數(shù)據(jù)集上的F1值分別提高了8.1、5.9、5.7、5.0和1.9個(gè)百分點(diǎn)。由此可以得出，相比其他基于Word2Vec構(gòu)建詞向量的模型，ABERT和ALBERT-CRNN模型在彈幕文本情感分析中有著明顯的優(yōu)勢(shì)，證明了由預(yù)訓(xùn)練語(yǔ)言模型獲取的文本特征能夠充分利用句子中詞的上下文信息，較好地區(qū)分了句子中同一個(gè)詞在不同上下文語(yǔ)境中的不同含義，從而使得彈幕文本情感分析的效果得到了提升。另外，ALBERT-CRNN模型相比ALBERT模型在彈幕文本情感分析中具有更優(yōu)的表現(xiàn)，證明了CRNN模型能夠充分考慮文本中的局部特征信息和上下文語(yǔ)義關(guān)聯(lián)，進(jìn)一步提升了模型的性能。

表1 不同模型在三個(gè)數(shù)據(jù)集上的精確率、召回率和F1值結(jié)果

圖4給出了不同模型在三個(gè)彈幕文本數(shù)據(jù)集上的準(zhǔn)確率對(duì)比?？梢园l(fā)現(xiàn)，相比SVM、CNN、BiGRU、CRNN和ALBERT模型，ALBERT-CRNN模型在彈幕文本情感分析中具有更佳的效果，在三個(gè)數(shù)據(jù)集上的準(zhǔn)確率分別達(dá)到94.3%、93.5%和94.8%，再次證明了ALBERT-CRNN模型在彈幕文本情感分析任務(wù)中的有效性。

圖4 不同模型在三個(gè)數(shù)據(jù)集上的準(zhǔn)確率對(duì)比

利用ALBERT-CRNN模型對(duì)單個(gè)彈幕文本進(jìn)行預(yù)測(cè)，展示了模型真實(shí)的運(yùn)用功能。為方便了解輸出結(jié)果的含義，將預(yù)測(cè)值大于0.5的定義為正向情感，其余的定義為負(fù)向情感。單個(gè)樣例分析結(jié)果如表2所示，可以看出，ALBERT-CRNN模型對(duì)隨機(jī)選取的單個(gè)彈幕文本的預(yù)測(cè)結(jié)果都是正確的，能夠成功應(yīng)用于彈幕文本情感分析中。

表2 單個(gè)樣例分析結(jié)果

4 結(jié)語(yǔ)

本文提出一種結(jié)合ALBERT與CRNN的彈幕文本情感分析模型ALBERT-CRNN。通過ALBERT預(yù)訓(xùn)練語(yǔ)言模型獲取彈幕文本的動(dòng)態(tài)特征表示，解決了傳統(tǒng)彈幕情感分析方法無法區(qū)分句子中同一個(gè)詞在不同上下文語(yǔ)境中含義不同的問題；使用結(jié)合CNN與BiGRU的神經(jīng)網(wǎng)絡(luò)CRNN對(duì)特征進(jìn)行訓(xùn)練，充分利用了文本中的局部特征信息和上下文語(yǔ)義關(guān)聯(lián)。在嗶哩嗶哩、愛奇藝和騰訊視頻三個(gè)視頻平臺(tái)的彈幕文本數(shù)據(jù)集上進(jìn)行對(duì)比實(shí)驗(yàn)，證明了ALBERT-CRNN模型在彈幕文本情感分析任務(wù)中的有效性。由于ALBERT模型在使用過程中的參數(shù)量仍然較大，導(dǎo)致訓(xùn)練所花費(fèi)的時(shí)間較長(zhǎng)。在下一步研究工作中，將對(duì)ALBERT模型進(jìn)行壓縮，在模型精度不受較大損失的情況下盡可能降低模型的復(fù)雜度，從而提高模型的訓(xùn)練效率。