劉龍飛，楊 亮，張紹武，林鴻飛

（大連理工大學(xué)信息檢索實(shí)驗(yàn)室，遼寧大連116024）

1 引言

隨著社交網(wǎng)絡(luò)的不斷發(fā)展，人們更愿意通過(guò)微博、博客社區(qū)來(lái)表達(dá)自己的觀點(diǎn)，發(fā)表對(duì)熱點(diǎn)事件的評(píng)論，從而使通過(guò)微博、博客、影評(píng)以及產(chǎn)品評(píng)價(jià)等來(lái)了解社交網(wǎng)絡(luò)用戶的情感傾向得到了學(xué)術(shù)界的廣泛關(guān)注。根據(jù)微博內(nèi)容進(jìn)行情感傾向性分析是一個(gè)具有挑戰(zhàn)性的任務(wù)，近年來(lái)引發(fā)了學(xué)者極大的興趣［1］。

目前已有研究所采用的方法大多數(shù)都基于詞袋模型，而這種模型無(wú)法捕獲到很多有關(guān)情感傾向性分析的語(yǔ)言現(xiàn)象特征。例如，“反法西斯聯(lián)盟擊潰了法西斯”和“法西斯擊潰了反法西斯聯(lián)盟”這兩個(gè)詞組擁有相同的詞袋模型表示方法，而前一個(gè)帶有積極的感情色彩，后一個(gè)帶有消極的感情色彩。除此之外，還有很多研究者使用人工標(biāo)注的數(shù)據(jù)（情感詞典及句法分析等），雖然采用這些方法可以有效地提高情感分析的準(zhǔn)確性但由于需要較多的人工標(biāo)注數(shù)據(jù)從而限制了這些方法在其他領(lǐng)域以及跨語(yǔ)言的推廣［2］。卷積神經(jīng)網(wǎng)絡(luò)模型可以從大量未標(biāo)注的文本中學(xué)習(xí)到先驗(yàn)知識(shí)，避免依賴于具體任務(wù)的人工特征設(shè)計(jì)，可以在一定程度上解決短文本上下文信息有限的問(wèn)題。

要提取微博文本特征，目前主要做法是對(duì)微博進(jìn)行分詞，匹配情感詞典，選用其中的情感詞或者情感的相關(guān)得分作為特征，但是微博屬于短文本范疇，噪聲大、新詞多、縮寫頻繁、有自己的固定搭配、上下文信息有限，對(duì)微博做分詞歧義明顯，往往得到的是不好的切分。例如，“我發(fā)現(xiàn)了一個(gè)高大上網(wǎng)站”，在該句中，“高大上網(wǎng)站”如果使用傳統(tǒng)分詞技術(shù)，會(huì)被切分為“高大／上／網(wǎng)站”或者“高大／上網(wǎng)／站”，這樣的切分無(wú)法體現(xiàn)句子的正確語(yǔ)義，甚至后一種切分還將“網(wǎng)站”切分導(dǎo)致丟失評(píng)價(jià)對(duì)象［3］。為了解決上述問(wèn)題，本文引入字級(jí)別特征，將單個(gè)字作為輸入特征，通過(guò)多個(gè)擁有不同大小卷積核的并行卷積層學(xué)習(xí)微博文本特征。

本文訓(xùn)練了一個(gè)包含多個(gè)并行卷積層的卷積神經(jīng)網(wǎng)絡(luò)，不同卷積層擁有大小不同的卷積核。本文分別將字級(jí)別特征和詞級(jí)別特征作為原始特征進(jìn)行了實(shí)驗(yàn)，利用字級(jí)別特征的卷積神經(jīng)網(wǎng)絡(luò)取得了95.42%的準(zhǔn)確率，利用詞級(jí)別特征的卷積神經(jīng)網(wǎng)絡(luò)取得了94.65%的準(zhǔn)確率。實(shí)驗(yàn)表明，對(duì)于中文微博語(yǔ)料而言，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微博情感傾向性分析是有效的，且將字級(jí)別詞向量作為原始特征會(huì)好于將詞級(jí)別詞向量作為原始特征。

本文的結(jié)構(gòu)如下：第二章介紹了一些相關(guān)工作。第三章詳細(xì)介紹了本文使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。第四章詳細(xì)說(shuō)明了本文的實(shí)驗(yàn)設(shè)定，介紹了實(shí)驗(yàn)結(jié)果，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了詳細(xì)的討論。第五章是文章的總結(jié)。

2 相關(guān)工作

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)利用卷積層可以學(xué)習(xí)局部特征［4］。在自然語(yǔ)言處理中，CNN模型在很多方面取得了很多非常好的成績(jī)，例如語(yǔ)法解析［5］、搜索詞檢索［6］、句子建模［7］及其他傳統(tǒng)的自然語(yǔ)言工作［8］。Cicero dos Santos等人［9］提出了CharSCNN模型，兩個(gè)卷積層分別學(xué)習(xí)詞語(yǔ)的構(gòu)造特征和句子的語(yǔ)義特征。

本文與Cicero dos Santos工作的不同之處在于，本文分別利用字級(jí)別向量和詞級(jí)別向量進(jìn)行實(shí)驗(yàn)，而沒(méi)有學(xué)習(xí)詞語(yǔ)的構(gòu)造特征。本文與Cicero dos Santos工作的另一個(gè)不同之處在于，Cicero dos Santos在利用卷積層學(xué)習(xí)句子特征時(shí)，使用了大小單一的卷積核，而不同大小的卷積核獲取的特征是不同的，本文參考了Kim等人的工作［10］，利用多個(gè)不同大小的卷積核學(xué)習(xí)句子級(jí)別的特征向量，然后對(duì)特征向量進(jìn)行串接，構(gòu)造新的句子特征向量。

2.2 情感分析

情感分析自從2002年由Bo Pang提出之后，獲得了很大程度的關(guān)注，特別是在線評(píng)論的情感傾向性分析上獲得了很大的發(fā)展。由于不需要大量標(biāo)注語(yǔ)料，無(wú)監(jiān)督情感分析方法一直受到許多研究者的青睞，但同時(shí)效果也低于有監(jiān)督的情感分析方法。Turney［11］首次提出基于種子詞（excellent，poor）的非監(jiān)督學(xué)習(xí)方法，使用“excellent”和“poor”兩個(gè)種子詞與未知詞在搜索網(wǎng)頁(yè)中的互信息來(lái)計(jì)算未知詞的情感極性，并用以計(jì)算整個(gè)文本的情感極性。后續(xù)的非監(jiān)督情感分析方法大都是基于生成或已有的情感詞典或者相關(guān)資源進(jìn)行情感分析。羅毅［3］等人通過(guò)構(gòu)建二級(jí)情感詞典，對(duì)不同級(jí)別情感詞作不同增強(qiáng)，使用N－gram獲取文本特征，利用構(gòu)建的情感詞典進(jìn)行微博情感傾向性分析。情感詞典的構(gòu)建過(guò)程需要大量的人工標(biāo)注，在跨領(lǐng)域應(yīng)用方面有很大的限制。使用N－gram模型，當(dāng)N較大時(shí)，會(huì)導(dǎo)致特征維度太大而難以訓(xùn)練。包含多個(gè)并行卷積層的卷積神經(jīng)網(wǎng)絡(luò)通過(guò)卷積和池化操作，既充分利用了N－gram的特征，又不會(huì)造成維度災(zāi)難。

3 卷積神經(jīng)網(wǎng)絡(luò)模型

3.1 句子級(jí)別的表示和評(píng)分

字級(jí)別特征：以單個(gè)字作為句子的基本組成單位，對(duì)單個(gè)字訓(xùn)練詞向量。

詞級(jí)別特征：利用分詞器對(duì)句子進(jìn)行分詞，以詞（包含長(zhǎng)度為1的詞）作為句子的基本組成單位，對(duì)單個(gè)詞訓(xùn)練詞向量。

以“中國(guó)足球加油！”為例，字級(jí)別的句子組成為“中＋國(guó)＋足＋球＋加＋油＋！”，詞級(jí)別的句子組成為“中國(guó)＋足球＋加油＋！”。

給定包含N個(gè)基本單位｛r1，r2，…rN｝的句子x，本文接下來(lái)的工作是計(jì)算其句子級(jí)別的表示rsentx。字級(jí)別句子的基本單位是單個(gè)的字，詞級(jí)別句子的基本單位是分詞之后的詞。在計(jì)算句子級(jí)別的特征時(shí)，會(huì)遇到兩個(gè)主要的問(wèn)題：不同句子的長(zhǎng)度不同，重要的信息會(huì)出現(xiàn)在句子中的任意位置。利用卷積層對(duì)句子建立模型，計(jì)算句子級(jí)別的特征，可以解決上面提到的兩個(gè)問(wèn)題。通過(guò)卷積操作可以得到句子中每個(gè)基本單位（字或者詞語(yǔ)）的局部特征，然后對(duì)得到的局部特征進(jìn)行最大化操作，從而得到一個(gè)固定長(zhǎng)度的句子特征向量。

在包含N個(gè)基本單位｛r1，r2，…rN｝的句子x中，卷積層對(duì)每個(gè)大小為k的連續(xù)窗口進(jìn)行矩陣向量操作。本文假定向量zn∈?dk是以句子中第n個(gè)基本單位為中心的前后各（k－1）／2個(gè)基本單位的詞向量的串接，其中d為句子中基本單位向量化表示后向量的長(zhǎng)度。

卷積層計(jì)算計(jì)算句子特征向量rsentx∈?clu的第j個(gè)元素的過(guò)程如式（2）所示。

其中，W ∈?clu×dk是該卷積層的權(quán)重矩陣。如圖1所示，用該權(quán)重矩陣計(jì)算給定句子中每個(gè)基本單位（字或詞）的窗口大小為k的局部信息，對(duì)句子中所有基本單位的窗口取最大值，就抽取了一個(gè)在窗口大小為k的條件下長(zhǎng)度為clu的句子特征向量。圖1中窗口大小k為3。

圖1 基于卷積方法抽取句子級(jí)別特征

卷積窗口的大小k不同，獲取的局部信息也不同。因此，本文利用并行的多個(gè)卷積層，學(xué)習(xí)不同N－gram的信息。每個(gè)卷積層經(jīng)過(guò)最大池化操作后都會(huì)生成一個(gè)固定長(zhǎng)度的句子特征向量，本文將所有卷積層生成的句子特征向量進(jìn)行串接，得到一個(gè)新的句子特征向量［9］。包含多個(gè)不同窗口的并行卷積層的架構(gòu)如圖2所示。

圖2 通過(guò)基于不同窗口大小的卷積方法利用多個(gè)不同大小的卷積核抽取句子級(jí)別特征

其中，W1i，b1i是模型需要學(xué)習(xí)的參數(shù)，卷積單 元的數(shù)量是由用戶指定的超參數(shù)。上下文窗口的大小ki是由用戶指定的超參數(shù)。max（.）表示最大化操作。圖中W11用來(lái)學(xué)習(xí)窗口大小為3的給定句子的特征向量。

如圖2所示，本文在卷積層之后，加入了ReLU層，將ReLU作為激活函數(shù)。通過(guò)加入ReLU層可以加速隨機(jī)梯度下降的收斂速度［10］。將所有窗口生成的句子特征向量串接后得到的新特征向量如下：

其中，⊕表示串接操作，rsenti表示由上下文窗口大小為ki的卷積核通過(guò)卷積核最大化操作之后得到的句子特征向量。

最后，表示句子x的全局特征的向量rsentx被傳遞給包含兩個(gè)全連接層的神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，計(jì)算該句子屬于每個(gè)情感標(biāo)簽τ∈T的得分，如式（4）所示。

其中，矩陣W2∈，矩陣W3∈，向量b2，向量是模型需要學(xué)習(xí)的參數(shù)。激活函數(shù)h（.）使用的正切函數(shù)。隱藏層單元數(shù)目hlu是有用戶指定的超參數(shù)。

3.2 模型訓(xùn)練

微博情感傾向性分析本質(zhì)上是一個(gè)基于主題的文本分類問(wèn)題，將微博短文本做兩類分類，最終歸納到正面和負(fù)面兩種情感類別中。

本文的模型是通過(guò)最小化訓(xùn)練集D上的負(fù)對(duì)數(shù)似然函數(shù)（negative log－likelihood）進(jìn)行訓(xùn)練。給定一個(gè)句子x，參數(shù)集合為θ的模型對(duì)每個(gè)情感標(biāo)簽τ∈T計(jì)算一個(gè)得分sθ（x）τ。為了將這些得分轉(zhuǎn)換為給定句子的情感標(biāo)簽和模型參數(shù)集θ的條件概率分布，我們?cè)谒泻炃楦袠?biāo)簽τ∈T的得分進(jìn)行Softmax操作：

對(duì)上述公式取對(duì)數(shù)：

本文使用隨機(jī)梯度下降（SGD）最小化負(fù)似然函數(shù)：

其中，x表示訓(xùn)練預(yù)料D的一條句子，y表示該句子的情感標(biāo)簽。

4 實(shí)驗(yàn)

4.1 情感分析數(shù)據(jù)集

本文采用COAE2014任務(wù)4微博數(shù)據(jù)集（表1），該數(shù)據(jù)集共40 000條數(shù)據(jù)，其中官方公布了5 000條微博的極性。由于沒(méi)有標(biāo)準(zhǔn)的訓(xùn)練集和測(cè)試集，本文利用該5 000條數(shù)據(jù)，進(jìn)行10倍交叉驗(yàn)證。利用數(shù)據(jù)集提供的40 000條數(shù)據(jù)訓(xùn)練詞向量。

表1 COAE2014數(shù)據(jù)樣例

4.2 卷積神經(jīng)網(wǎng)絡(luò)

詞向量在卷積神經(jīng)網(wǎng)絡(luò)模型中具有非常重要的作用。詞向量在訓(xùn)練過(guò)程中，可以獲取句法和語(yǔ)義信息，這在情感分析中是至關(guān)重要的［13］。最近的一些工作表明通過(guò)使用無(wú)監(jiān)督學(xué)習(xí)得到的詞向量，可以極大地提高模型的準(zhǔn)確率［14－16］。在本文的實(shí)驗(yàn)中利用word2vec工具［17］，進(jìn)行無(wú)監(jiān)督的詞向量學(xué)習(xí)。word2vec實(shí)現(xiàn)了CBOW（continuous bag－ofwords）和SG（skip－gram）兩種結(jié)構(gòu)，用于計(jì)算詞語(yǔ)的向量表示。

4.2.1 字級(jí)別的詞向量

本文以字作為句子的基本單位，為每個(gè)字訓(xùn)練一個(gè)詞向量。在運(yùn)行word2vec工具過(guò)程中，本文設(shè)定出現(xiàn)次數(shù)超過(guò)五次的字會(huì)被加入字典中。最終得到了一個(gè)包含5 200條目的字典。對(duì)于沒(méi)有出現(xiàn)在字典中的字符的詞向量會(huì)被隨機(jī)初始化。訓(xùn)練過(guò)程中的參數(shù)設(shè)置如表2所示。

4.2.2 詞級(jí)別的詞向量

本文首先利用分詞工具對(duì)語(yǔ)料進(jìn)行分詞。分詞之后，以詞作為句子的基本單位，為每個(gè)詞訓(xùn)練一個(gè)詞向量。在運(yùn)行word2vec工具過(guò)程中，本文設(shè)定出現(xiàn)次數(shù)超過(guò)五次的詞會(huì)被加入字典中。最終得到了一個(gè)包含19 020條目的字典。對(duì)于沒(méi)有出現(xiàn)在字典中的詞語(yǔ)的詞向量會(huì)被隨機(jī)初始化。訓(xùn)練過(guò)程中的參數(shù)設(shè)置如表2所示。

表2 字級(jí)別和詞級(jí)別word2vec可調(diào)參數(shù)的設(shè)置

4.2.3 超參數(shù)

本文對(duì)多個(gè)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了實(shí)驗(yàn)。訓(xùn)練過(guò)程中采用Adadelta更新規(guī)則［18］，對(duì)亂序的微批次樣本中進(jìn)行隨機(jī)梯度下降（SGD）。模型的其他參數(shù)如表3所示。

表3 模型參數(shù)設(shè)置

4.3 對(duì)比實(shí)驗(yàn)

本文與傳統(tǒng)的詞袋模型進(jìn)行了對(duì)比，將N－gram詞袋向量作為輸入，利用線性核SVM進(jìn)行了微博情感傾向性分類。本文對(duì)三種類型的N－gram詞袋模型進(jìn)行了測(cè)試：bow1 N∈｛1｝，bow2 N∈｛1，2｝，bow3 N∈｛1，2，3｝。其中，bow1是傳統(tǒng)的詞袋向量，bow2向量中的每一個(gè)元素表示uni－gram或bi－gram特征，而bow3向量中的每一個(gè)元素表示uni－gram、bi－gram或者tri－gram特征，其中的特征值使用TF－IDF方法計(jì)算，并使用了libSVM進(jìn)行SVM的實(shí)驗(yàn)［19］。

4.4 結(jié)果與討論

本文對(duì)多個(gè)模型進(jìn)行了實(shí)驗(yàn)。

·SVM bow1：向量特征是uni－gram特征，利用SVM分類。

·SVM bow2：向量特征是uni－gram和bigram特征，利用SVM分類。

·SVM bow3：向量特征是uni－gram、bi－gram和tri－gram特征，利用SVM分類。

·CNN－word－rand－static：將詞級(jí)別的詞向量進(jìn)行隨機(jī)初始化。在實(shí)驗(yàn)過(guò)程中，詞向量保持不變，只學(xué)習(xí)模型的其他參數(shù)。

·CNN－word－rand－non－static：將詞級(jí)別的詞向量進(jìn)行隨機(jī)初始化。在實(shí)驗(yàn)過(guò)程中，詞向量會(huì)被微調(diào)，同時(shí)學(xué)習(xí)模型的其他參數(shù)。

·CNN－word－static：利用word2vec訓(xùn)練出的詞級(jí)別的詞向量進(jìn)行試驗(yàn)。在實(shí)驗(yàn)過(guò)程中，詞向量保持不變，只學(xué)習(xí)模型的其他參數(shù)。

·CNN－word－non－static：利用word2vec訓(xùn)練出的詞級(jí)別的詞向量進(jìn)行試驗(yàn)。在實(shí)驗(yàn)過(guò)程中，詞向量會(huì)被微調(diào)，同時(shí)學(xué)習(xí)模型的其他參數(shù)。

·CNN－character－static：利用word2vec訓(xùn)練出的字級(jí)別的詞向量進(jìn)行實(shí)驗(yàn)。在實(shí)驗(yàn)過(guò)程中，詞向量保持不變，只學(xué)習(xí)模型的其他參數(shù)。

·CNN－character－non－static：利用word2vec訓(xùn)練出的字級(jí)別的詞向量進(jìn)行試驗(yàn)。在實(shí)驗(yàn)過(guò)程中，詞向量會(huì)被微調(diào)，同時(shí)學(xué)習(xí)模型的其他參數(shù)。

各個(gè)模型的實(shí)驗(yàn)結(jié)果如表4所示。

表4 不同模型的準(zhǔn)確率

4.4.1 Random vs.word2vec

通過(guò)比較CNN－word－rand－static（91.94%）和CNN－word－static（93.80%）的準(zhǔn)確率，可以發(fā)現(xiàn)，利用預(yù)訓(xùn)練的詞向量作為原始輸入進(jìn)行情感傾向性分析的準(zhǔn)確率要高于利用隨機(jī)初始化的詞向量作為原始輸入進(jìn)行的情感傾向性分析的準(zhǔn)確率。原因在于利用word2vec工具訓(xùn)練出的詞向量包含了上下文語(yǔ)義信息，因此在進(jìn)行句子情感分析時(shí)可以得到更好的效果。實(shí)驗(yàn)表明，利用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行自然語(yǔ)言處理時(shí)，無(wú)監(jiān)督方式預(yù)訓(xùn)練的詞向量是十分重要的。

4.4.2 Static vs.Non－static

通過(guò)比較CNN－character－static（94.29%）和CNN－character－non－static（95.42%），CNN－wordstatic（93.80%）和CNN－word－non－static（94.65%），CNN－word－rand－static（91.94%）和CNN－word－randnon－static（93.06%）的準(zhǔn)確率，可以發(fā)現(xiàn)，在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中對(duì)預(yù)訓(xùn)練的詞向量進(jìn)行微調(diào)，可以進(jìn)一步提升模型的準(zhǔn)確率。實(shí)驗(yàn)表明，在模型訓(xùn)練過(guò)程中對(duì)詞向量進(jìn)行微調(diào)，可以讓預(yù)訓(xùn)練的詞向量更加適應(yīng)于專門的任務(wù)，從而進(jìn)一步提高準(zhǔn)確率。

4.4.3 Character－level vs.Word－level

通過(guò)比較CNN－word－static（93.80%）和CNN－character－static（94.29%），CNN－word－non－static（94.65%）和CNN－character－non－static（95.42%）的準(zhǔn)確率，可以發(fā)現(xiàn)，使用字級(jí)別詞向量作為原始特征要好于使用詞級(jí)別詞向量作為原始特征。實(shí)驗(yàn)表明，對(duì)于中文語(yǔ)料而言，使用字級(jí)別詞向量作為原始特征會(huì)好于使用詞級(jí)別詞向量作為原始特征。

結(jié)合實(shí)驗(yàn)結(jié)果及分析原因主要在于：字級(jí)別特征的粒度比詞級(jí)別的粒度小，字級(jí)別詞向量相比于詞級(jí)別詞向量可以學(xué)習(xí)到更加具體的特征。

表5展示了利用word2vec工具訓(xùn)練的字級(jí)別詞向量相加得到的詞級(jí)別詞向量相似度與直接用word2vec工具訓(xùn)練得到的詞級(jí)別詞向量相似度之間的比較。通過(guò)對(duì)比可以得出利用字級(jí)別詞向量相加得到的詞級(jí)別詞向量之間的相似度要高于直接用word2vec工具訓(xùn)練得到的詞級(jí)別詞向量之間的相似度。

但是也存在一些詞語(yǔ)組合不存在這種情況。例如，“三元”與“牛奶”之間的相似度為0.783，因?yàn)椤叭笔且粋€(gè)牛奶品牌，所以兩者之間的相似度較高，而“三”＋“元”與“?！保澳獭敝g的相似度要小于0.783。出現(xiàn)這種情況的可能原因是由于語(yǔ)料中關(guān)于“三元”的內(nèi)容不多，以至于字級(jí)別的詞向量沒(méi)有較好地學(xué)到相關(guān)的信息。

表5 詞向量相似度比較

另一個(gè)原因在于：傳統(tǒng)的分詞技術(shù)往往對(duì)微博造成歧義的切分，例如，“我發(fā)現(xiàn)了一個(gè)高大上網(wǎng)站”，在該句中，“高大上網(wǎng)站”如果使用傳統(tǒng)分詞技術(shù)，會(huì)被切分為“高大／上／網(wǎng)站”或者“高大／上網(wǎng)／站”，這樣的切分無(wú)法體現(xiàn)句子的正確語(yǔ)義，甚至后一種切分還將“網(wǎng)站”切分導(dǎo)致丟失評(píng)價(jià)對(duì)象。而將字級(jí)別特征作為輸入，通過(guò)并行的卷積層可以學(xué)習(xí)到不同N－gram的信息，例如“高大上”（N＝3）、“高大上網(wǎng)站”（N＝5）。本文分別用Jieba分詞工具和ICTALAS分詞工具進(jìn)行分詞，得到了相近的實(shí)驗(yàn)結(jié)果。

4.4.4 Bag－of－N－gram vs.CNN

通過(guò)比較SVM bow3（92.13%）和CNN－character－non－static（95.42%）的準(zhǔn)確率，可以發(fā)現(xiàn)，在微博情感傾向性分析中，卷積神經(jīng)網(wǎng)絡(luò)模型要優(yōu)于傳統(tǒng)的詞袋模型。通過(guò)比較SVM bow1（89.36%）、SVM bow2（91.74%）和SVM bow3（92.31%）的準(zhǔn)確率，可以發(fā)現(xiàn)，bi－gram和tri－gram特征讓準(zhǔn)確率有了明顯提升。而當(dāng)N較大時(shí)，會(huì)造成維度災(zāi)難，導(dǎo)致模型難以訓(xùn)練。而包含多個(gè)并行卷積層的卷積神經(jīng)網(wǎng)絡(luò)，可以利用不同大小的卷積核學(xué)習(xí)不同N－gram的信息，通過(guò)池化操作降低維度，從而使得模型的準(zhǔn)確率得以提高。

5 總結(jié)

本文探討了利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微博情感傾向性分析的可行性，并利用卷積神經(jīng)網(wǎng)絡(luò)模型取得了優(yōu)于傳統(tǒng)詞袋模型的準(zhǔn)確率，以此證明了卷積神經(jīng)網(wǎng)絡(luò)在微博情感傾向性分析中的可行性。本文利用字級(jí)別詞向量及詞級(jí)別詞向量的卷積神經(jīng)網(wǎng)絡(luò)分別取得了95.42%的準(zhǔn)確率和94.65%的準(zhǔn)確率，實(shí)驗(yàn)結(jié)果可見(jiàn)，對(duì)于中文微博語(yǔ)料而言，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微博情感傾向性分析是有效的，且使用字級(jí)別的詞向量作為原始特征會(huì)好于使用詞級(jí)別的詞向量作為原始特征。

［1］ Pang B，Lee L.Seeing stars：Exploiting class relationships for sentiment categorization with respect to rating scales［C］／／Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics.Association for Computational Linguistics，2005：115－124.

［2］ 梁軍，柴玉梅，原慧斌，等.基于深度學(xué)習(xí)的微博情感分析［J］.中文信息學(xué)報(bào)，2014，28（5）：155－161.

［3］ 羅毅，李利，譚松波，等.基于中文微博語(yǔ)料的情感傾向性分析［J］.山東大學(xué)學(xué)報(bào)（理學(xué)版），2014，49（11）：1－7.

［4］ LeCun Y，Bottou L，Bengio Y，et al.Gradient－based learning applied to document recognition［C］／／Proceedings of the IEEE，1998，86（11）：2278－2324.

［5］ Yih W，He X，Meek C.Semantic parsing for single－relation question answering［C］／／Proceedings of ACL 2014.

［6］ Shen Y，He X，Gao J，et al.Learning semantic representations using convolutional neural networks for web search［C］／／Proceedings of the companion publication of the 23rd international conference on World wide web companion.International World Wide Web Conferences Steering Committee，2014：373－374.

［7］ Blunsom P，Grefenstette E，Kalchbrenner N.A convolutional neural network for modelling sentences［C］／／Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics.2014.

［8］ Collobert R，Weston J，Bottou L，et al.Natural language processing（almost）from scratch［J］.The Journal of Machine Learning Research，2011，12：2493－2537.

［9］ dos Santos C N，Gatti M.Deep convolutional neural networks for sentiment analysis of short texts［C］／／Proceedings of the 25th International Conference on Computational Linguistics（COLING）.Dublin，Ire－land.2014.

［10］ Kim Y.Convolutional neural networks for sentence classification［C］／／Proceedings of the EMNLP，2014.

［11］ Turney P D.Thumbs up or thumbs down？：semantic orientation applied to unsupervised classification of reviews［C］／／Proceedings of the 40th annual meeting on association for computational linguistics.Association for Computational Linguistics，2002：417－424.

［12］ Krizhevsky A，Sutskever I，Hinton G E.Imagenet classification with deep convolutional neural networks［C］／／Advances in neural information processing systems.2012：1097－1105.

［13］ Collobert R.Deep learning for efficient discriminative parsing［C］／／Proceedings of the International Conference on Artificial Intelligence and Statistics.2011（EPFL－CONF－192374）.

［14］ Luong M T，Socher R，Manning C D.Better word representations with recursive neural networks for morphology［C］／／Proceedings of the CoNLL－2013，2013，104.

［15］ Zheng X，Chen H，Xu T.Deep Learning for Chinese Word Segmentation and POS Tagging［C］／／Proceedings of the EMNLP.2013：647－657.

［16］ Socher R，Bauer J，Manning C D，et al.Parsing with compositional vector grammars［C］／／Proceedings of the ACL conference.2013.

［17］ Mikolov T，Sutskever I，Chen K，et al.Distributed representations of words and phrases and their compositionality［C］／／Proceedings of the Advances in Neural Information Processing Systems.2013：3111－3119.

［18］ Zeiler M D.ADADELTA：an adaptive learning rate method［J］.arXiv preprint arXiv：1212.5701，2012.

［19］ Chang C C，Lin C J.LIBSVM：A library for support vector machines［J］.ACM Transactions on Intelligent Systems and Technology（TIST），2011，2（3）：27.