李君軼 ，任濤 ，陸路正

（1.陜西師范大學(xué)地理科學(xué)與旅游學(xué)院，陜西西安710119； 2.陜西省旅游信息科學(xué)重點(diǎn)實(shí)驗(yàn)室，陜西西安710119）

0 引 言

旅游是一種人際交往和情感交流活動(dòng)，情感貫穿于旅游活動(dòng)的全過程。“情感是人對客觀事物是否滿足自己需要而產(chǎn)生的態(tài)度體驗(yàn)”。游客情感是游客在旅游活動(dòng)中受個(gè)人因素或外部環(huán)境影響，對旅游活動(dòng)是否滿足個(gè)體的基本需求和社會(huì)需求而產(chǎn)生的愉快、興奮、悲傷、憤怒、后悔等情感體驗(yàn)，并隨著旅游進(jìn)程呈現(xiàn)多樣性和易變性[1]。這些情感不僅構(gòu)成了游客重要的旅游經(jīng)歷，同時(shí)也對旅游動(dòng)機(jī)、滿意度、行為意圖和人際互動(dòng)等產(chǎn)生重要影響[2]。在旅游中，游客通過在線平臺(tái)和社交媒體獲取信息，分享自己的旅游體驗(yàn)。其發(fā)布的文本、圖像、音視頻成為旅游大數(shù)據(jù)的主要數(shù)據(jù)源[3]，其中，文本內(nèi)容以其方便、簡單、直觀、快捷和低門檻的特點(diǎn)為游客進(jìn)行情感表達(dá)和信息交流提供了便利，在旅游大數(shù)據(jù)中占有越來越重要的位置。通過對文本數(shù)據(jù)的挖掘，可為旅游規(guī)劃、市場營銷等提供決策支持，使得旅游大數(shù)據(jù)中的情感分析成為旅游研究的熱點(diǎn)問題[4]。

情感分析就是對信息進(jìn)行有效的分析和挖掘，識別情感傾向[5]。MEDHAT 等[6]認(rèn)為，情感分析是文本挖掘領(lǐng)域的研究重點(diǎn)，是對文本的計(jì)算處理。早期的情感分析主要是基于文本數(shù)據(jù)進(jìn)行詞語語義的情感傾向計(jì)算[7]和文本情感計(jì)算[8-9]。隨著研究的深入，情感分析更加精細(xì)，出現(xiàn)了情感計(jì)算器[10]、情感摘要[11]、產(chǎn)品屬性挖掘[12]等研究。近年來，隨著大數(shù)據(jù)的發(fā)展，國內(nèi)外已有許多情感分析模型和軟件，為情感研究提供了有力支持[13]。

CHOI 等[14]利用文本數(shù)據(jù)研究了澳門旅游形象，并驗(yàn)證了“文本分析方法不僅可以進(jìn)行定性研究，而且可以進(jìn)行定量研究”；GOVERS 等[15]采用人工神經(jīng)網(wǎng)絡(luò)對7 個(gè)旅游目的地形象進(jìn)行了文本內(nèi)容分析。RADOJEVIC 等[16]利用歐洲 6 000 多家酒店的200 多萬條在線評論數(shù)據(jù)，使用情感分析方法，發(fā)現(xiàn)評論是影響酒店滿意度最顯著的因素；國內(nèi)學(xué)者主要通過ROST 系列軟件對文本進(jìn)行處理，對游客情感與行為互動(dòng)[17]，游客情感與氣候舒適度相關(guān)性[18]，居民、游客情感與空氣質(zhì)量相關(guān)性[19-20]，目的地形象感知[21]，出境旅游者情感特征[22]，目的地品牌評價(jià)[23]和城市旅游社區(qū)形象感知[24]等領(lǐng)域進(jìn)行了研究。

情感計(jì)算是對帶有情感的文本進(jìn)行分析，將其分為積極、消極等情感類型的過程[25]。如果將情感分為積極、中性、消極情感，則情感計(jì)算就是分類問題；如果情感為具體的數(shù)值或者給定區(qū)間上的有序值（如1～5 分），那么通過回歸方法可計(jì)算情感值?；谖谋镜牧６炔町?，情感計(jì)算實(shí)質(zhì)上可以視為詞語、短語、句子、篇章及多篇章的多等級層次[26]?，F(xiàn)有的游客情感研究中，主要采用高頻特征詞統(tǒng)計(jì)法、內(nèi)容分析軟件分析法、情感詞典分析法和機(jī)器學(xué)習(xí)等研究目的地形象[27-31]和不同目的地的形象差異[32]?；趦?nèi)容分析軟件的方法，是在高頻特征詞統(tǒng)計(jì)法和情感詞典的基礎(chǔ)上，通過編寫邏輯代碼，將分詞、詞頻統(tǒng)計(jì)、聚類、共現(xiàn)分析、同被引分析、語義網(wǎng)絡(luò)、共現(xiàn)矩陣等分析方法集成在一個(gè)軟件上，實(shí)現(xiàn)對文本的處理，常用的軟件有CATPAC Ⅱ、ICTCLAS、ROST 等。情感詞典分析法主要基于包含標(biāo)記的情感詞、情感短語和程度的一個(gè)或多個(gè)詞典，并結(jié)合程度副詞、否定詞和連詞以及句法結(jié)構(gòu)來構(gòu)建情感計(jì)算模型，進(jìn)行情感分析[33-34]。利用機(jī)器學(xué)習(xí)進(jìn)行游客情感計(jì)算，通過人工標(biāo)注一部分表達(dá)積極情感或消極情感的文本，用這些文本訓(xùn)練機(jī)器學(xué)習(xí)算法，獲得情感計(jì)算器，再通過此情感計(jì)算器對文本數(shù)據(jù)進(jìn)行積極情感和消極情感計(jì)算，最終給出具體分值0 或1，也可以給出文本的積極概率和消極概率。在機(jī)器學(xué)習(xí)中，常用邏輯回歸（logistic）、決策樹（decision tree）、支持向量機(jī)（SVM）等方法分析情感[35-37]。

國內(nèi)外學(xué)者通過不同分析方法對游客的情感開展研究，主要聚焦于目的地形象感知、滿意度等。國內(nèi)早期研究主要借助內(nèi)容分析軟件判斷文本的情感特征。之后有學(xué)者在情感詞典的基礎(chǔ)上，通過設(shè)計(jì)情感計(jì)算規(guī)則計(jì)算游客情感。隨著互聯(lián)網(wǎng)和人工智能技術(shù)的快速發(fā)展，已有學(xué)者基于文本大數(shù)據(jù)，用機(jī)器學(xué)習(xí)方法進(jìn)行游客情感計(jì)算研究[35-37]。目前采用深度學(xué)習(xí)方法進(jìn)行游客情感計(jì)算的研究文獻(xiàn)還較少見[38]，對不同方法進(jìn)行比較研究的文獻(xiàn)更是少之又少，幾乎空白。本文通過對現(xiàn)有情感計(jì)算方法的分析歸納，總結(jié)基于情感詞典和基于機(jī)器學(xué)習(xí)方法的通用技術(shù)范式，通過對比分析各種方法的優(yōu)劣，探索深度學(xué)習(xí)在游客情感計(jì)算中的應(yīng)用，為后續(xù)研究提供技術(shù)指引。

1 游客情感計(jì)算的不同范式

1.1 基于情感詞典的游客情感計(jì)算

基于情感詞典對游客情感進(jìn)行計(jì)算是對人類大腦處理情感問題的簡單模擬，類似于人類大腦對情感處理的路徑(見圖1)。

1.1.1 情感詞典的構(gòu)建

情感詞典的構(gòu)建非常重要，直接影響計(jì)算效果[39]。情感詞典主要包括基礎(chǔ)情感詞典、表情詞詞典、語氣詞詞典、特殊標(biāo)識符詞典等8 個(gè)詞典。為了得到更加完整的情感詞典，需要不斷收集情感詞和相關(guān)語料進(jìn)行擴(kuò)建，如加入旅游專用詞匯，有針對性地去雜、分類、更新，以提高情感計(jì)算的準(zhǔn)確率。除了人工擴(kuò)建情感詞典外[39]，還可通過自動(dòng)或半自動(dòng)方法進(jìn)行擴(kuò)建[10]。情感詞典一般有2 種應(yīng)用，一種是以情感詞典為基礎(chǔ)設(shè)計(jì)軟件，通過軟件對文本進(jìn)行情感詞抽取，根據(jù)軟件中定義的語法規(guī)則和算法計(jì)算文本情感值，典型的有ROST[40]和MBEWC[41]。另一種是以情感詞典為基礎(chǔ)設(shè)計(jì)情感計(jì)算規(guī)則，通過邏輯/算法編程開展情感計(jì)算。目前以第一種應(yīng)用為主。

圖1 基于情感詞典的游客情感計(jì)算過程Fig.1 Tourist emotion classification process based on emotional dictionary

1.1.1.1 基礎(chǔ)情感詞典

基于情感詞典的情感計(jì)算技術(shù)發(fā)展至今，已積累了不少的情感詞典資源。英文詞典主要有g(shù)eneral inquirer，LIWC，WordNet 等。中文詞典主要有《知網(wǎng)詞典》（HowNet）、《同義詞詞林》《臺(tái)灣大學(xué)中文情感詞典》（NTUSD）[42]、張偉等[44]編著的《學(xué)生褒貶義詞典》、史繼林等[45]編著的《褒義詞詞典》等。

在基礎(chǔ)情感詞典中，程度副詞、否定詞和連詞對情感傾向有不同的影響，應(yīng)根據(jù)實(shí)際情況區(qū)別對待。程度副詞對情感傾向有加強(qiáng)或減弱作用，是影響情感計(jì)算的重要因素。比如，“我來西安玩，非常高興”，其中“非常”作為程度副詞，對于“高興”的情感程度起到了加強(qiáng)作用。否定詞能使句子的情感傾向發(fā)生反轉(zhuǎn)，是十分重要的情感計(jì)算判斷依據(jù)。例如，“我不喜歡西安”中的否定詞“不”就是對“喜歡”的否定，整個(gè)句子由正向情感變?yōu)榱素?fù)向情感。連詞用來連接段落、句子、短語、詞語等，在句子中表達(dá)不同的邏輯關(guān)系，可分為并列連詞、遞進(jìn)連詞和轉(zhuǎn)折連詞等，其中并列連詞在句子情感傾向上是相同的，如“和”“同”等，而轉(zhuǎn)折連詞是相反的，如“雖然”“但是”等。

在基于情感詞典的情感計(jì)算過程中，情感詞典的質(zhì)量決定了其計(jì)算效果，為了提高詞典質(zhì)量，學(xué)者們還構(gòu)建了表情詞詞典、語氣詞詞典、特殊標(biāo)識符詞典、停用詞詞典等粒度更細(xì)的輔助詞典，以進(jìn)一步提高情感計(jì)算準(zhǔn)確率。

1.1.1.2 旅游情感詞典

基礎(chǔ)情感詞典具有普適性，但不包含旅游的專業(yè)詞匯，無法準(zhǔn)確獲取游客“非慣常環(huán)境下”的情感，因此，構(gòu)建旅游專屬情感詞典是游客情感研究的一項(xiàng)重要基礎(chǔ)工作。于靜[46]較早就開展了旅游專屬詞典構(gòu)建的研究，她從所收集的微博大數(shù)據(jù)中，經(jīng)分詞和詞頻統(tǒng)計(jì)共得到92 230 個(gè)詞，通過人工判斷方法篩選出帶有情感色彩的詞匯，共得到情感詞、程度副詞和否定詞2 661 個(gè)，并將其分別劃歸到情感詞詞典、語氣詞詞典、程度副詞詞典、否定詞詞典和特殊符號詞典5個(gè)詞典中。劉逸等[22，34]以HowNet 為基礎(chǔ)詞庫，采用人工閱讀篩選方式，從獲得的大量游記、評論數(shù)據(jù)中，通過人工方式提取游客情感高頻詞，共包含317 個(gè)正面詞匯和185 個(gè)負(fù)面詞匯，之后對HowNet 進(jìn)行修正，構(gòu)建了旅游專屬詞典。毛超群[39]從“馬蜂窩”“窮游網(wǎng)”等目前國內(nèi)較知名的在線旅游社交網(wǎng)站中人工挑選當(dāng)前使用較頻繁的網(wǎng)絡(luò)情感詞，構(gòu)成網(wǎng)絡(luò)情感詞典，并與HowNet 和《情感詞匯本體》合并，構(gòu)成旅游專屬詞典。

1.1.2 情感計(jì)算規(guī)則

基于情感詞典的情感計(jì)算，核心是情感權(quán)重及情感計(jì)算規(guī)則，情感權(quán)重可由賦值得到，如積極情感詞語賦予權(quán)重1，消極情感詞語賦予權(quán)重－1，程度副詞賦予權(quán)重2 或者－2 等；情感計(jì)算規(guī)則根據(jù)程度副詞、否定詞、連詞、表情詞、語氣詞等所在位置進(jìn)行設(shè)計(jì)，如圖2 所示。

圖2 情感計(jì)算規(guī)則舉例Fig.2 Examples of emotional computing rule

圖2 中，假設(shè)積極情感詞語與消極情感詞語的權(quán)重相等，實(shí)際操作中不同詞語的情感權(quán)重賦值由人工逐個(gè)確定；另外，否定詞由情感計(jì)算結(jié)果與人工情感判定結(jié)果的差異決定，當(dāng)取值為-0.8 時(shí)，基于情感詞典的旅游文本情感計(jì)算結(jié)果與人工判定結(jié)果之間的相對差異最小。在分詞后，如果是情感詞典中的積極情感詞語或消極情感詞語，則權(quán)重相加；如果是否定詞則賦予負(fù)值，若為程度副詞則情感值翻倍。最后由權(quán)重和計(jì)算規(guī)則計(jì)算句子的情感值，以總情感值的正負(fù)來判斷句子是積極情感還是消極情感。在設(shè)計(jì)情感計(jì)算規(guī)則時(shí)，如果所有的積極情感詞語和消極情感詞語在權(quán)重上相等，會(huì)導(dǎo)致分類結(jié)果不精確，例如“恨”要比“討厭”在情感上更為負(fù)向；同樣，對于否定詞和程度副詞的權(quán)重處理，如果只是一個(gè)簡單的反轉(zhuǎn)或加倍，也會(huì)影響計(jì)算的精確性，比如“非常喜歡”顯然比“挺喜歡”程度更深。修正方法是區(qū)別對待每個(gè)詞語，賦予不同的值。為此，在構(gòu)建情感詞典初期，需要根據(jù)經(jīng)驗(yàn)對詞典中每個(gè)詞人工設(shè)置權(quán)值，然后按照計(jì)算規(guī)則，通過情感詞典中匹配的權(quán)重計(jì)算情感值。

1.2 基于機(jī)器學(xué)習(xí)的游客情感計(jì)算范式

基于機(jī)器學(xué)習(xí)開展的游客情感計(jì)算多采用監(jiān)督學(xué)習(xí)的方法，意味著需要人工為文本數(shù)據(jù)標(biāo)注“積極”和“消極”的分類標(biāo)簽以構(gòu)建訓(xùn)練數(shù)據(jù)集，通過人工提取某些特征值，計(jì)算機(jī)可根據(jù)訓(xùn)練集學(xué)習(xí)模型輸出結(jié)果（見圖3）。

1.2.1 文本向量化

用計(jì)算機(jī)處理文本，須將文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)能理解的語言。文本向量化就是將文本表示成一系列計(jì)算機(jī)可以識別且可以表達(dá)文本語義的數(shù)值向量，有詞向量和句向量2 種。目前大部分對文本向量化的研究都是通過詞向量實(shí)現(xiàn)的。詞袋(bag of words)模型是最早以詞為最小處理單元的文本向量化方法，產(chǎn)生的向量與詞出現(xiàn)的順序無關(guān)，與頻率有關(guān)。詞袋模型不包含任何語義信息，只是將詞語符號化，該方法簡單易行，但存在維度災(zāi)難、語義鴻溝和無法保留詞序信息的問題。如“我喜歡這個(gè)地方”和“我討厭這個(gè)地方”，兩句話的特征詞為“我、喜歡、討厭、這個(gè)、地方”，文本向量如表1 所示。

圖3 基于機(jī)器學(xué)習(xí)的游客情感計(jì)算過程Fig.3 Tourist emotion classification process based on machine learning

表1 文本向量化舉例Table 1 Examples of text vectorization

1.2.2 特征提取與選擇

文本由篇、段、句、詞、字構(gòu)成，詞語作為中文文本中最小的語義單元，可以被定義為文本向量化中的特征，這些特征組合起來就表達(dá)了句子語義。對于中文文本來說，《新華字典》收錄了52 萬個(gè)詞語，常用詞語達(dá)5.6 萬個(gè)，而在游客情感計(jì)算研究涉及的文本大數(shù)據(jù)中，所使用的旅游專業(yè)詞語數(shù)量不少，因此，構(gòu)造的特征向量往往會(huì)引起維度災(zāi)難并浪費(fèi)存儲(chǔ)空間。為避免文檔向量維度過高引起向量矩陣稀疏問題，不能簡單地將文檔中所有的詞語都作為特征，而應(yīng)該在文本向量化的同時(shí)提取特征，進(jìn)行有效特征選擇。

以文本分詞為例經(jīng)詞袋模型向量化后，得到一個(gè)數(shù)量龐大的詞袋，詞袋中有多少個(gè)詞，此向量就有多大維度，然后把這些向量交與計(jì)算機(jī)計(jì)算（不需要文本），向量中的數(shù)字表示每個(gè)詞的權(quán)重，代表這個(gè)詞對文本的影響程度。其中需要解決如何計(jì)算權(quán)重、如何將詞袋縮小、如何降低向量維度問題，特征提取與選擇就是為了解決此3 個(gè)問題。需要說明的是，去停用詞一定程度上也是給特征向量降維。

目前機(jī)器學(xué)習(xí)常用的特征提取與選擇算法有：詞頻-逆文本頻率指數(shù)（term frequency-inverse document frequency，TF-IDF）、信息增益（kullbackleibler divergence，KLIC） 、互 信 息 （mutual information，MI）、卡方檢驗(yàn)(Chi-square test)。TFIDF 是一種常用的加權(quán)統(tǒng)計(jì)模型，用于評估單詞對文件集或語料庫中的某個(gè)文件的重要程度。在具體應(yīng)用中，以 python 的 scikit-learn 為例，TF-IDF 權(quán)重計(jì)算方法主要有2類 ：CountVectorizer 和TfidfTransformer，CountVectorizer 會(huì)將文本中的詞語轉(zhuǎn)換為詞頻矩陣，TfidfTransformer 用于統(tǒng)計(jì)vectorizer 中每個(gè)詞語的 TF-IDF 值。

1.2.3 模型選擇和模型訓(xùn)練

模型選擇和模型訓(xùn)練是根據(jù)輸入集建立并選擇合適分類算法的系統(tǒng)過程。機(jī)器學(xué)習(xí)的算法選擇一般有2 種：（1）對所有的算法進(jìn)行研究測試，形成適用于旅游文本大數(shù)據(jù)和游客情感計(jì)算特定情境的分類模型，過程比較長，而且需要花費(fèi)大量時(shí)間和人力；（2）查閱編程語言的說明文檔，以前人研究成果為基礎(chǔ)，從中尋找合適的分類模型，并經(jīng)實(shí)際測試不斷優(yōu)化，最終形成適合旅游文本大數(shù)據(jù)和特定情境的旅客情感計(jì)算模型，其過程較長，人力投入也較大。以python 語言為例，以工具包scikit-learn 算法選擇路徑圖，將機(jī)器學(xué)習(xí)算法分為分類（classification）、聚類（clustering） 、 降 維（dimensionality reduction）、回 歸（regression）四大類。

模型選擇是機(jī)器學(xué)習(xí)過程中一個(gè)重要步驟，但由于模型的參數(shù)未知，要想得到最佳參數(shù)，使模型可以準(zhǔn)確地描述自變量和因變量的變化情況，就需要用已標(biāo)注情感類型的數(shù)據(jù)集對模型進(jìn)行訓(xùn)練和度量。已標(biāo)注情感類型的數(shù)據(jù)集一般分為訓(xùn)練集、驗(yàn)證集和測試集。如果有一個(gè)大的標(biāo)注數(shù)據(jù)集，那么可通過隨機(jī)抽樣獲得這3 種數(shù)據(jù)集，在只有1 萬條或者更少數(shù)據(jù)的情況下，三者的比例一般為8∶1∶1，當(dāng)數(shù)據(jù)量為100 萬條及以上時(shí)，三者的比例一般為98∶1∶1。確定模型后，用訓(xùn)練集訓(xùn)練模型的普通參數(shù)，訓(xùn)練完成后，用驗(yàn)證集驗(yàn)證模型，最后用測試集測試模型的準(zhǔn)確率，完成模型的訓(xùn)練過程，在此過程中不斷優(yōu)化參數(shù)，得到最優(yōu)參數(shù)分類模型。在具體應(yīng)用中，因?qū)?shù)據(jù)集進(jìn)行人工情感標(biāo)記工作量較大，在特定領(lǐng)域，當(dāng)已標(biāo)注的數(shù)據(jù)集數(shù)據(jù)不充分時(shí)，一般可將數(shù)據(jù)集拆分為訓(xùn)練集和測試集兩種，在訓(xùn)練集上訓(xùn)練和擬合模型，在測試集上評估模型效果。

基于機(jī)器學(xué)習(xí)的游客情感計(jì)算，其核心工作是文本數(shù)據(jù)的向量化、特征選擇、降維及分類模型選擇。每一步都有多種選擇，不同方法的組合會(huì)產(chǎn)生不同的情感計(jì)算模型，通過對文本向量化特征及模型選擇的優(yōu)化，不斷提高情感計(jì)算的準(zhǔn)確率，經(jīng)多次優(yōu)化形成更優(yōu)模型。該方法與基于情感詞典的游客計(jì)算方法相類似。

1.3 基于深度學(xué)習(xí)的游客情感計(jì)算

深度學(xué)習(xí)在大數(shù)據(jù)TB 級別上性能卓越，并被廣泛應(yīng)用于認(rèn)知模型?；谏疃葘W(xué)習(xí)進(jìn)行游客情感計(jì)算，即使用不同的人工神經(jīng)網(wǎng)絡(luò)模型，將文本大數(shù)據(jù)映射到向量空間得到詞語的數(shù)值表示，再將用數(shù)值表示的這些詞語輸入深度學(xué)習(xí)模型，通過對模型的訓(xùn)練和參數(shù)優(yōu)化獲得最優(yōu)模型。其過程與基于機(jī)器學(xué)習(xí)的情感計(jì)算大致相同，只是在文本向量化時(shí)對文本的特征提取和分類模型的選擇與機(jī)器學(xué)習(xí)不同。

1.3.1 文本表示及特征選擇（詞向量表示）

人工神經(jīng)網(wǎng)絡(luò)只能接受數(shù)值輸入，不能將一個(gè)單詞作為字符串輸入，為了使深度學(xué)習(xí)模型能夠處理文本數(shù)據(jù)，首先需將自然語言表示為模型能識別的數(shù)值向量。自然語言文本已從基于規(guī)則方法表示發(fā)展到基于統(tǒng)計(jì)方法的演變，基于統(tǒng)計(jì)方法表示得到的模型稱為統(tǒng)計(jì)語言模型。統(tǒng)計(jì)語言模型因其基于統(tǒng)計(jì)的思想，不考慮自然語言的時(shí)序特點(diǎn)，易出現(xiàn)維度災(zāi)難及詞語相似性、模型泛化能力低、模型性能不高等問題。如何使“詞表示”包含語義信息，且能更好地解決上述問題，就需要找到一種向量化單詞的方式，這種“詞向量”的每個(gè)維度均可對該單詞的不同屬性進(jìn)行編碼。word2vec 基于簡單化的淺層人工神經(jīng)網(wǎng)絡(luò)，根據(jù)給定的大量語料庫，通過訓(xùn)練和優(yōu)化模型得到訓(xùn)練結(jié)果——詞向量，此詞向量可以快速有效地將一個(gè)詞語表達(dá)成數(shù)值向量，并且能很好地度量詞與詞之間的相似性，從而表示該單詞的不同屬性。

Word2vec 實(shí)際上包含詞袋（CBOW）和Skipgram 模型。CBOW 根據(jù)上下文預(yù)測當(dāng)前詞語，Skip-gram 根據(jù)當(dāng)前詞語預(yù)測上下文。這兩種模型均以人工神經(jīng)網(wǎng)絡(luò)為算法，最初每個(gè)單詞都是一個(gè)隨機(jī)N維向量，經(jīng)過訓(xùn)練獲得每個(gè)單詞的最優(yōu)數(shù)值向量，即從訓(xùn)練語料的一大堆句子中選出不重復(fù)的單詞進(jìn)行建模，輸出唯一的向量。word2vec 模型將數(shù)據(jù)集中的句子作為輸入，并以一個(gè)固定窗口在句子中滑動(dòng)，根據(jù)句子上下文預(yù)測固定窗口中詞的輸出概率，通過損失函數(shù)和優(yōu)化方法對模型進(jìn)行訓(xùn)練。word2vec 模型的輸出被稱為嵌入矩陣，此嵌入矩陣中包含訓(xùn)練集每個(gè)詞的向量，且數(shù)據(jù)量很大。CBOW 較適合小規(guī)模語料，而Skip-Gram 在大型語料中表現(xiàn)更好。在具體應(yīng)用中，用word2vec 模型對文本進(jìn)行詞向量化，一般通過TensorFlow、Keras、PyTorch、 Caffe、 Microsoft Cognitive Toolkit、Theano、Apache MXnet、DeepLearning4J 等 深 度學(xué)習(xí)框架實(shí)現(xiàn)。

1.3.2 深度學(xué)習(xí)模型構(gòu)建

經(jīng)word2vec 模型，得到人工神經(jīng)網(wǎng)絡(luò)的輸入數(shù)據(jù)——數(shù)值向量。文本數(shù)據(jù)屬于時(shí)間序列數(shù)據(jù)，每個(gè)詞語的出現(xiàn)都依賴于其前一詞語和后一詞語，正是這種依賴的存在，大多情況下采用循環(huán)神經(jīng)網(wǎng)絡(luò)。

1.3.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）結(jié)構(gòu)與一般神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)不同，一般神經(jīng)網(wǎng)絡(luò)通常由輸入層、隱藏層和輸出層三部分組成，隱藏層可能有多個(gè)，而循環(huán)神經(jīng)網(wǎng)絡(luò)在三層結(jié)構(gòu)的基礎(chǔ)上增加了一個(gè)循環(huán)結(jié)構(gòu)（見圖4），圖4 等號左側(cè)為折疊式，等號右側(cè)為展開式，xt為輸入層，ht為輸出層，A為隱藏層，其中每個(gè)A可以看作是一個(gè)神經(jīng)元，每個(gè)神經(jīng)元先存儲(chǔ)之前輸入的狀態(tài)，再與當(dāng)前輸入相結(jié)合，運(yùn)算后保留當(dāng)前輸入與之前輸入的某些關(guān)系，從而具備“記憶”功能，可以捕獲之前計(jì)算過的信息，保留前面輸入的數(shù)據(jù)對后面數(shù)據(jù)的影響，具有很好的時(shí)序性。

1.3.2.2 長短期記憶網(wǎng)絡(luò)

長短期記憶網(wǎng)絡(luò)(LSTM)由RNN 演化而來，通過刻意設(shè)計(jì)計(jì)算隱藏層狀態(tài)，避免了長期依賴的問題。RNN 和LSTM 均具有重復(fù)人工神經(jīng)網(wǎng)絡(luò)模塊的鏈?zhǔn)浇Y(jié)構(gòu)，但在每個(gè)重復(fù)模塊內(nèi)部均存在4 個(gè)以特殊方式相互作用的神經(jīng)網(wǎng)絡(luò)層（見圖5）。

圖4 循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Recurrent neural network structure

圖5 LSTM 中的重復(fù)模塊結(jié)構(gòu)Fig.5 Repetitive module structure in LSTM

在LSTM 中，“記憶”被稱為細(xì)胞狀態(tài)，細(xì)胞狀態(tài)在鏈?zhǔn)浇Y(jié)構(gòu)上像傳送帶一樣運(yùn)行，僅存在少量線性操作，如此使得信息在流經(jīng)鏈?zhǔn)浇Y(jié)構(gòu)時(shí)可以保真。另外，為了捕獲長期依賴關(guān)系，LSTM 通過被稱為門(gate)的結(jié)構(gòu)增添信息，門由單一sigmoid 神經(jīng)網(wǎng)絡(luò)層與單一點(diǎn)乘法運(yùn)算構(gòu)成，取值范圍為0～1，根據(jù)數(shù)值來控制組件信息的通過與否。LSTM有3 個(gè)門，用于保護(hù)和控制細(xì)胞狀態(tài)。第1 個(gè)門為“忘記門”，由sigmoid 層實(shí)現(xiàn)，將細(xì)胞狀態(tài)中的信息選擇性地遺忘；第2 個(gè)門為“輸入門”，輸入門的sigmoid 層確定更新哪些值，后續(xù)通過tanh 層創(chuàng)建的候選向量-Ct將新的信息有選擇地記錄到細(xì)胞狀態(tài)中；第3 個(gè)門為“輸出門”，其作用對象為隱藏層ht，通過sigmoid 層確定隱藏層的輸出部分，后續(xù)將其通過 tanh 層，在（－1，1）內(nèi)得到一個(gè)值，并將它與sigmoid 層的輸出值相乘，確定需要輸出的信息。在LSTM 網(wǎng)絡(luò)中，通過3 個(gè)門選擇記憶中的信息是保留還是刪除，并將之前的狀態(tài)、當(dāng)前的記憶和輸入進(jìn)行組合，這種結(jié)構(gòu)在捕獲長期依賴上被證明是非常有效的。

1.3.2.3 門控循環(huán)單元

門控循環(huán)單元（GRU)是LSTM 的變種，可以很好地解決RNN 中的長依賴問題。LSTM 引入了3個(gè)門函數(shù)：輸入門、忘記門和輸出門來分別控制輸入值、記憶值和輸出值。GRU 中只有2 個(gè)門：重置門和更新門，重置門由新輸入的信息和記憶構(gòu)成；更新門實(shí)質(zhì)上由LSTM 中的忘記門和輸入門構(gòu)成，較LSTM 結(jié)構(gòu)更簡單（見圖6），圖6 中，rt表示重置門，zt表示更新門。重置門rt控制前一狀態(tài)有多少信息被寫入當(dāng)前的候選集h~t，重置門的值越小，前一狀態(tài)的信息被忽略的就越多，寫入的越少；更新門zt主要通過其自身的值來控制前置信息的通過量。

圖6 GRU 內(nèi)部結(jié)構(gòu)Fig.6 Internal structure of GRU

LSTM 和GRU 均通過各種門函數(shù)將重要特征保留下來，從而保證在更長的傳播中其特征不會(huì)丟失，有利于文本數(shù)據(jù)處理。此外，GRU 較LSTM 少了一個(gè)門，從而減少了幾個(gè)矩陣乘法，參數(shù)數(shù)量也少于LSTM，當(dāng)數(shù)據(jù)量很大時(shí)，GRU 的訓(xùn)練速度比LSTM 快，但分類效果還是取決于具體的應(yīng)用場景。

1.3.2.4 基于word2vec 的RNN 深度學(xué)習(xí)情感計(jì)算模型

基于word2vec 將文本轉(zhuǎn)化為分布式存儲(chǔ)的詞向量，然后通過RNN（LSTM 或GRU）深度學(xué)習(xí)，最后輸出計(jì)算結(jié)果（見圖7）。

具體步驟包括：（1）對旅游文本大數(shù)據(jù)進(jìn)行基礎(chǔ)性處理，得到原始輸入語句；（2）采用word2vec 模型對原始輸入語句進(jìn)行詞向量化處理，得到矩陣形式的詞向量；（3）將矩陣形式的詞向量xi輸入RNN（LSTM 或 GRU）神經(jīng)網(wǎng)絡(luò)；（4）經(jīng) RNN（LSTM 或GRU）神經(jīng)網(wǎng)絡(luò)產(chǎn)生輸出yi；（5）將yi連接至普通的全連接神經(jīng)網(wǎng)絡(luò)。最后，將全連接層的輸出連接至softmax 層，輸出正面情感或負(fù)面情感的概率y。

圖7 基于word2vec 的RNN 深度學(xué)習(xí)情感計(jì)算模型Fig.7 Emotional classification model of RNN deep learning based on word2vec

2 模型檢驗(yàn)與分析

2.1 模型評價(jià)方法和指標(biāo)

根據(jù)情感計(jì)算實(shí)際與預(yù)測情況，可給出如表2所示的混淆矩陣，其中，1 代表正向類，0 代表負(fù)向類。TP 表示實(shí)際是正向，預(yù)測也是正向，分類正確；FP 表示實(shí)際是負(fù)向，預(yù)測是正向，分類錯(cuò)誤；FN表示實(shí)際是正向，預(yù)測是負(fù)向，分類錯(cuò)誤；TN 表示實(shí)際是負(fù)向，預(yù)測也是負(fù)向，分類正確。

表2 混淆矩陣Table 2 Confusion matrix

基于混淆矩陣，情感計(jì)算一般采用準(zhǔn)確率（accuracy，A），精確率（precision，P）、召回率（recall，R）和F1值4 種指標(biāo)來評價(jià)計(jì)算效果。準(zhǔn)確率A=（TP+TN）/（TP+FP+TN+FN），表示在所有樣本中預(yù)測正確的樣本數(shù)占總樣本數(shù)的比例；精確率P=TP/（TP+FP），表示在預(yù)測為正向的數(shù)據(jù)中，預(yù)測的正確率；召回率R=TP/（TP+FN），表示在所有正向的數(shù)據(jù)中，預(yù)測的正確率。即準(zhǔn)確率、精確率與召回率分別由不同的情感計(jì)算方法對文本大數(shù)據(jù)的情感計(jì)算效果來決定；為避免P和R兩個(gè)指標(biāo)相差過大，引入綜合度量指標(biāo)F，并將F作為分類的綜合評價(jià)標(biāo)準(zhǔn):

其中，∝為調(diào)節(jié)精確率（P）和召回率（R）兩者之間關(guān)系的調(diào)節(jié)因子，通常取1。調(diào)整后的綜合評價(jià)標(biāo)準(zhǔn)F1的計(jì)算公式為

為檢驗(yàn)基于word2vec 的RNN 深度學(xué)習(xí)游客情感計(jì)算模型的效果，選定能有效捕獲序列數(shù)據(jù)長期依賴的LSTM 網(wǎng)絡(luò)作為實(shí)驗(yàn)的深度學(xué)習(xí)模型，以譚松波標(biāo)記過的酒店評論(見https://www.aitechclub.com/data-detail?data_id=29）作為語料，80% 做訓(xùn)練集，20%做測試集，在訓(xùn)練集上迭代20 次，訓(xùn)練過程中分別預(yù)測準(zhǔn)確率和損失函數(shù)值，結(jié)果如圖8 和圖9 所示。

同時(shí)，設(shè)計(jì)實(shí)驗(yàn)對照組，使用譚松波標(biāo)記過的酒店評論語料作為旅游文本大數(shù)據(jù)，其中正向情感樣本5 322 個(gè)，負(fù)向情感樣本2 444 個(gè)，共7 766 個(gè)樣本構(gòu)成數(shù)據(jù)集，按照準(zhǔn)確率A、精確率P、召回率R、綜合評價(jià)標(biāo)準(zhǔn)F1對不同游客情感計(jì)算方法進(jìn)行評價(jià)。

圖8 準(zhǔn)確率曲線Fig.8 Accuracy curve

圖9 損失函數(shù)曲線Fig.9 Loss function curve

2.2 檢驗(yàn)結(jié)果與分析

基于情感詞典ER（emotion-rules)、機(jī)器學(xué)習(xí)SVM（support vector machines）、機(jī)器學(xué)習(xí)NBC（naive Bayesian classifier）和深度學(xué)習(xí)RNN(LSTM)的情感計(jì)算模型的檢驗(yàn)結(jié)果如表3 所示。

由表3 可知，基于機(jī)器學(xué)習(xí)的游客情感計(jì)算方法比基于情感詞典的游客情感計(jì)算方法更優(yōu)，原因在于機(jī)器學(xué)習(xí)使用統(tǒng)計(jì)的方法抽取文本數(shù)據(jù)中的特征項(xiàng)，其非線性特征提高了情感計(jì)算的可靠性和準(zhǔn)確率。

在機(jī)器學(xué)習(xí)方法中，NBC 在各項(xiàng)評價(jià)指標(biāo)上的表現(xiàn)都較SVM 好，且在訓(xùn)練集與測試集上效果都比較穩(wěn)定，原因在于NBC 作為機(jī)器學(xué)習(xí)中經(jīng)典的分類模型，有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)和穩(wěn)定的分類效率。

深度學(xué)習(xí)方法LSTM 模型的準(zhǔn)確率、召回率和F1值都較 ER、SVM 和 NBC 有較大提升，主要源于LSTM 模型對文本數(shù)據(jù)特征提取與學(xué)習(xí)方式上的智能化，深度學(xué)習(xí)依靠大數(shù)據(jù)與大量參數(shù)自動(dòng)擬合非線性預(yù)測函數(shù)，強(qiáng)調(diào)模型結(jié)構(gòu)的深度，突出特征學(xué)習(xí)的重要性，并通過逐層特征變換將原始空間中樣本的特征表示轉(zhuǎn)換為新的特征空間。與機(jī)器學(xué)習(xí)人工構(gòu)造特征的方法相比，LSTM 模型充分體現(xiàn)了其大數(shù)據(jù)優(yōu)勢。

在基于word2vec 的RNN 深度學(xué)習(xí)游客情感計(jì)算模型中，word2vec 用高維向量將詞語轉(zhuǎn)換為實(shí)數(shù)向量并精確保留其語義信息，LSTM 模型不但發(fā)揮了深度學(xué)習(xí)對高維數(shù)據(jù)的強(qiáng)處理能力，還保留了旅游文本數(shù)據(jù)良好的時(shí)序性，同時(shí)結(jié)合其循環(huán)神經(jīng)網(wǎng)絡(luò)注重鄰近位置的特點(diǎn)，有效地將高維向量重構(gòu)并轉(zhuǎn)化為低維的抽象語義信息，因此，word2vec 與LSTM 深度學(xué)習(xí)模型的結(jié)合取得了比基于情感詞典和基于機(jī)器學(xué)習(xí)更好的計(jì)算效果。

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一種新模式，其優(yōu)勢在于強(qiáng)大的特征自學(xué)習(xí)能力和情感判別能力，非常適合旅游文本大數(shù)據(jù)多粒度、無標(biāo)簽和規(guī)模性、多樣性的特點(diǎn)，有效解決了旅游大數(shù)據(jù)時(shí)代游客情感研究中情感計(jì)算數(shù)據(jù)量大、文本間的關(guān)系難度量、高度依賴人工構(gòu)建情感詞典、人工構(gòu)建特征復(fù)雜及問題泛化能力受限等問題。

3 結(jié)論與討論

3.1 結(jié) 論

綜上，基于不同方法的游客情感計(jì)算的優(yōu)勢、不足和適用性如表4 所示。

表3 不同方法情感計(jì)算模型的檢驗(yàn)結(jié)果Table 3 Test result of tourist emotion calculation model based on different methods

表4 基于不同方法的游客情感計(jì)算的優(yōu)勢、不足和適用性Table 4 The advantages，insufficients and applicability of different methods of tourist emotion calculation

3.1.1 基于情感詞典的游客情感計(jì)算

該方法利用詞語的情感極性、出現(xiàn)位置、句子語法等規(guī)則，通過情感詞典對情感詞加權(quán)計(jì)算得到情感計(jì)算結(jié)果，核心是情感詞典和情感計(jì)算規(guī)則。其優(yōu)點(diǎn)是簡單、易實(shí)現(xiàn)，適用的語料范圍廣。但缺點(diǎn)也很突出，（1）自然語言千變?nèi)f化的特點(diǎn)，在詞典匹配中易產(chǎn)生較大誤差；（2）性能高度依賴詞典的質(zhì)量，需要投入大量人力擴(kuò)充高質(zhì)量的情感詞典，而當(dāng)今呈指數(shù)型上漲的旅游文本更為詞典的構(gòu)建增加了難度；（3）情感詞典和情感計(jì)算規(guī)則都需要設(shè)計(jì)，因此，精確與否在很大程度上取決于經(jīng)驗(yàn)，推廣能力較差。

3.1.2 基于機(jī)器學(xué)習(xí)的游客情感計(jì)算

該方法利用已標(biāo)注情感類別的數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)算法得到分類模型，而后通過模型計(jì)算文本的情感極性?；跈C(jī)器學(xué)習(xí)的情感計(jì)算過程較易實(shí)現(xiàn)且計(jì)算量小，但易受訓(xùn)練數(shù)據(jù)規(guī)模和專業(yè)性及文本特征選擇的影響，一定程度上限制了其在復(fù)雜問題上的泛化能力。運(yùn)用統(tǒng)計(jì)學(xué)方式抽取文本中的特征項(xiàng)，通過機(jī)器學(xué)習(xí)方法建立計(jì)算模型，進(jìn)而實(shí)現(xiàn)情感計(jì)算，有效解決了對情感詞典的依賴，相對于基于情感詞典的線性特征，其非線性特征極大地提高了情感計(jì)算的準(zhǔn)確率。這種有監(jiān)督的機(jī)器學(xué)習(xí)方法要求利用已知情感極性的數(shù)據(jù)作為訓(xùn)練集，但在現(xiàn)實(shí)中要獲得大量已標(biāo)注情感極性的數(shù)據(jù)難度很大，有時(shí)甚至無法獲??；同時(shí)其對語料的依賴具有專業(yè)性；另外，這種方法將情感文本視為一個(gè)“詞袋”，在忽略了數(shù)據(jù)集規(guī)模情況的同時(shí)，也忽略了上下文的信息，TF-IDF 具有高維度高稀疏性，缺乏語義，特征表達(dá)能力較弱，需要經(jīng)過復(fù)雜的人工設(shè)計(jì)特征和提取特征過程，特征的選擇和降維操作所需工作量巨大。

3.1.3 基于深度學(xué)習(xí)的游客情感計(jì)算

該方法解決了基于情感詞典和基于機(jī)器學(xué)習(xí)無法考慮詞序信息和語義特征的問題，提高了情感計(jì)算的準(zhǔn)確率，為游客情感計(jì)算提供了新的思路。通過word2vec 用高維向量將詞語轉(zhuǎn)換為實(shí)數(shù)向量并精確保留其語義，使特征具有語義信息，且通過神經(jīng)網(wǎng)絡(luò)保留了其大部分詞序信息。與傳統(tǒng)機(jī)器學(xué)習(xí)的計(jì)算模型相比，深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)可以自動(dòng)發(fā)現(xiàn)特征，不用人工設(shè)計(jì)和提取特征，大大減少了特征設(shè)計(jì)和提取的工作量。word2vec 在產(chǎn)生向量矩陣的同時(shí)降低了特征維度，加上深度學(xué)習(xí)模型可以通過GPU 加速訓(xùn)練，大大縮短了訓(xùn)練時(shí)間和實(shí)際使用時(shí)間；此外，由于深度學(xué)習(xí)不依賴專業(yè)領(lǐng)域詞典和專業(yè)領(lǐng)域的特征提取，使得其進(jìn)行情感計(jì)算的實(shí)用性更強(qiáng)，泛化能力更好。但深度學(xué)習(xí)采用深層神經(jīng)網(wǎng)絡(luò)，其模型較傳統(tǒng)機(jī)器學(xué)習(xí)模型復(fù)雜，對數(shù)據(jù)集的要求高，大規(guī)模訓(xùn)練數(shù)據(jù)缺乏已經(jīng)成為深度學(xué)習(xí)在情感計(jì)算中的瓶頸，同時(shí)，多層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、內(nèi)部運(yùn)行規(guī)則難以理解，對計(jì)算結(jié)果的解釋性較差。

3.2 不足與展望

技術(shù)只是實(shí)現(xiàn)目標(biāo)的一種手段，技術(shù)手段和方法要配合實(shí)際研究需求。在實(shí)際應(yīng)用中，技術(shù)手段的使用不但要考慮準(zhǔn)確性、誤差率等情況，而且還應(yīng)考慮其運(yùn)行速度(時(shí)間復(fù)雜度)、資源消耗程度（空間復(fù)雜度）以及實(shí)施性和穩(wěn)定性。

在開展相關(guān)工作時(shí)，突破技術(shù)范式的束縛，尋找合適的方法，探索最優(yōu)的組合，從而形成最適模型。本研究在前人研究基礎(chǔ)上，對游客情感研究中的情感計(jì)算進(jìn)行了歸納，總結(jié)了常用的技術(shù)范式，并探索性地將新技術(shù)應(yīng)用于游客情感計(jì)算研究，由于涉及的技術(shù)較多，研究尚欠深入，如基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)多種算法在游客情感計(jì)算上的深入比較等，今后可在以下幾方面展開進(jìn)一步研究：

· 多種方法的組合使用。游客的情感是在“非慣常狀態(tài)”下的活動(dòng)產(chǎn)生的情感，游客情感分析是在旅游這一特殊情境下進(jìn)行的。下一步可以考慮構(gòu)建旅游專屬的情感詞典，并將旅游專屬的情感詞典與機(jī)器學(xué)習(xí)、深度學(xué)習(xí)方法相結(jié)合來研究游客情感計(jì)算。

· 大數(shù)據(jù)的測試研究。數(shù)據(jù)量的大小決定情感模型的可信度，下一步可考慮在獲取大規(guī)模旅游文本大數(shù)據(jù)的情況下，研究不同情感計(jì)算技術(shù)在時(shí)間復(fù)雜度、空間復(fù)雜度、實(shí)施性、穩(wěn)定性上的優(yōu)劣，為大數(shù)據(jù)時(shí)代游客情感計(jì)算研究奠定基礎(chǔ)。