任成森，楊易揚，郝志峰,2

（1.廣東工業(yè)大學(xué)計算機學(xué)院，廣州510006；2.佛山科學(xué)技術(shù)學(xué)院，佛山528225）

0 引言

近年來，隨著移動智能終端的普及，用戶的注意力從固定設(shè)備轉(zhuǎn)移到掌上移動設(shè)備，并隨著3G、4G 網(wǎng)絡(luò)的普及，眾多移動應(yīng)用開始推出可以記錄用戶位置的地理位置、興趣點推薦的應(yīng)用，例如美團、餓了么、支付寶口碑。為了給用戶推薦更合適的興趣點，進(jìn)而帶動該地點的消費，眾多企業(yè)和研究團隊都花費了大量的精力研究基于地理位置的各種應(yīng)用。其中，興趣點分類是眾多下游應(yīng)用的基礎(chǔ)。大公司能夠利用雄厚的財力來推廣并獲取海量的用戶評論信息，能夠簡單地在大數(shù)據(jù)的基礎(chǔ)上將興趣點分類轉(zhuǎn)化為文本分類，再加上足夠的興趣點標(biāo)注預(yù)算，使得普通的文本分類模型也能進(jìn)行精準(zhǔn)分類。但這些數(shù)據(jù)和模型都是閉源的，新公司、新研究團隊無法在有限的條件下快速實現(xiàn)能夠適合生產(chǎn)的興趣點分類模型。在這個背景下，如何在已有數(shù)據(jù)和有限標(biāo)注成本的情況下，提高興趣點的分類成為了研究重點。為了達(dá)到這個目的，我們需要解決以下問題：如何充分利用興趣點的已有信息？

圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Networks，GCNs）[1]作為一個半監(jiān)督學(xué)習(xí)框架，在不規(guī)則場景獲得了大量的關(guān)注。在眾多的領(lǐng)域獲得了大量的應(yīng)用[2]，如自然語言處理[3]、計算機視覺[4]、網(wǎng)絡(luò)分析[5]等等。對于深度神經(jīng)網(wǎng)絡(luò)來說，復(fù)雜的結(jié)構(gòu)往往能夠帶來準(zhǔn)確率上的提升。而復(fù)雜結(jié)構(gòu)的GCN 卻會引入新的問題：領(lǐng)域指數(shù)增加[6]。也就是說，假設(shè)要計算第L 層的一個節(jié)點的損失值，則需要獲得第L-1 層的k 個節(jié)點（k 為鄰接節(jié)點的數(shù)量，且每個節(jié)點的k 值都不固定），如此類推到更多的網(wǎng)絡(luò)層上，這就意味著隨著GCNs 的迭代網(wǎng)絡(luò)層的增加，計算量也會成倍地增加，但模型預(yù)測效果反而降低。特別是在興趣點這一類包含大量節(jié)點的任務(wù)中，深層的GCNs 網(wǎng)絡(luò)并不適用，但GCNs 能夠利用興趣點之間的關(guān)聯(lián)信息，是一種很強大的特征融合/傳播工具。

除了網(wǎng)絡(luò)層的深度，有不少研究在圖結(jié)構(gòu)上對GCNs 進(jìn)行了進(jìn)一步擴展。文本圖卷積網(wǎng)絡(luò)（Text Graph Convolutional Networks，TextGCN）[7]就是從節(jié)點類型來擴展GCNs 的模型，它把文本和單詞分別視為不同類型的節(jié)點，從而有兩種類型的邊：文本-單詞，單詞-單詞。前者的權(quán)重是通過詞頻-逆文本頻率指數(shù)（Term Frequency-Inverse Document Frequency，TF-IDF）來計算，后者則是通過點互信息（Pointwise Mutual Infor?mation，PMI）給出。不同類型的兩種節(jié)點和邊整合到一個圖上，從而融合了異構(gòu)信息，這就考慮了，進(jìn)而使用GCNs 來處理。這種擴展了信息融合的維度，同時考慮了單詞節(jié)點之間的共現(xiàn)信息和文本-單詞之間類主題信息。本文模型借鑒了TextGCN 的文本-單詞結(jié)構(gòu)，構(gòu)建出興趣點-單詞（來自評論文本）的異構(gòu)網(wǎng)絡(luò)。但原始的TextGCN 并直接應(yīng)用在興趣點上并不合適，而且會導(dǎo)致性能上的損失。

所以本文所提出的模型基于GCNs，并通過構(gòu)建興趣點-興趣點、興趣點-評論單詞之間的連接，得到一個高魯棒性的圖網(wǎng)路結(jié)構(gòu)，即保證了特征的高效融合/傳播，也保證了與基準(zhǔn)模型相近的準(zhǔn)確率，甚至在Macro-F1 評價標(biāo)準(zhǔn)上超出了基準(zhǔn)模型。本文的主要貢獻(xiàn)如下：

（1）將興趣點分類任務(wù)轉(zhuǎn)化為節(jié)點分類任務(wù)，利用興趣點和評論文本之間的單詞關(guān)系，構(gòu)建興趣點-單詞異構(gòu)網(wǎng)絡(luò)，并通過實驗證明TextGCN 在興趣點分類任務(wù)上的性能差異，使得原本只適用于文檔分類的模型改造成適合興趣點分類的模型。

（2）利用興趣點的名稱，構(gòu)建興趣點之間的相似性，使得模型在保證其準(zhǔn)確率不下降的情況下，大幅降低其訓(xùn)練速度。

（3）在現(xiàn)實世界的真實數(shù)據(jù)上的兩個城市進(jìn)行測試，并在不同的參數(shù)下測試了其魯棒性，證明了本文算法的有效性。

1 算法

本節(jié)將給出具體的算法實現(xiàn)步驟，分別為異構(gòu)圖網(wǎng)絡(luò)的構(gòu)建和模型的構(gòu)建。

1.1 異構(gòu)圖網(wǎng)絡(luò)的構(gòu)建

給定n 個興趣點，每個興趣點有諾干篇評論。通過匯總評論進(jìn)行清理和切割，獲得m 個單詞。把這n興趣點和m 個單詞視為異構(gòu)圖網(wǎng)絡(luò)中兩種節(jié)點，其中該圖網(wǎng)絡(luò)的總節(jié)點數(shù)為|V|=n+m，其節(jié)點特征為單位矩陣。也就是說單個節(jié)點時，其特征只考慮自身，所以其對應(yīng)的特征向量設(shè)置為獨熱編碼。本文的任務(wù)就是要將這n 個興趣點分成c 類。

其中興趣點和單詞之間的邊的權(quán)重由使用TFIDF 算法來計算，這部分和TextGCN 類似。我們在實驗中發(fā)現(xiàn)，TextGCN 中的單詞-單詞之間的邊，在新聞、疾病文摘這一類中等長度的文本語料上會幫助Text?GCN 提高效果，但是其在短文本和超長文本上，則效果式微。表2 中的對比實驗也展示了其在興趣點分類上的效果，在不考慮單詞-單詞之間的邊的情況下，準(zhǔn)確率、Macro-F1 下降幅度有限，但大幅降低了訓(xùn)練時間。所以本文不考慮傳統(tǒng)的單詞-單詞結(jié)構(gòu)連接。

雖然在單詞-單詞之間的邊帶來的提升效果有限，但去除了卻會導(dǎo)致模型略微的降低。本文考慮了興趣點信息的多樣性，利用興趣點名稱作為信息來源之一來考慮。雖然興趣點名稱廣義上也屬于文本數(shù)據(jù)，但其來源不同、結(jié)構(gòu)各異，所以并不能上面處理評論數(shù)據(jù)的方法來處理興趣點名稱。

本文先統(tǒng)計興趣點名稱中的單詞詞頻，把少于2次出現(xiàn)的單詞去除，同時也把單詞長度少于2 個字符的單詞也刪除。這主要是因為只出現(xiàn)過一次的單詞，對興趣點之間的相似性并沒有積極作用，反而會加大單詞列表提高計算成本。構(gòu)建了興趣點名稱單詞列表后，將把每個興趣點構(gòu)建其名稱的獨熱編碼。有了名稱獨熱編碼，通過計算兩兩興趣點的名稱獨熱編碼的余弦相似性，構(gòu)建興趣點和興趣點之間邊，其核心思想在于興趣點名稱中有相似單詞的，會認(rèn)為具有一定的業(yè)務(wù)相似性，也就是其類別有可能是相似的。其構(gòu)建公式如下：

其中，cos(ij)表示興趣點i 和興趣點j 的名稱獨熱編碼的余弦相似度。TF-IDFij表示興趣點i 和單詞j的TF-IDF 值。則是為了和GCNs 保持一致，對角線元素設(shè)置為1，即i=j 的情況，表示節(jié)點的自環(huán)。其他情況則設(shè)為0。用鄰接矩陣構(gòu)建了興趣點-興趣點、興趣點-單詞之間的關(guān)系后，需要進(jìn)一步正則化，正則后的鄰接矩陣表達(dá)為：

其中，Dii=∑j Ai j。

1.2 模型的構(gòu)建

本文模型的構(gòu)建和TextGCN 一樣，也是使用了標(biāo)準(zhǔn)的GCNs 模型。一旦興趣點異構(gòu)圖構(gòu)建好，就可以輸入到一個簡單的兩層GCNs 模型。第二層節(jié)點的模型輸出緯度等于興趣點的類別數(shù)c。

其中ReLU(?)=max(0,?)是激活函數(shù)，σ是softmax算子，θ(1)和θ(2)分別是第一層網(wǎng)絡(luò)和第二層網(wǎng)絡(luò)的權(quán)重矩陣。模型的損失函數(shù)定義已標(biāo)注興趣點上的交叉熵?fù)p失，其具體定義如下：

其中y 是已經(jīng)有標(biāo)簽的興趣點，F(xiàn) 是模型輸出特征的維度。

2 數(shù)據(jù)與實驗

本文在Yelp 2019 數(shù)據(jù)集①https://www.yelp.com/dataset上進(jìn)行了對比實驗，評估了本文的模型和基準(zhǔn)模型TextGCN 之間的性能差異。使用分類任務(wù)中常用的評價標(biāo)準(zhǔn)準(zhǔn)確率和Macro-F1 來評價模型的表現(xiàn)，其中也給出了訓(xùn)練時間（用秒來計算），來評價各模型的訓(xùn)練效率。

2.1 Yelp數(shù)據(jù)集

本文采用的Yelp 數(shù)據(jù)集，來自美國Yelp 公司提供的開源真實興趣點數(shù)據(jù)，包含了美國2019 年截止的興趣點數(shù)據(jù)。因為實驗環(huán)境所限，本文抽取了其中兩個具有代表性的城市：夏洛特（用Char 來替代）和鳳凰城（用Ph 來替代）。其中Char 包含5842 個興趣點，平均每個興趣點的評論長度為1754 個單詞；而Ph 包含11125 個興趣點，平均每個興趣點的評論長度為2146個單詞。實驗的城市包含了大城市和小城市，已確保實驗上的有效性。

表1 Yelp 2019 數(shù)據(jù)集下兩個城市的數(shù)據(jù)情況

2.2 數(shù)據(jù)預(yù)處理

對于評論數(shù)據(jù)的處理，將按照TextCNN[8]的文本處理方法，以保證其公平性。先去除在NLTK 定義的停留詞，詞頻低于5 次的單詞。對于興趣點名稱數(shù)據(jù)，因為興趣點名稱的單詞數(shù)過于簡短，一般為2 到5 個單詞，所以本文先對興趣點名稱進(jìn)行按單詞切割，統(tǒng)計其單詞頻率，把只出現(xiàn)過一次的單詞和單詞長度少于3個字符的單詞去除。從而留下的單詞作為詞表，為每個興趣點構(gòu)建其獨熱編碼（one hot）。

2.3 實驗設(shè)置

本文使用PyTorch 框架來實現(xiàn)。所有的都在相同的硬件配置下進(jìn)行：64 位Ubuntu 18.04.2 系統(tǒng)，Intel Core i7-6850K CPU（6 核3.60GHz），32GB 內(nèi)存，和NVIDIA GeForce RTX 1080Ti 顯卡（11GB 顯存）。中間隱含層的維度均設(shè)置為200 維，所有模型的學(xué)習(xí)率均設(shè)置為0.02，Dropout Rate 為0.5，最大迭代次數(shù)為200次，使用Adam 優(yōu)化器進(jìn)行優(yōu)化，如果模型在驗證集上的損失值不再下降（10 次迭代內(nèi)），則提前停止訓(xùn)練。本文的數(shù)據(jù)集劃分，遵循7:3 比例，即70%的興趣點作為訓(xùn)練集、30%的興趣點作為測試集。其中，為了調(diào)整超參數(shù)，從訓(xùn)練集中隨機抽出了10%的興趣點作為驗證集。

2.4 實驗分析

本章在Yelp 2019 數(shù)據(jù)集上的兩個城市進(jìn)行了對比實驗，評估了本算法的有效性，并結(jié)合實驗結(jié)果分析了本文分類算法的優(yōu)勢。

TextGCN 則是原論文的模型，而TextGCN-WW 則是保留文檔-單詞圖，去掉單詞-單詞共現(xiàn)圖下的模型。從表2 可以看出，在準(zhǔn)確率上，三種模型的準(zhǔn)確率都差不多，證明了單詞-單詞的共現(xiàn)信息在超長文本上的作用較小，而且大幅度增加了其訓(xùn)練時間，增加了大約6～7 倍的訓(xùn)練時間。隨著單詞列表增加，這個訓(xùn)練時間還會進(jìn)一步提高。而本文的模型在保證其準(zhǔn)確率上，依然獲得了更高的訓(xùn)練效率，可以看到本文模型的有效性。

在Macro-F1 方面，這是一個在準(zhǔn)確率的基礎(chǔ)上衡量預(yù)測標(biāo)簽多樣性的指標(biāo)，我們可以看到，在小城市上，即興趣點和評論數(shù)都少的情況下，本文模型的效果反而有所提升。這就說明了使用興趣點所構(gòu)建的興趣點-興趣點網(wǎng)絡(luò)具備一定的信息傳遞能力，彌補了部分特征單詞缺失的興趣點的缺陷。

表2 本文模型與基準(zhǔn)模型TextGCN、TextGCN-WW 的對比實驗

本文即一步探討其超參數(shù)的相關(guān)性，以評價本文模型的魯棒性。因為興趣點評論文本具有較大的不確定性，而且Yelp 數(shù)據(jù)集所面向的用戶有著各種語言習(xí)慣、語言分割、語言種類。探索詞的種類有利于衡量模型的魯棒性，使得模型應(yīng)用更廣泛。

本文分別調(diào)整低頻詞和高頻詞來調(diào)節(jié)單詞的種類，從而從詞頻的角度來控制單詞的種類，如表3 所示?？梢钥吹剑皖l詞對于分類的多樣性非常重要，大量的詞雖然只在不到一百篇文章里出現(xiàn)過，但其對分類的多樣性非常重要，可以看到刪除詞頻低于50 到100 的單詞，基線模型會出現(xiàn)了2%的準(zhǔn)確率下降，Macro-F1 更是下降了0.06 個點。本文模型則體現(xiàn)出了其魯棒性，雖然也有相同趨勢的下降，但整體效果還是超過了基線模型，這證明了利用興趣點名稱構(gòu)建興趣點網(wǎng)絡(luò)的有效性。

表3 低頻詞保留情況及模型的相應(yīng)表現(xiàn)

與低頻詞不一樣的是，高頻詞在數(shù)據(jù)中的占比非常少，即使減少到1%，也只是減少了大約1 千個單詞。在這里，可以看到兩個趨勢：

（1）雖然單詞數(shù)量減少有限，但其能降低其訓(xùn)練時間；

（2）當(dāng)高頻詞限制在2%以內(nèi)時，基準(zhǔn)模型的性能則開始下滑。

單詞越高頻，在圖網(wǎng)絡(luò)中，意味著該單詞節(jié)點連接的興趣點節(jié)點就越多；在信息融合角度上，意味著該單詞節(jié)點融合的信息就越多，但從特征傳播的角度，信息融合得越多，其特征顯著性就越低，傳播的效率就越低，而且連接的節(jié)點越多，其傳播的影響力就越小，因為其邊權(quán)重會正則化使得每一條邊的權(quán)重占比更低；在卷積的角度，會增加其卷積的范圍，模型在正向/反向傳播時，則需要更多的計算資源。這三個角度解釋了為什么減少的節(jié)點的數(shù)量有限，訓(xùn)練速度的提高卻如此明顯；而且效果卻不怎么下降。

表4 高頻詞限制下本文模型的表現(xiàn)

3 相關(guān)工作

圖卷積神經(jīng)網(wǎng)絡(luò)作為卷積神經(jīng)網(wǎng)絡(luò)在不規(guī)則圖形上的擴展，近年來獲得了大量的關(guān)注和應(yīng)用。TextGCN把文本和單詞視為節(jié)點來構(gòu)建異構(gòu)圖，使用標(biāo)準(zhǔn)的GCNs 來進(jìn)行文本分類。但TextGCN 并不能充分利用文本信息，例如忽略了文本之間的語序信息。同時，TextGCN 為了提升效果，引入了單詞-單詞共現(xiàn)圖，但這也導(dǎo)致TextGCN 所需的計算資源快速上漲。同時結(jié)合原論文的實驗和我們的實驗，TextGCN 并不適合短文本分類和超長文本分類。這是因為短文本分類的單詞數(shù)量較少，且比較注重語序結(jié)構(gòu)；而超長文本，例如本文的評論文本，眾多的詞匯信息，使得超長文本僅憑單詞信息就能獲得足夠的分類特征，從而無需額外的單詞共現(xiàn)信息來彌補單詞信息不足的缺陷，這也是本文模型在去除單詞共現(xiàn)矩陣后依然有不錯的效果的原因。除了語料的處理，TensorGCN[9]則是增加網(wǎng)絡(luò)的多樣性來彌補TextGCN 的不足，包括使用LSTM[10]來保留語序信息、使用CoreNLP 來抽取單詞的關(guān)系樹。但這種做法的問題在于增加了計算復(fù)雜度；計算量是Text?GCN 的幾倍，而準(zhǔn)確率則是略有提高。圖網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)同時也決定了這樣的神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練和調(diào)試。

興趣點分類的工作則是比較少，因為這一類工作往往轉(zhuǎn)化成文本分類來實現(xiàn)。通過評論文本的分類來實現(xiàn)對興趣點的分類。但這也的做法也是存在缺陷的，一是沒有考慮興趣點信息的多樣性，例如同樣是文本信息，興趣點名稱和興趣點評論則有著不同的來源渠道和語言特征。而Yelp 數(shù)據(jù)集大多數(shù)是用來進(jìn)行評論情感分類和興趣點推薦。POIC-ELM 模型則是對POI 進(jìn)行另一種分類[11]：每日簽到POI，每周簽到POI，每月簽入POI 和年度簽入POI。使得模型能夠預(yù)測推薦的興趣點是否與用戶形成某種生活上的關(guān)系，這是從用戶和推薦的角度來進(jìn)行興趣點分類。

4 結(jié)語

綜合以上實驗，本文提出的模型的確能增強圖卷積神經(jīng)網(wǎng)絡(luò)在興趣點分類上的魯棒性，充分利用了興趣點上的異構(gòu)信息。因為Yelp 數(shù)據(jù)集是來自現(xiàn)實世界真實數(shù)據(jù)，其評論均來自于真實用戶，所以該數(shù)據(jù)集上的噪音更大，所以在該數(shù)據(jù)集上解決興趣點相關(guān)的任務(wù)更具有挑戰(zhàn)性。但是本文的模型算法在這個數(shù)據(jù)集上，而且是在減少大量邊信息的情況下，依然有效而且提高了訓(xùn)練效率。興趣點分類是一項基礎(chǔ)研究任務(wù)，精準(zhǔn)地為興趣點進(jìn)行分類，有利于下游任務(wù)，例如興趣點推薦、社區(qū)劃分，等等。而興趣點分類不同于文本分類，其評論數(shù)量是動態(tài)增加的、不確定性的，而文本分類的樣本是固定的，沒有時間維度。這就造成了興趣點分類更容易受新加入的評論影響而使得模型準(zhǔn)確性無法保證。

針對以上問題，本文利用圖卷積神經(jīng)網(wǎng)絡(luò)，針對興趣點的數(shù)據(jù)特點，把興趣點名稱作為新的信息補充，通過打通興趣點之間的信息流通和減少了非關(guān)鍵節(jié)點之間的信息流通，大大提高了模型的穩(wěn)定性和運行效率。充分利用了興趣點中存在的異構(gòu)數(shù)據(jù)。本文設(shè)計的實驗也進(jìn)一步證明了本算法的有效性，并在同等條件下獲得準(zhǔn)確率和訓(xùn)練效率上的提高。雖然本文針對的是興趣點分類任務(wù)，但可以本文的算法適用其他有著異構(gòu)數(shù)據(jù)的任務(wù)。

目前利用評論和興趣點名稱獲得不錯的效果，但興趣點的還包含著地理信息、用戶信息和時間信息，但這部分信息更難處理且包含更多的噪音。所以這是一個有待解決的挑戰(zhàn)。本文接下來的工作將進(jìn)一步深入挖掘興趣點的其他信息。