郭佳樂(lè)， 卜 巍， 鄔向前

（1 哈爾濱工業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院， 哈爾濱150001； 2 哈爾濱工業(yè)大學(xué) 媒體技術(shù)與藝術(shù)學(xué)院， 哈爾濱150001）

0 引 言

近年來(lái)隨著移動(dòng)互聯(lián)網(wǎng)的蓬勃發(fā)展，涌現(xiàn)了大量基于內(nèi)容分發(fā)服務(wù)的App 和相關(guān)自媒體平臺(tái)，它們?cè)谌粘Ｉ钪邪缪葜絹?lái)越重要的角色，改變了人們獲取信息的方式和途徑。 當(dāng)用戶在瀏覽感興趣的內(nèi)容時(shí)，這些平臺(tái)常常會(huì)主動(dòng)為用戶推薦相同或者相近話題的其他文章。 而如何判斷文章之間的主要內(nèi)容是否關(guān)于相同或相近的主題，即判斷一對(duì)文章之間的關(guān)系，其實(shí)可以歸結(jié)為自然語(yǔ)言處理領(lǐng)域中的文本語(yǔ)義匹配任務(wù)。

文本匹配任務(wù)本質(zhì)上是判斷源文本與目標(biāo)文本之間的語(yǔ)義相似度（比如：查詢-文檔的匹配、問(wèn)題-答案的匹配等），而如何正確地建模文本中蘊(yùn)含的語(yǔ)義信息對(duì)于實(shí)現(xiàn)更高質(zhì)量的文本匹配結(jié)果十分重要。 目前，在實(shí)際建模過(guò)程中主要有兩個(gè)難點(diǎn)：一是詞匯和短語(yǔ)本身是有歧義的，存在廣泛的指代和省略等問(wèn)題；二是待匹配的文本篇幅很長(zhǎng)，文本中詞匯、短語(yǔ)、句子本身的語(yǔ)義受到復(fù)雜文章結(jié)構(gòu)很大的影響。

本文針對(duì)互聯(lián)網(wǎng)上的文本信息，譬如新聞文章都具有較長(zhǎng)的篇幅以及一定的行文邏輯結(jié)構(gòu)，設(shè)計(jì)出一種高精度的基于圖分類的中文長(zhǎng)文本匹配模型，并在CNSE 和CNSS 數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。本文的主要貢獻(xiàn)總結(jié)如下：

（1）提出了基于圖分類的長(zhǎng)文本匹配算法。 該算法將輸入的文本對(duì)轉(zhuǎn)化為圖結(jié)構(gòu)，利用基于注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)對(duì)節(jié)點(diǎn)特征進(jìn)行抽取，通過(guò)基于多層感知機(jī)的圖分類模塊融合全圖信息的特征表示向量，進(jìn)行圖分類計(jì)算，從而得到長(zhǎng)文本匹配的結(jié)果，完成長(zhǎng)文本匹配任務(wù)。

（2）提出了一種基于圖注意力機(jī)制的圖池化算法，增強(qiáng)圖節(jié)點(diǎn)融合過(guò)程中最大化圖的可辨別性，有效的提升了圖的表示效果，從而獲得了更魯棒且優(yōu)異的長(zhǎng)文本匹配結(jié)果。

（3）針對(duì)網(wǎng)絡(luò)模型的輸入，設(shè)計(jì)了多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊對(duì)節(jié)點(diǎn)編碼，從而提升網(wǎng)絡(luò)模型輸入特征質(zhì)量，獲得更豐富且魯棒的節(jié)點(diǎn)語(yǔ)義表示。 同時(shí)在模型中引入更多的非線性，增強(qiáng)了模型的擬合能力。

（4）本文提出的中文長(zhǎng)文本匹配算法，在CNSE和CNSS 兩個(gè)公開(kāi)數(shù)據(jù)集上超越了先前算法模型的結(jié)果，各項(xiàng)指標(biāo)均達(dá)到了目前最好的匹配結(jié)果。

1 相關(guān)工作

1.1 文本匹配

為了衡量?jī)善谋局g的相似度，深度學(xué)習(xí)模型之前主流的模型有向量空間模型（vector space model，VSM）、 隱 含 語(yǔ) 義 分 析（Latent Semantic Analysis，LSA）模型以及引入例如知識(shí)庫(kù)等外部的語(yǔ)義知識(shí)資源來(lái)輔助計(jì)算，但是傳統(tǒng)方法和模型仍舊受限于離散的單詞表示。 基于深度學(xué)習(xí)的文本語(yǔ)義匹配模型通常將文本編碼為分布式特征表示，通過(guò)用于度量學(xué)習(xí)的孿生結(jié)構(gòu)（siamese structure）來(lái)學(xué)習(xí)文本之間的相似度信息［1］。 其中有大量的研究工作聚焦于使用深度神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)文本進(jìn)行編碼，但是過(guò)去的這些研究主要都集中于短文本之間的匹配，當(dāng)隨著待匹配文本篇幅增加，基于RNN 的模型在超長(zhǎng)序列中傳遞信息會(huì)丟失重要的語(yǔ)義信息，而基于CNN 的模型也無(wú)法充分地表示結(jié)構(gòu)更復(fù)雜的長(zhǎng)文本的語(yǔ)義信息。

此外，大多數(shù)文本語(yǔ)義匹配的工作都忽略了長(zhǎng)文本所具有的結(jié)構(gòu)信息，而這種結(jié)構(gòu)信息對(duì)于語(yǔ)義匹配是十分重要的，應(yīng)當(dāng)加以有效地利用。 Liu 等人提出層次性結(jié)構(gòu)（hierarchical structure）來(lái)聚焦于句子級(jí)別的層次信息。 為了更充分地利用文本中的結(jié)構(gòu)信息，Jiang 等人提出基于孿生多深度注意力機(jī)制的層次性循環(huán)神經(jīng)網(wǎng)絡(luò)（SMASH RNN）模型，來(lái)處理長(zhǎng)文本匹配的任務(wù)［2］。 Liu 等人基于分治思想將待匹配的長(zhǎng)文本轉(zhuǎn)化到多個(gè)關(guān)鍵詞的匹配，并融合結(jié)果，形成整體的匹配得分，同時(shí)提出了兩個(gè)中文長(zhǎng)文本匹配數(shù)據(jù)集［3］。

1.2 圖表示學(xué)習(xí)

傳統(tǒng)的圖結(jié)構(gòu)用不同的符號(hào)命名節(jié)點(diǎn)，用鄰接矩陣來(lái)存儲(chǔ)節(jié)點(diǎn)之間的關(guān)系。 但這種表示方法節(jié)點(diǎn)之間沒(méi)有語(yǔ)義關(guān)系，且表示形式稀疏，很難應(yīng)用于深度學(xué)習(xí)的模型當(dāng)中。 因此后續(xù)有很多工作聚焦于將節(jié)點(diǎn)特征低維稠密化，比如Deepwalk 模型，通過(guò)隨機(jī)游走獲得當(dāng)前節(jié)點(diǎn)的上下文信息［4］，之后針對(duì)大規(guī)模網(wǎng)絡(luò)計(jì)算，LINE 模型被提出［5］。 Node2vec 模型被提出改進(jìn)的隨機(jī)游走策略，可以同時(shí)考慮到局部和宏觀的信息，并且具有很高的適應(yīng)性［6］。

1.3 圖池化

目前針對(duì)圖池化算法相關(guān)的工作大致可以劃分為基于節(jié)點(diǎn)選擇的圖池化算法和基于節(jié)點(diǎn)聚類的圖池化算法兩類。 基于節(jié)點(diǎn)選擇的模型比如gPool 算法，將節(jié)點(diǎn)Embedding 隱射到一維空間中，根據(jù)值的大小選擇其中top k 個(gè)節(jié)點(diǎn)，再進(jìn)行圖卷積的計(jì)算，自適應(yīng)地選擇圖全部節(jié)點(diǎn)的子集來(lái)形成一個(gè)新的小圖［7］。 還 有 研 究 者 提 出 SortPooling 算 法 通 過(guò)Weisfeiler-Lehman（ WL）算法 可以對(duì)節(jié)點(diǎn)進(jìn)行著色，而節(jié)點(diǎn)的顏色可以定義節(jié)點(diǎn)之間的次序，通過(guò)1-D 卷積的方法進(jìn)行卷積運(yùn)算，從而得到全圖的表示，用于圖分類任務(wù)［8］。 由于基于節(jié)點(diǎn)選擇的圖池化算法一定程度上忽略了圖的層級(jí)結(jié)構(gòu)信息，而這對(duì)提升最終圖表示的可辨別性有一定的輔助作用，因此有研究者提出了一種端到端的可微可微圖池化模塊DiffPool［9］。 為了實(shí)現(xiàn)圖中某一個(gè)節(jié)點(diǎn)分配到哪一個(gè)簇，應(yīng)該與其他節(jié)點(diǎn)的簇分配相互約束，有研究者提出了StructPool 來(lái)高效地學(xué)習(xí)高層次的圖表示，使用條件隨機(jī)場(chǎng)（conditional random fields，CRF）顯示地捕捉了圖中不同節(jié)點(diǎn)之間的高階結(jié)構(gòu)關(guān)系［10］。

2 基于圖分類的中文長(zhǎng)文本匹配算法

2.1 算法概況

本文提出基于圖分類的中文長(zhǎng)文本匹配算法，即將長(zhǎng)文本匹配任務(wù)等價(jià)地轉(zhuǎn)化為圖分類的任務(wù)，在圖分類任務(wù)的模式下求解問(wèn)題，得到原任務(wù)的結(jié)果。 如圖1 所示，首先將待匹配的一對(duì)長(zhǎng)文本轉(zhuǎn)化為圖的結(jié)構(gòu)，然后通過(guò)圖表示學(xué)習(xí)來(lái)提取節(jié)點(diǎn)的特征，最后通過(guò)融合全圖節(jié)點(diǎn)的表示來(lái)獲得圖的表示，并對(duì)圖的表示進(jìn)行圖分類，獲得的圖分類結(jié)果等價(jià)于長(zhǎng)文本匹配的結(jié)果。

2.2 文本對(duì)的圖結(jié)構(gòu)表示算法

給定一個(gè)文本對(duì)包含文章DA和DB， 對(duì)兩篇文章分別通過(guò)TextRank 算法來(lái)抽取出文章中的命名實(shí)體和關(guān)鍵詞作為圖的頂點(diǎn)并合并，把文章中的所有句子通過(guò)與每個(gè)關(guān)鍵詞計(jì)算TF-IDF 相關(guān)度來(lái)對(duì)其劃分，使得每個(gè)句子都只隸屬于一個(gè)頂點(diǎn)。 這樣每個(gè)頂點(diǎn)均包含了一個(gè)句子子集S（v），其中S（v）＝｛SA（v），SB（v）｝。 得到的文本對(duì)圖結(jié)構(gòu)表示的可視化結(jié)果，如圖2 所示。

圖1 基于圖分類的長(zhǎng)文本匹配算法框架Fig. 1 The pipeline of the proposed document matching algorithm based on graph classification

然后把關(guān)鍵詞所包含的句子集合中的文本內(nèi)容使用深度神經(jīng)網(wǎng)絡(luò)（Deep Neural Network，DNN）和詞項(xiàng)相似度（Term Similarity，TS）兩種編碼模式向量化。 其中DNN 編碼器使用卷積神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)文本進(jìn)行編碼， 即把S（v）＝｛SA（v），SB（v）｝ 的SA（v）、SB（v） 分別輸入到CNN模型中得到向量cA（v）、cB（v）。 對(duì)其計(jì)算逐元素差的絕對(duì)值和逐元素乘，最后把兩個(gè)向量進(jìn)行拼接，即固定長(zhǎng)度的輸出向量mAB（v）；對(duì)于TS編碼器，每個(gè)節(jié)點(diǎn)v用5 種常見(jiàn)的詞項(xiàng)相似度度量方式來(lái)計(jì)算SA（v）和SB（v）的相似度，包括TF-IDF余弦相似度、TF余弦相似度、BM25 余弦相似度、Jaccard相似度和Ochiai相似度。 通過(guò)把5 種相似度向量進(jìn)行拼接，得到針對(duì)每個(gè)節(jié)點(diǎn)的固定長(zhǎng)度向量m′AB（v）。mAB（v） 與m′AB（v） 拼接，得到節(jié)點(diǎn)v的語(yǔ)義向量。

圖2 文本對(duì)圖結(jié)構(gòu)表示的可視化結(jié)果Fig. 2 Visualization of the graph structure of the documents pairs

2.3 基于注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)特征抽取算

近年來(lái)很多圖表示學(xué)習(xí)的工作使用常規(guī)的圖卷積神經(jīng)網(wǎng)絡(luò)，獲得了很好的結(jié)果，但是其在聚合節(jié)點(diǎn)的一階鄰居信息時(shí)，對(duì)于每個(gè)鄰居的信息給予的權(quán)重是相同的，并沒(méi)有考慮該信息的價(jià)值貢獻(xiàn)大小。而在信息聚合時(shí)，對(duì)于不同鄰居的信息根據(jù)其價(jià)值來(lái)給以不同大小的權(quán)重，實(shí)現(xiàn)了選擇性的信息聚合，從而有利于更有效地對(duì)節(jié)點(diǎn)特征進(jìn)行變換。

此外，樸素圖卷積需要在建圖時(shí)完成鄰接矩陣的構(gòu)建，而在實(shí)際應(yīng)用當(dāng)中這一步需要做大量的預(yù)處理計(jì)算，同時(shí)在進(jìn)行圖卷積運(yùn)算時(shí)，將鄰接矩陣加載到內(nèi)存中或者GPU 顯存中時(shí)非常耗時(shí)，不利于算法在工業(yè)界大規(guī)模圖上的實(shí)際應(yīng)用，因此本文使用基于自注意力機(jī)制的圖節(jié)點(diǎn)特征抽取算法（Graph Attention Network，GAT），來(lái)代替樸素圖卷積方法。 這樣可以省略文本建圖時(shí)必須構(gòu)建鄰接矩陣的過(guò)程，同時(shí)在訓(xùn)練測(cè)試加載數(shù)據(jù)時(shí)大大提升處理效率。 基于注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3 所示。 自注意力機(jī)制在計(jì)算相似度得分時(shí)，使用公式（1）計(jì)算：

其中，a和W是訓(xùn)練參數(shù)， ［a‖b］ 代表拼接（concatenate）操作。αij代表節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的相似度，hi代表i節(jié)點(diǎn)的屬性特征。 LeakyReLU 為激活函數(shù)，增強(qiáng)模型的非線性表達(dá)能力。

此外，為了增加模型的容量以及模型訓(xùn)練過(guò)程的穩(wěn)定性， 引入了多頭機(jī)制（ Multi - head mechanism）。 多頭機(jī)制可以將特征向量映射到不同的子空間，通過(guò)聚合多個(gè)子空間的映射結(jié)果，來(lái)得到更好的特征表示。 通過(guò)堆疊多層的GAT 層，可以抽取到更有效的節(jié)點(diǎn)特征表示，在相鄰的GAT 層之間同樣引入非線性激活函數(shù)LeakyReLU 來(lái)增加模型的非線性，使得訓(xùn)練得到的模型更魯棒。

圖3 基于注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)Fig. 3 Self attention based graph neural network model

2.4 基于圖注意力機(jī)制的圖池化算法

學(xué)習(xí)圖數(shù)據(jù)的高層語(yǔ)義表示對(duì)于圖分類任務(wù)十分重要，除了引入圖卷積操作來(lái)對(duì)圖數(shù)據(jù)進(jìn)行處理，類比圖像文本領(lǐng)域常見(jiàn)的池化操作，如何對(duì)圖結(jié)構(gòu)數(shù)據(jù)引入圖池化操作也是一個(gè)很重要的研究方向，目前最普遍的融合算法策略是對(duì)所有節(jié)點(diǎn)的特征向量形成的矩陣在節(jié)點(diǎn)數(shù)量維度上做求和（Sum Pool）或者平均池化（Mean Pool）／最大池化（Max Pool）等操作，從而得到一個(gè)與節(jié)點(diǎn)特征維度相同的向量，并用這個(gè)向量作為全圖的最終表示，送入到圖分類模塊進(jìn)行圖的分類。 但是，這些樸素的融合方式都可能丟失掉重要特征的信息，同時(shí)在融合時(shí)沒(méi)有考慮到圖節(jié)點(diǎn)之間的語(yǔ)義信息交互的關(guān)系，以及完全丟失了圖所具有的拓?fù)浣Y(jié)構(gòu)對(duì)最終圖表示向量的貢獻(xiàn)，因此獲得的全圖表示的可分辨性較弱，在一定程度上限制了圖分類模型性能進(jìn)一步提升的潛力。

本文為了在省略鄰接矩陣的情況下依然能夠得到魯棒的結(jié)果，提出了基于圖注意力機(jī)制的圖池化算法（Graph Attention Pooling， GATPool）來(lái)完成圖節(jié)點(diǎn)的融合過(guò)程，基于圖注意力機(jī)制的圖池化模型算法模型如圖4 所示。算法把輸入的節(jié)點(diǎn)特征矩陣（N個(gè)節(jié)點(diǎn)）通過(guò)一層圖注意力網(wǎng)絡(luò)來(lái)得到一個(gè)N ×N的相似度矩陣（attention matrix） A 來(lái)衡量圖中任意兩個(gè)節(jié)點(diǎn)之間的相似度，如公式（2）所示，同時(shí)相似度矩陣可以作為一種既融合了節(jié)點(diǎn)的特征表示又顯示地建模了圖拓?fù)浣Y(jié)構(gòu)的模塊。 然后使用公式（3）對(duì)相似度矩陣按列進(jìn)行softmax 歸一化后按行求和，公式（4）依據(jù)每個(gè)節(jié)點(diǎn)與其他節(jié)點(diǎn)的交互計(jì)算，得到了每個(gè)節(jié)點(diǎn)在全圖中的重要性得分Z。 通過(guò)選擇值最大的K個(gè)節(jié)點(diǎn)作為圖的代表X′，通過(guò)公式（7）完成節(jié)點(diǎn)的選擇后，通過(guò)平均池化（Mean Pooling）得到全圖的特征表示Xout。

圖4 基于圖注意力機(jī)制的圖池化模型Fig. 4 Graph Attention Pool，GATPool

2.5 多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊

為了充分地挖掘和利用輸入信息，本文提出使用多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊（記為Inception）來(lái)對(duì)每個(gè)節(jié)點(diǎn)所包含的文本信息S進(jìn)行編碼，從而得到節(jié)點(diǎn)的表示向量X， 如公式（8）。 通過(guò)組合三種大小的卷積核形成層次性的模型結(jié)構(gòu)，可以有效地捕獲輸入文本中在不同語(yǔ)義層次和空間的語(yǔ)義表示，通過(guò)最大池化（max pooling）操作對(duì)特征進(jìn)行篩選，最后對(duì)不同卷積核的輸出結(jié)果進(jìn)行拼接（concatenate），得到輸入文本的編碼向量X。

如圖5 所示，本文設(shè)計(jì)的多尺度卷積神經(jīng)網(wǎng)絡(luò)使用了大小分別為1、2、3 三種尺寸的卷積核，最左側(cè)的K ＝1 的卷積核數(shù)量為32，中間和右側(cè)K ＝1 的卷積核數(shù)量為16，K ＝2 和3 的卷積核數(shù)量均為32。尺寸為1 的卷積核主要對(duì)輸入的特征維度進(jìn)行變換，使得模型可以在不降低感受野大小的前提下減少模型的參數(shù)量，降低模型過(guò)擬合的風(fēng)險(xiǎn)。 尺寸為2、3 的卷積核用來(lái)捕獲文本的2-gram、3-gram 特征，通過(guò)這種局部信息和模式的提取，來(lái)增強(qiáng)文本的表示效果。

圖5 多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊Fig. 5 Multi-scale CNN module

2.6 圖分類模塊和損失函數(shù)

文本匹配任務(wù)是一個(gè)二分類任務(wù)，通過(guò)將文本對(duì)表示為圖結(jié)構(gòu)，則將文本匹配任務(wù)等價(jià)轉(zhuǎn)化為圖的二分類任務(wù)。 在融合圖節(jié)點(diǎn)特征得到整個(gè)圖的向量表示后，通過(guò)多層感知機(jī)（Multi-Layer Perceptron，MLP）可以實(shí)現(xiàn)分類過(guò)程。 多層感知器的結(jié)構(gòu)如圖6 所示。

兩層線性層的隱藏單元數(shù)分別為32 和16。 將MLP 的輸出結(jié)果通過(guò)與二分類標(biāo)簽進(jìn)行交叉熵（Cross Entropy）計(jì)算作為損失函數(shù)。

模型網(wǎng)絡(luò)的目標(biāo)函數(shù)使用二元交叉熵?fù)p失函數(shù)（Binary Cross Entropy Loss，記為BCELoss），計(jì)算公式（9）為：

其中，yn是標(biāo)簽值，xn是模型網(wǎng)絡(luò)輸出的值，wn是該類別的權(quán)重值。

圖6 多層感知機(jī)（MLP）結(jié)構(gòu)圖Fig. 6 The scheme of the Multi-layer perceptron（MLP） module

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集介紹

模型分別在CNSE（Chinese News Same Event dataset）和CNSS（Chinese News Same Story dataset）兩個(gè)數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。 數(shù)據(jù)集的劃分比例均保持為訓(xùn)練集：驗(yàn)證集：測(cè)試集＝6 ∶2 ∶2，同時(shí)確保了不同集合之間不存在數(shù)據(jù)泄露，具體劃分詳情如表1 所示。

表1 兩個(gè)數(shù)據(jù)集的劃分詳情Tab. 1 Description of two evaluation datasets

CNSE 數(shù)據(jù)集中的文章來(lái)源于主流中文新聞平臺(tái)上的長(zhǎng)文報(bào)道，包括了開(kāi)放領(lǐng)域豐富多彩的新聞話題。 一共包含29 063 個(gè)新聞文章對(duì)，由人工根據(jù)一對(duì)新聞文章是否報(bào)道同一件新聞事件來(lái)進(jìn)行標(biāo)注。

CNSS 數(shù)據(jù)集中的文章來(lái)源于主流中文新聞平臺(tái)上的長(zhǎng)文報(bào)道，包括了開(kāi)放領(lǐng)域豐富多彩的新聞話題。 一共包含33 503 個(gè)新聞文章對(duì)，由人工根據(jù)一對(duì)新聞文章是否報(bào)道同一系列新聞熱點(diǎn)來(lái)進(jìn)行標(biāo)注。

兩個(gè)數(shù)據(jù)集中的所有文章的平均詞數(shù)是734，最大詞數(shù)是21 791。 同時(shí)在構(gòu)造負(fù)樣本對(duì)時(shí)兼顧了兩篇文章TF-IDF 的相似度高于一定的閾值，增加了負(fù)樣本對(duì)本身的質(zhì)量和模型識(shí)別判斷的難度。

3.2 實(shí)驗(yàn)評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)的評(píng)測(cè)標(biāo)準(zhǔn)采用通用的二分類評(píng)價(jià)標(biāo)準(zhǔn)，分別為準(zhǔn)確率（Accuracy） 和F1 值（F1scores），分別由公式（10） 和（11） 進(jìn)行計(jì)算。

3.3 實(shí)驗(yàn)結(jié)果與分析

由表2 中的實(shí)驗(yàn)結(jié)果可以看出，與先前的7 種有代表性的文本匹配算法相比，本文提出的算法在CNSE和CNSS 兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率和F1 值等各項(xiàng)指標(biāo)均達(dá)到了目前最好的結(jié)果。 充分說(shuō)明本文提出的基于圖分類的中文長(zhǎng)文本匹配算法通過(guò)結(jié)合注意力機(jī)制圖神經(jīng)網(wǎng)絡(luò)、圖注意力池化算法、多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊等模型可以有效地提升文本匹配任務(wù)中的表現(xiàn)。

表2 基于圖分類的中文長(zhǎng)文本匹配結(jié)果Tab. 2 Results on low-level feature enhanced model

表3 中得到了本文提出的模型消融實(shí)驗(yàn)的結(jié)果，可以看出本文提出的算法需要各模塊之間緊密有效的配合，去除其中的某一些模塊會(huì)不可避免的導(dǎo)致模型在CNSE 和CNSS 兩個(gè)數(shù)據(jù)集上的準(zhǔn)確率和F1 值等各項(xiàng)指標(biāo)不同程度的下降。 其中，基于自注意力機(jī)制的圖神經(jīng)網(wǎng)絡(luò)可以有效地對(duì)節(jié)點(diǎn)特征進(jìn)行抽取，基于圖注意力的圖池化算法有利于獲得更具可辨別性的圖全局特征表示，而多尺度卷積神經(jīng)網(wǎng)絡(luò)模塊可以為網(wǎng)絡(luò)模型的輸入提供語(yǔ)義豐富且魯棒的節(jié)點(diǎn)特征表示。

表3 模型消融實(shí)驗(yàn)結(jié)果Tab. 3 Ablation study of the model

4 結(jié)束語(yǔ)

本文針對(duì)中文長(zhǎng)文本匹配任務(wù)提出了基于圖分類框架的長(zhǎng)文本匹配算法，通過(guò)將長(zhǎng)文本匹配任務(wù)等價(jià)的轉(zhuǎn)化為圖分類任務(wù)，使用圖表示學(xué)習(xí)的范式來(lái)求解，從而獲得長(zhǎng)文本匹配的結(jié)果。 同時(shí)，從增強(qiáng)圖節(jié)點(diǎn)特征表示抽取建模，強(qiáng)化圖節(jié)點(diǎn)融合池化過(guò)程，保持圖可辨別性，增強(qiáng)模型網(wǎng)絡(luò)的輸入特征、表示等方面來(lái)提升基于圖表示學(xué)習(xí)模型的文本匹配算法的性能表現(xiàn)。 通過(guò)本文提出的各模塊之間緊密有效地配合，本文提出的中文長(zhǎng)文本匹配算法，在兩個(gè)公開(kāi)數(shù)據(jù)集上進(jìn)行了充分的實(shí)驗(yàn)驗(yàn)證，實(shí)驗(yàn)結(jié)果表明：各項(xiàng)指標(biāo)均達(dá)到了目前最好的結(jié)果，證明了本文方法的有效性和優(yōu)越性。