鄧哲也,張 銘

(北京大學(xué) 信息科學(xué)技術(shù)學(xué)院 計(jì)算機(jī)科學(xué)技術(shù)系,北京 100871)

隨著如今文本數(shù)據(jù)越來(lái)越多,并且可以輕松地通過(guò)互聯(lián)網(wǎng)傳播,當(dāng)人們面對(duì)錯(cuò)綜復(fù)雜的信息時(shí),為了辨別信息的真假,需要對(duì)這些信息進(jìn)行驗(yàn)證,這就體現(xiàn)出了事實(shí)檢測(cè)任務(wù)的重要性.

在自然語(yǔ)言理解和語(yǔ)義表征的研究中,驗(yàn)證一句文本陳述是否基于給定的事實(shí)證據(jù)非常重要,這是自然語(yǔ)言理解中的一個(gè)基礎(chǔ)任務(wù).現(xiàn)有的研究主要局限于處理非結(jié)構(gòu)化證據(jù)的事實(shí)驗(yàn)證,如自然語(yǔ)言的句子、文檔、新聞等,在這一類研究中,細(xì)分下來(lái)有很多不同的任務(wù),如檢查文本關(guān)聯(lián)性[1]、自然語(yǔ)言推理[2]、基于維基百科的事實(shí)驗(yàn)證[3].它們用到的證據(jù)都是純文本信息.而結(jié)構(gòu)化證據(jù)下的驗(yàn)證還有待探索,比如基于表格、圖表、數(shù)據(jù)庫(kù)等形式的事實(shí)驗(yàn)證.在這一類研究中,有基于圖片證據(jù)的數(shù)據(jù)集NLVR[4]/NLVR2[5],還有基于表格證據(jù)的數(shù)據(jù)集TabFact[6].

TabFact 數(shù)據(jù)集是一個(gè)包含1.6 萬(wàn)個(gè)維基百科中的表格作為事實(shí)證據(jù)和11.8 萬(wàn)條人工標(biāo)注的自然語(yǔ)言陳述的事實(shí)驗(yàn)證數(shù)據(jù)集.不僅形式上與純文本數(shù)據(jù)不同,采用的是表格形式的數(shù)據(jù),而且它與一般的事實(shí)驗(yàn)證數(shù)據(jù)集不同的點(diǎn)在于,它要求模型同時(shí)具有語(yǔ)義推理和符號(hào)推理的能力.圖1 就是該數(shù)據(jù)集的一個(gè)實(shí)例.

Fig.1 An instance of the TabFact dataset圖1 TabFact 數(shù)據(jù)集的一個(gè)實(shí)例

TabFact[6]中提出了兩個(gè)基線模型,分別是基于自然語(yǔ)言推理的Table-BERT 和基于搜索和數(shù)據(jù)庫(kù)查詢的LatentProgram 算法.這兩個(gè)做法都沒(méi)有取得非常好的效果,因?yàn)門able-BERT 簡(jiǎn)單地把表格中的內(nèi)容拼接在一起組成了文本,轉(zhuǎn)化為了基于文本的事實(shí)驗(yàn)證問(wèn)題,忽略了表格中行與行、列與列之間的關(guān)系;而LatentProgram 算法是基于人工規(guī)則的搜索,泛化效果并不好.

本文將圍繞TabFact 數(shù)據(jù)集,針對(duì)表格數(shù)據(jù)的特殊的結(jié)構(gòu)特征,設(shè)計(jì)基于表格數(shù)據(jù)的事實(shí)驗(yàn)證模型和算法,完成代碼實(shí)現(xiàn),并在基于表格的事實(shí)檢測(cè)數(shù)據(jù)集上驗(yàn)證了效果.

本文的貢獻(xiàn)可以概括為以下兩點(diǎn):

(1)提出了以表格的行為單位的Row-GVM 模型,利用表格的行特征和圖注意力網(wǎng)絡(luò)對(duì)該任務(wù)建模,準(zhǔn)確率相比基線模型提升了2.62%;

(2)提出了以表格的單元格為單位的Cell-GVM 模型,利用表格的單元格特征和圖卷積網(wǎng)絡(luò)對(duì)該任務(wù)建模,準(zhǔn)確率相比基線模型提升了2.77%.

1 相關(guān)工作

1.1 事實(shí)檢測(cè)任務(wù)數(shù)據(jù)集

FEVER(fact extraction and verification,事實(shí)抽取和檢測(cè))[3]數(shù)據(jù)集是一個(gè)公開(kāi)的事實(shí)檢測(cè)數(shù)據(jù)集,它包含185 445 條陳述,陳述是通過(guò)改編維基百科中的句子生成的.FEVER 數(shù)據(jù)集關(guān)注的是驗(yàn)證文本陳述的真?zhèn)?依據(jù)是維基百科中詞條里出現(xiàn)的文本信息.這與本文關(guān)注的基于表格的事實(shí)驗(yàn)證任務(wù)非常相似.在本文的任務(wù)中,陳述也是文本的形式,但是依據(jù)的形式是維基百科中詞條里出現(xiàn)的表格.

TabFact[6]數(shù)據(jù)集是一種全新的基于表格的事實(shí)驗(yàn)證數(shù)據(jù)集,難點(diǎn)在于需要模型能夠完成語(yǔ)義推理和符號(hào)推理.還有一些其他的基于表格的數(shù)據(jù)集,如基于表格的問(wèn)答數(shù)據(jù)集WikiTableQuestion[7],但本質(zhì)上和TabFact數(shù)據(jù)集有很大的區(qū)別,因?yàn)閃ikiTableQuestion 數(shù)據(jù)集中的問(wèn)題對(duì)答案的類型有強(qiáng)烈的指向性,對(duì)于模型的推理能力要求不高,因此,在這個(gè)數(shù)據(jù)集上的做法很難遷移到TabFact 數(shù)據(jù)集上.

1.2 圖神經(jīng)網(wǎng)絡(luò)

圖神經(jīng)網(wǎng)絡(luò)[8]可以比一般的神經(jīng)網(wǎng)絡(luò)更好地挖掘出用圖表示的數(shù)據(jù).在圖神經(jīng)網(wǎng)絡(luò)中,節(jié)點(diǎn)可以通過(guò)與它相連的邊共享鄰居節(jié)點(diǎn)的信息,學(xué)到更好的表示.最近的一些研究在利用不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)優(yōu)化整張圖中節(jié)點(diǎn)信息的交互.

圖神經(jīng)網(wǎng)絡(luò)在基于文本的事實(shí)檢測(cè)任務(wù)數(shù)據(jù)集FEVER 上有不錯(cuò)的表現(xiàn).GEAR[9]使用了圖注意力網(wǎng)絡(luò)(GAT)[10]來(lái)對(duì)陳述-依據(jù)對(duì)進(jìn)行推理和整合,它把陳述和依據(jù)的文本拼在一起當(dāng)作節(jié)點(diǎn),構(gòu)建了一張完全圖,利用GAT 在圖上傳遞節(jié)點(diǎn)信息.KGAT[11]也采用了GAT,它把依據(jù)的文本當(dāng)作節(jié)點(diǎn),引入了稱為邊核和點(diǎn)核的高斯核池化層,其中,邊核用來(lái)在依據(jù)圖上傳遞信息,點(diǎn)核用來(lái)把所有節(jié)點(diǎn)的信息進(jìn)行合并得到整個(gè)圖的表示.這種方法得到的依據(jù)和陳述的注意力相對(duì)而言更為集中,使得在FEVER 數(shù)據(jù)集上的表現(xiàn)要好過(guò)GEAR.不同于直接把依據(jù)文本傳進(jìn)預(yù)訓(xùn)練語(yǔ)言模型的其他模型,DREAM[12]關(guān)注到了文本中的語(yǔ)義層面的信息,比如人物、地點(diǎn)、時(shí)間等不同實(shí)體之間的關(guān)系,認(rèn)為這類語(yǔ)義信息對(duì)理解依據(jù)中的結(jié)構(gòu)關(guān)系非常重要,于是對(duì)陳述和依據(jù)建出了語(yǔ)義圖,在語(yǔ)義圖上,利用圖卷積網(wǎng)絡(luò)(GCN)[13]進(jìn)行推理,在FEVER 數(shù)據(jù)集上取得了目前最好的結(jié)果.

圖神經(jīng)網(wǎng)絡(luò)在閱讀理解任務(wù)上也有很好的表現(xiàn),比如,Entity-GCN[14]在建圖過(guò)程中,把文本中出現(xiàn)的所有實(shí)體都當(dāng)作了圖中的節(jié)點(diǎn).根據(jù)節(jié)點(diǎn)之間的關(guān)系連接了不同種類的邊,如:不同文檔中描述的同一實(shí)體之間連邊,同一文檔中的所有點(diǎn)互相連邊等.之后,運(yùn)用GCN 對(duì)文本內(nèi)容進(jìn)行多輪推理,取得了目前最好的效果.

1.3 自然語(yǔ)言推理

對(duì)語(yǔ)言的推理建模,是自然語(yǔ)言理解的重要的第1 步.自然語(yǔ)言推理的目標(biāo)是,判斷一個(gè)自然語(yǔ)言假設(shè)可否由一個(gè)自然語(yǔ)言前提推理得到.具體地說(shuō),是判斷假設(shè)和前提的關(guān)系,可以是支持、反駁或中立中的任何一種.

隨著深度學(xué)習(xí)的興起,涌現(xiàn)出了很多解決這類問(wèn)題的模型,如 SNLI[2],Decomposed Model[15],Enhanced-LSTM[16],Multi-NLI[17],BERT[18].本文的任務(wù)雖然也是自然語(yǔ)言推理,但是本文的前提不是完全以文本形式呈現(xiàn)的,而是由文本組成的半結(jié)構(gòu)化的表格形式呈現(xiàn)的,所以該任務(wù)可以看作是半結(jié)構(gòu)化領(lǐng)域的自然語(yǔ)言推理問(wèn)題.

1.4 預(yù)訓(xùn)練語(yǔ)言模型

如今在很多自然語(yǔ)言處理的任務(wù)上,預(yù)訓(xùn)練的語(yǔ)言表示模型,如ELMo[19],OpenAI GPT[20],都被證明是非常高效的.BERT[18]是一種預(yù)訓(xùn)練語(yǔ)言表示的新方法,通過(guò)聯(lián)合調(diào)節(jié)所有層中的雙向Transformer 來(lái)預(yù)訓(xùn)練深度雙向表示.在本文的工作中,使用BERT 來(lái)對(duì)文本信息進(jìn)行編碼.

2 方 法

2.1 任務(wù)定義

在介紹本文的方法之前,首先給這個(gè)基于表格的事實(shí)檢測(cè)任務(wù)進(jìn)行一個(gè)正式的定義.

本文把數(shù)據(jù)集中的每個(gè)實(shí)例表示成(T,C,L),其中:表格T={Ti,j|0≤i≤RT,1≤j≤CT},RT和CT分別為表格的行列數(shù),Ti,j表示第i行第j列的單元格的內(nèi)容;陳述C={c1,c2,…,cn}是一個(gè)n個(gè)單詞組成的基于表格內(nèi)容的陳述;標(biāo)簽L∈{0,1},L=1 表示陳述C被表格T支持,L=0 表示陳述C被表格T反駁.本文的目標(biāo)是給定(T,C),預(yù)測(cè)正確的標(biāo)簽L.

2.2 方 法

本文結(jié)合表格的結(jié)構(gòu)特征,提出了兩種用來(lái)對(duì)基于表格信息的陳述進(jìn)行事實(shí)檢測(cè)的模型,分別是:

(1)Row-GVM:以表格中的每一行為單位的(Row-level)基于圖神經(jīng)網(wǎng)絡(luò)的事實(shí)檢測(cè)模型(GNN-based verification model);

(2)Cell-GVM:以表格中的每一個(gè)單元格為單位的(Cell-level)基于圖神經(jīng)網(wǎng)絡(luò)的事實(shí)檢測(cè)模型.

2.2.1 Row-GVM

如圖2 所示,Row-GVM 模型分為3 個(gè)部分.

(1)信息編碼:對(duì)行信息進(jìn)行編碼,把每一行當(dāng)作圖中的一個(gè)節(jié)點(diǎn);

(2)信息傳遞:建立一個(gè)全連接圖,在圖上利用GAT 的原理進(jìn)行信息傳遞;

(3)整合預(yù)測(cè):整合每個(gè)節(jié)點(diǎn)的表示得到一個(gè)最終表示,進(jìn)行二分類預(yù)測(cè).

Fig.2 A flowchart of Row-GVM圖2 Row-GVM 的流程圖

(1)編碼

為了得到第i行的表示,本文把第i行的信息拼接起來(lái),得到Ti,*.為了在后續(xù)的信息傳遞中更好地捕捉和陳述相關(guān)的信息,本文將第i行的信息Ti,*和陳述C拼接在一起后,通過(guò)BERT 獲得第i個(gè)節(jié)點(diǎn)的表示Ni=BERT(Ti,*,C).Ni∈?F,其中,F是每個(gè)節(jié)點(diǎn)的特征維數(shù).

(2)信息傳遞

在信息傳遞模塊,本文引入了GAT,它是由若干個(gè)圖注意力層堆疊而成的.

在第t層圖注意力層中,輸入是ht?1,輸出是ht.為了更好地捕捉節(jié)點(diǎn)之間的信息,本文先用一個(gè)矩陣Wt∈?F′×?F把ht?1映射到高維空間,再對(duì)每個(gè)節(jié)點(diǎn)計(jì)算自注意力,用映射β∈?F′×?F′→?來(lái)計(jì)算注意力系數(shù)這表示第j個(gè)點(diǎn)對(duì)第i個(gè)點(diǎn)的重要程度.本文希望每個(gè)節(jié)點(diǎn)的信息都可以傳達(dá)到圖中其他的每一個(gè)點(diǎn),所以對(duì)每一對(duì)節(jié)點(diǎn)都要計(jì)算注意力系數(shù).對(duì)于點(diǎn)i,本文要把其他點(diǎn)對(duì)它的重要程度做一個(gè)正則化,這里使用softmax函數(shù):

在本文的實(shí)驗(yàn)中,自注意力模塊β中,和第i個(gè)節(jié)點(diǎn)有關(guān)的重要程度是用一個(gè)權(quán)值向量βi∈?2×F′來(lái)實(shí)現(xiàn)的,并且引入了LeakyReLU(負(fù)數(shù)輸入的斜率為0.1)[21],αij可以重寫為

其中,?T表示轉(zhuǎn)置,||表示向量的連接操作.

最后,根據(jù)計(jì)算出的注意力系數(shù)把其他點(diǎn)的表示整合起來(lái),得到每個(gè)節(jié)點(diǎn)的新的表示,作為第t層的輸出:

(3)預(yù)測(cè)

為了進(jìn)行最后的預(yù)測(cè),本文需要得到一個(gè)整張圖的表示.這里,本文采用求每一維特征的平均值的方法得到最終表示hG,hG∈?F.得到了圖的表示hG后,用一個(gè)一層的全連接網(wǎng)絡(luò)來(lái)獲得最終的預(yù)測(cè)結(jié)果:

其中,WG∈?2×F,bG∈?2×1.本文通過(guò)優(yōu)化參數(shù)θ來(lái)最小化交叉熵?fù)p失L(pθ,L),其中,L是真實(shí)的標(biāo)簽.

2.2.2 Cell-GVM

如圖3 所示,Cell-GVM 模型分為3 個(gè)部分.

(1)信息編碼:對(duì)單元格的信息進(jìn)行編碼,把每個(gè)單元格當(dāng)作圖中的一個(gè)節(jié)點(diǎn);

(2)信息傳遞:同一行之間的點(diǎn)兩兩之間互相連邊(圖3 中的實(shí)線邊),記作ROW 邊;同一列之間的點(diǎn)兩兩之間互相連邊(圖3 中的點(diǎn)線邊),記作COL 邊.在圖上利用GCN 的原理進(jìn)行信息傳遞;

(3)整合預(yù)測(cè):整合每個(gè)節(jié)點(diǎn)的表示得到一個(gè)最終表示,進(jìn)行二分類預(yù)測(cè).

Fig.3 A flowchart of Cell-GVM圖3 Cell-GVM 的流程圖

(1)編碼

為了在后續(xù)的信息傳遞中更好地捕捉和陳述相關(guān)的信息,將第i行第j列的單元格的信息Ti,j和陳述C拼接在一起后,通過(guò)BERT 獲得第i行第j列的節(jié)點(diǎn)的表示Ni,j=BERT(Ti,j,C).這里把陳述C也通過(guò)BERT,得到它的表示NC=BERT(C).Ni,j,NC∈?F,其中,F是每個(gè)節(jié)點(diǎn)的特征維數(shù).

(2)信息傳遞

在信息傳遞模塊,與Row-GVM 不同的是,本文引入了GCN.

本文把RC個(gè)節(jié)點(diǎn)和RC(C?1)/2 條ROW 邊組成的子圖記作GCOW,RC個(gè)節(jié)點(diǎn)和RC(R?1)/2 條COL 邊組成的子圖記作GCOL.

記圖Gr(r∈{ROW,COL})給每個(gè)點(diǎn)加上自環(huán)后的鄰接矩陣為Ar,度數(shù)矩陣為,歸一化后

第t層圖卷積層會(huì)通過(guò)兩類邊整合每個(gè)點(diǎn)的鄰居的信息,得到第t層的輸出:的對(duì)稱鄰接矩陣為

其中,r表示的是邊的種類,是權(quán)值矩陣,σ是激活函數(shù).

(3)預(yù)測(cè)

為了得到圖的表示,先用矩陣WH和WC分別把ht?1和NC映射到高維空間,WH,WC∈?F′×F,然后用映射γ:?F′×?F′→?來(lái)計(jì)算節(jié)點(diǎn)和陳述之間的注意力,然后進(jìn)行歸一化,得到:

在本文的實(shí)驗(yàn)中,映射γ采用的是點(diǎn)積運(yùn)算,所以βi,j可以重寫為

得到了圖的表示hG后,把它和陳述的表示NC拼接在一起,通過(guò)一個(gè)一層的全連接網(wǎng)絡(luò)來(lái)獲得最終的預(yù)測(cè)結(jié)果:

其中,WG∈?2×F,bG∈?2×1,||表示向量的連接操作.

本文通過(guò)優(yōu)化參數(shù)θ來(lái)最小化交叉熵?fù)p失L(pθ,L),其中,L是真實(shí)的標(biāo)簽.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)設(shè)置

3.1.1 數(shù)據(jù)集

本文的實(shí)驗(yàn)全部在TabFact 數(shù)據(jù)集[6]的子集TabFact-small 上進(jìn)行,其中每一條陳述都是針對(duì)某一個(gè)表格的,并且被人工打上了“支持”或者“反駁”的標(biāo)簽.

由于計(jì)算資源的限制,本文從原數(shù)據(jù)集中移除了最大的一些表格,這部分表格占到原數(shù)據(jù)集的8.12%左右.本文對(duì)所有模型做的實(shí)驗(yàn)都是在TabFact-small 數(shù)據(jù)集上進(jìn)行.TabFact-small 數(shù)據(jù)集的信息見(jiàn)表1.

Table 1 Statistics for the TabFact-small dataset表1 TabFact-small 數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)

3.1.2 基線模型

本次實(shí)驗(yàn)中的基線模型一共有3 個(gè).其中,第1 個(gè)模型Bert-Concat 是TabFact 數(shù)據(jù)集[6]中提出的表現(xiàn)最好的模型;后面兩個(gè)模型Row-Mean 和Cell-Atten 是受第1 個(gè)模型的啟發(fā),并結(jié)合本文提出的模型,實(shí)現(xiàn)的兩個(gè)基線模型.

? Bert-Concat[6]

如圖4 右上角圖所示,把每一個(gè)單元格的信息拼起來(lái),然后和陳述C拼接在一起,通過(guò)Bert 和一個(gè)多層感知器fMLP對(duì)結(jié)果進(jìn)行分類,得到一個(gè)預(yù)測(cè)pθ(T,C)=σ(fMLP(BERT(T,C))),其中,σ是sigmoid函數(shù).

Fig.4 Flowcharts of baseline models圖4 基線模型的流程圖

? Row-Mean

如圖4 左下角圖所示,把每行的所有單元格的信息拼起來(lái),一共得到R個(gè)句子.每一行的句子都和陳述C拼接在一起,通過(guò)Bert 后先對(duì)所有表示取平均值,然后用一個(gè)多層感知器fMLP對(duì)結(jié)果進(jìn)行分類,得到一個(gè)預(yù)測(cè):

其中,σ是sigmoid函數(shù).

? Cell-Atten

如圖4 右下角圖所示,對(duì)每一個(gè)單元格都得到一個(gè)句子,一共有RC個(gè)句子.每一個(gè)單元格的句子都和陳述C拼接在一起,通過(guò)Bert 后對(duì)所有表示計(jì)算和它和陳述C之間的注意力,然后用一個(gè)多層感知器fMLP對(duì)結(jié)果進(jìn)行分類,得到一個(gè)預(yù)測(cè):

其中,σ是sigmoid函數(shù).

3.1.3 評(píng)價(jià)標(biāo)準(zhǔn)本文通過(guò)比較模型的預(yù)測(cè)輸出和數(shù)據(jù)集中人工標(biāo)注的真實(shí)標(biāo)簽計(jì)算準(zhǔn)確率來(lái)評(píng)價(jià)模型,即:

其中,K′是測(cè)試集的大小,是模型預(yù)測(cè)的標(biāo)簽,Lk是真實(shí)的標(biāo)簽.

3.2 實(shí)現(xiàn)細(xì)節(jié)

在所有的模型中,本文使用的都是用104 種語(yǔ)言預(yù)訓(xùn)練的12 層、隱藏層維數(shù)768、12 頭的BERT 模型[18].所有的參數(shù)都是默認(rèn)參數(shù).優(yōu)化器是BERTAdam[18],學(xué)習(xí)率是1e?5.對(duì)于Row-GVM,最大序列長(zhǎng)度設(shè)為128,批大小設(shè)為8;對(duì)于Cell-GVM,最大序列長(zhǎng)度設(shè)為64,批大小設(shè)為2.熱身比例是0.4.

4 結(jié)果與分析

4.1 實(shí)驗(yàn)結(jié)果

在表2 中列出了每個(gè)模型在TabFact-small 數(shù)據(jù)集的驗(yàn)證集和測(cè)試集上的表現(xiàn).在這個(gè)表中有如下發(fā)現(xiàn).

(1)Row-Mean 的表現(xiàn)比Bert-Concat 稍好,但是Cell-Atten 的表現(xiàn)沒(méi)有超過(guò)Bert-Concat.這可能是因?yàn)楠?dú)立地檢查單個(gè)單元格很難得出正確的判斷,需要一行或所有單元格聯(lián)合起來(lái)才能提供更有效的信息;

(2)Row-GVM 和Cell-GVM 都顯著地超過(guò)了原文獻(xiàn)的基線模型Bert-Concat,它們?cè)隍?yàn)證集上的提升分別是2.47%和3.08%,在測(cè)試集上的提升分別是2.62%和2.77%.這說(shuō)明利用表格的行與列的相關(guān)性特征可以顯著提高模型的表現(xiàn);

(3)Cell-GVM 在該數(shù)據(jù)集上取得了最好的效果.

Table 2 Main results表2 主要實(shí)驗(yàn)結(jié)果

4.2 消融實(shí)驗(yàn)與分析

4.2.1 Row-GVM 中GAT 模塊的有效性

為了驗(yàn)證Row-GVM 中GAT 的有效性,本文調(diào)整了GAT 的層數(shù),分別設(shè)置成了0 層～3 層,每種情況的實(shí)驗(yàn)結(jié)果都列在表3 中.其中,0 層的GAT 等價(jià)于從Row-GVM 中刪除了GAT 模塊,退化為Row-Mean 模型.

Table 3 Comparison of different layers of GAT with respect to their effectiveness表3 不同的GAT 層數(shù)對(duì)模型效果的影響

本文發(fā)現(xiàn):有GAT 模塊的Row-GVM 的表現(xiàn)始終比刪去GAT 模塊的Row-Mean 要好,表現(xiàn)最好的由3 層GAT 組成的Row-GVM 在結(jié)果上提升了0.80%,證實(shí)了GAT 模塊的有效性,同時(shí)也說(shuō)明了Row-GVM 有能力處理需要多輪推理的事實(shí)檢測(cè)問(wèn)題.

4.2.2 Cell-GVM 中GCN 模塊的有效性

為了驗(yàn)證Cell-GVM 中的有效性,本文調(diào)整了GCN 的層數(shù),分別設(shè)置成了0 層～3 層,每種情況的實(shí)驗(yàn)結(jié)果都列在表4 中.其中,0 層的GCN 等價(jià)于從Cell-GCN 中刪除了GCN 模塊,退化為Cell-Atten 模型.

Table 4 Comparison of different layers of GCN with respect to their effectiveness表4 不同的GCN 層數(shù)對(duì)模型效果的影響

值得注意的是,Cell-Atten 的表現(xiàn)要低于基線模型Bert-Concat.本文分析:這是因?yàn)楸疚膶?duì)所有單元格的內(nèi)容都求出了經(jīng)過(guò)Bert 的向量表示,然后直接對(duì)所有表示進(jìn)行了簡(jiǎn)單融合,因此不能捕捉單元格與單元格之間的聯(lián)系.相比之下,把所有單元格拼成一起經(jīng)過(guò)Bert 得到的表示還是可以捕捉到一部分單元格之間的聯(lián)系,所以Cell-Atten 的表現(xiàn)會(huì)低于Bert-Concat.

本文發(fā)現(xiàn):有GCN 模塊的Cell-GVM 的表現(xiàn)始終比刪去GCN 模塊的Cell-Atten 要好,表現(xiàn)最好的由3 層GCN 組成的Cell-GVM 在結(jié)果上提升了4.32%,證實(shí)了GCN 模塊的有效性,同時(shí)也說(shuō)明了Cell-GVM 有能力處理需要多輪推理的事實(shí)檢測(cè)問(wèn)題.

4.2.3 Cell-GVM 中區(qū)分邊的種類的有效性

為了驗(yàn)證Cell-GVM 中區(qū)分ROW 邊和COL 邊的有效性,本文設(shè)置了一組對(duì)比實(shí)驗(yàn).在這組實(shí)驗(yàn)中,不區(qū)分ROW 邊和COL 邊,建圖時(shí)把這兩類邊標(biāo)記為同一種邊,信息傳遞時(shí),節(jié)點(diǎn)的信息不再通過(guò)兩種邊傳遞,而是只通過(guò)這一種邊傳遞.在該模型的GCN 的第t層中,直接整合第i行第j列的單元格節(jié)點(diǎn)的鄰居的信息:

記該模型為Cell-GVM-SameEdge.

Cell-GVM-SameEdge 和Cell-GVM 的實(shí)驗(yàn)結(jié)果列在表5 中.可以看到:在不區(qū)分邊的情況下,Cell-GVM 的表現(xiàn)下降了0.42%,證實(shí)了區(qū)分邊的種類對(duì)提升實(shí)驗(yàn)效果是有效的.

Table 5 Comparison of different types of edges with respect to their effectiveness表5 邊的種類對(duì)模型效果的影響

本文分析認(rèn)為:3 層GCN 是最有效的,因?yàn)? 層的GCN 可以把一個(gè)單元格(如hi,j)的信息通過(guò)ROW 邊傳到同一行的另一個(gè)單元格(hi,k),再通過(guò)COL 邊傳到同一列的另一個(gè)單元格(hl,k),最后通過(guò)ROW 邊傳到同一行,且和起點(diǎn)單元格的列數(shù)一樣的單元格(hi,j).這樣就可以在3 步之內(nèi)整合另一列的信息傳遞到這一列中其他的節(jié)點(diǎn)上.

5 結(jié) 論

本文針對(duì)基于表格的事實(shí)驗(yàn)證數(shù)據(jù)集TabFact,利用了表格的結(jié)構(gòu)特征,結(jié)合圖注意力網(wǎng)絡(luò)和圖卷積神經(jīng)網(wǎng)絡(luò),分別設(shè)計(jì)了以表格的行為單位的Row-GVM 和以表格的單元格為單位的Cell-GVM,并且都在TabFact-small數(shù)據(jù)集上取得了最好的結(jié)果,比基線模型分別提高了2.62%和2.77%.這兩個(gè)模型通過(guò)實(shí)驗(yàn)被證明都是高效的,這說(shuō)明利用表格的行與列的相關(guān)性特征確實(shí)可以提高模型的表現(xiàn).

從目前的結(jié)果可以看到,預(yù)測(cè)的準(zhǔn)確率還有很大的提升空間.分析了錯(cuò)誤的案例后,發(fā)現(xiàn)本文的模型在捕捉和陳述相關(guān)的行與單元格方面的表現(xiàn)有較好的提升,但是符號(hào)推理方面表現(xiàn)稍有不足.在未來(lái)的研究中,將設(shè)計(jì)更加側(cè)重于符號(hào)推理的模塊,融入到本文的模型中,相信會(huì)有更好的表現(xiàn).