藺奇卡，張玲玲+，劉 均，趙天哲

1.西安交通大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，西安 710049

2.陜西省天地網(wǎng)技術(shù)重點實驗室，西安 710049

近年來，隨著互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，各種在線教育平臺層出不窮，造成了海量教育資源以及教學(xué)數(shù)據(jù)的不斷積累[1]。知識庫（或知識圖譜）以RDF 三元組的形式存儲大量實體及它們之間豐富的語義關(guān)系，這為教育領(lǐng)域的海量信息提供了良好的組織方式，因而受到越來越多的關(guān)注。具體而言，教育知識庫可將分散、無序的教育數(shù)據(jù)聚合為結(jié)構(gòu)化的，易于檢索、修改和保存的知識形式，進(jìn)而降低用戶的使用成本并快速實現(xiàn)認(rèn)知升級[2]。例如清華大學(xué)Yu等人[3]提出了大規(guī)模在線課程（massive open online course，MOOC）知識庫MOOCCube，其包含概念、課程、教師和學(xué)生行為等實體及其交互信息，用以支持多種不同場景的教學(xué)研究需求。Xu 和Guo[4]提出適用于K12教育的知識點知識庫，其中節(jié)點主要包含知識點、學(xué)校和教師等，實驗表明使用該知識庫能有效提升教育資源推薦的準(zhǔn)確性。Lin 等人[5]使用大學(xué)教師在科研和教學(xué)活動中產(chǎn)生的交互數(shù)據(jù)構(gòu)建了大學(xué)教師知識庫，包含教師、研究方向、科研成果和社會兼職等，進(jìn)而為教師評估提供定性和定量的數(shù)據(jù)支持。

同時，教育知識庫的出現(xiàn)為教育領(lǐng)域的智能問答提供了基礎(chǔ)，它能為學(xué)習(xí)者提供良好的交互體驗和精準(zhǔn)智能的答疑輔導(dǎo)服務(wù)，是在線教育領(lǐng)域亟待解決的關(guān)鍵問題之一[2]。目前，對于教育知識庫問答的研究還相對薄弱，不能滿足當(dāng)前教育平臺發(fā)展的需求[6]。相比于開放領(lǐng)域的知識庫問答，教育領(lǐng)域知識庫中包含的關(guān)系較少。例如基于MOOCCube 的MOOC Q&A[3]中僅包含10 種關(guān)系類型，而基于開放知識庫Freebase[7]的WebQuestionsSP[8]數(shù)據(jù)集包含513 種關(guān)系。這種差異導(dǎo)致教育領(lǐng)域的問答模型需要有效獲取實體針對于問句獨特而有價值的表示方式，然而開放域的經(jīng)典問答方法（例如GRAFT-Net[9]、PullNet[10]、MHGRN[11]和EmbedKGQA[12]）在進(jìn)行實體表示時，很少考慮問句的影響。基于此，本文提出基于問句感知圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）的教育知識庫問答方法。針對特定問句，該方法首先將其分解為問句描述信息和查詢實體集，并分別進(jìn)行表示；之后，通過查詢實體集構(gòu)建答案候選子圖，并通過雙注意力圖卷積網(wǎng)絡(luò)進(jìn)行處理，注意力的計算分別來自問句描述信息和查詢實體集；最后，基于這些表示，進(jìn)行候選實體打分并預(yù)測答案。

本文的主要貢獻(xiàn)包括：（1）提出一種基于聯(lián)合嵌入的教育知識庫問答框架，該框架獨立地建模問句中的描述信息和查詢實體以及候選實體子圖，之后融合這些信息并通過前饋神經(jīng)網(wǎng)絡(luò)預(yù)測得分；（2）針對當(dāng)前問答方法在候選實體建模時單一、難以捕獲特定于問句信息的缺陷，提出問句感知的雙注意力圖卷積神經(jīng)網(wǎng)絡(luò)；（3）在現(xiàn)實的教育知識庫問答數(shù)據(jù)集上的實驗結(jié)果表明，本文模型的性能優(yōu)于基準(zhǔn)模型。

1 相關(guān)工作

目前知識庫問答方法主要分為兩類：語義解析方法和聯(lián)合嵌入方法。語義解析方法首先解析自然語言問句，將其轉(zhuǎn)換成邏輯表達(dá)式，并通過匹配知識庫生成查詢語句，最終執(zhí)行查詢得到答案。例如Reddy 等人[13]提出基于語義圖的語義解析方法，該方法分析問句，構(gòu)建由節(jié)點（實體、變量或者類型）、邊（關(guān)系）和操作符構(gòu)成的語義圖，將其視為知識庫的子圖以實現(xiàn)問句映射，然后通過特定的圖匹配方法獲取答案。類似地，Yih 等人[14]通過引入查詢圖提出了基于知識庫的問答語義解析框架，其中語義解析被簡化為查詢圖的分階段搜索生成過程，最終通過查詢圖的實體鏈接和卷積神經(jīng)網(wǎng)絡(luò)預(yù)測答案。整體來說，該類方法雖然取得了一定的效果，且易于理解，但它們通常包含多個模塊及多個步驟，在訓(xùn)練時容易造成誤差積累，導(dǎo)致性能較差。

基于以上缺陷，一些基于聯(lián)合嵌入的問答方法被提出，這類方法使用表示學(xué)習(xí)的思想將問題和候選答案嵌入到統(tǒng)一的向量空間中，之后在該空間中進(jìn)行距離計算以得到答案。例如Dong 等人[15]提出的MCCNNs（multi-column convolutional neural networks）使用多列圖卷積網(wǎng)絡(luò)處理問句得到其表示向量，同時將候選答案的相關(guān)特征（類別、上下文和路徑）映射到對應(yīng)的問句空間中，最后通過向量內(nèi)積計算距離以預(yù)測答案。Sun 等人[10]使用聯(lián)合嵌入的思想將外部文本融入知識庫中以實現(xiàn)更全面的問答。通過迭代地擴充問題子圖（節(jié)點為實體、實體對及文檔），并使用卷積網(wǎng)絡(luò)進(jìn)行聯(lián)合嵌入，模型能夠有效解決多跳知識庫問答問題。Saxena 等人[12]利用知識庫嵌入的思想進(jìn)行實體、關(guān)系及問句的嵌入，其中問句可以理解為知識庫上的單跳或者多跳關(guān)系，進(jìn)而將它們都嵌入在同一向量空間中，最后使同經(jīng)典的知識庫嵌入方法（如ComplEx[16]）進(jìn)行得分計算。

基于聯(lián)合嵌入的方法能夠有效挖掘問句和知識庫的深度特征，進(jìn)而取得良好的預(yù)測性能。但是目前的相關(guān)方法在進(jìn)行實體表示時僅僅利用知識庫中的結(jié)構(gòu)信息，并未考慮問句信息的影響，導(dǎo)致建模不充分?；诖?，本文提出問句感知的圖卷積網(wǎng)絡(luò)進(jìn)行實體建模，在圖卷積的信息傳遞時，模型會綜合考慮問句描述和相關(guān)查詢實體的影響。

2 基于問句感知圖卷積的問答模型

為了讓圖卷積網(wǎng)絡(luò)能夠?qū)W習(xí)到針對問句的特定實體表示，本文引入問句感知的注意力來分別建模問句描述信息和相應(yīng)查詢實體，整體模型架構(gòu)如圖1所示。形式化地，針對待回答的問題q，其蘊含待查詢實體集合EH，例如圖1 問句所對應(yīng)的查詢實體集合包含[李華]和[張濤]。使用該集合為種子列表，從知識庫中獲取h階鄰近子圖Gq，其節(jié)點集合為Eq，h的取值需保證問題q對應(yīng)的答案集合ET是Eq的子集。為了解決該類教育知識庫問答問題，本文采用問題建模、子圖建模和答案預(yù)測三階段的計算方式。本章將從以下三方面進(jìn)行詳細(xì)介紹：基于Transformer和知識庫嵌入的問句建模、基于問句感知圖卷積的子圖建模和答案預(yù)測與損失函數(shù)。

Fig.1 Overall architecture of proposed model圖1 模型框架示意圖

2.1 基于Transformer 和知識庫嵌入的問句建模

本文采用將問句描述與其待查詢實體分離的處理方式進(jìn)行問句建模。具體地，問句描述能夠捕獲與實體無關(guān)的、更本質(zhì)的意圖，而待查詢實體能夠根據(jù)原知識庫的結(jié)構(gòu)信息進(jìn)行建模，兩者在預(yù)測答案時采用信息融合中“l(fā)ate-fusion”的策略，實現(xiàn)完備的語義補充。針對問句，本文首先將其中的實體轉(zhuǎn)換為特殊符號“ENT”，之后使用中文分詞工具“結(jié)巴”進(jìn)行分詞處理，得到問句的序列化表示形式q=[w1,w2,…,wn-1,wn]，其中n表示句子長度，wi表示第i個詞。之后使用帶有多頭注意力的Transformer[17]進(jìn)行建模，計算得到問句表示eq：

為了有效獲取待查詢實體在原知識庫中的結(jié)構(gòu)信息，模型使用知識庫嵌入技術(shù)進(jìn)行初始化向量表示，得到實體表示矩陣E（其中Ei表示實體i的嵌入向量）。本文默認(rèn)采用DistMult[18]方法進(jìn)行嵌入，嵌入方法對模型結(jié)果的影響見3.4.3 小節(jié)?；诖?，查詢實體集合EH的表示eH可以通過實體嵌入向量均值的方式析出：

2.2 基于問句感知圖卷積的子圖建模

圖卷積神經(jīng)網(wǎng)絡(luò)[19]由于其強大的圖結(jié)構(gòu)建模能力而逐漸引起廣泛關(guān)注，它一般遵循迭代消息傳遞的模式來捕獲節(jié)點鄰域的結(jié)構(gòu)化信息，其第k+1 層的表示通常基于第k層的表示進(jìn)行圖卷積操作（消息傳遞機制）得到：

FF 表示前饋神經(jīng)網(wǎng)絡(luò)層，符號“;”表示向量之間的拼接操作。通過式（6）和（7）的計算，圖卷積在信息傳遞時會綜合考慮問句描述信息和相應(yīng)的查詢實體，因此與問句相關(guān)的信息會被增強而無關(guān)的信息會被削弱，進(jìn)而模型能夠更好地建模實體表示并預(yù)測答案。在圖卷積網(wǎng)絡(luò)的最后一層，記錄子圖Gq中的節(jié)點表示用于最終答案預(yù)測。

2.3 答案預(yù)測與損失函數(shù)

基于前文中對問句和查詢子圖的建模，本文將問句表示、查詢實體表示和候選節(jié)點的表示進(jìn)行拼接，并使用前饋神經(jīng)網(wǎng)絡(luò)與sigmoid 函數(shù)計算得分：

在答案預(yù)測時，根據(jù)以上計算選擇子圖中得分最高的實體作為答案。模型最后通過二分類交叉熵定義模型的整體損失函數(shù)：

3 實驗結(jié)果和分析

3.1 實驗數(shù)據(jù)集

實驗數(shù)據(jù)集使用清華大學(xué)構(gòu)建的大規(guī)模在線教育知識庫MOOCCube[3]，并使用其中的MOOC Q&A數(shù)據(jù)集進(jìn)行教育知識庫的問答實驗。該知識庫包含706 門真實在線課程、700 個概念和4 723 個用戶等7類實體，以及概念-領(lǐng)域、課程-視頻和概念先后修順序等10 類關(guān)系，總共構(gòu)成52 195 個三元組。知識庫詳細(xì)統(tǒng)計信息如表1 所示。MOOC Q&A 中包含兩類問題：單跳（one-hop）和多跳（multi-hop）。單跳問題只涉及知識庫中的一個頭實體和一個關(guān)系，而多跳問題可能包含多個實體，且要回答這類問題需要對知識庫中的多個事實進(jìn)行推理。單跳和多跳問題的數(shù)量分別為5 504、13 637，在進(jìn)行實驗時，它們都按照80%、10%和10%的比例進(jìn)行訓(xùn)練集、驗證集和測試集的劃分。

Table 1 Statistics of entities and relations in knowledge base of MOOC Q&A表1 MOOC Q&A 知識庫中實體和關(guān)系的統(tǒng)計

3.2 實驗參數(shù)設(shè)置

在進(jìn)行實驗時，本文使用“結(jié)巴”分詞工具進(jìn)行問句的分詞處理，并使用DistMult方法進(jìn)行知識庫中實體的嵌入，默認(rèn)嵌入維度為200。針對單跳和多跳問題，鄰近子圖Gq抽取時階數(shù)h分別設(shè)置為1 和2，類似地，圖卷積網(wǎng)絡(luò)的層數(shù)也相應(yīng)設(shè)置為1 和2。詞語嵌入維度、Transformer 隱藏層維度和圖卷積網(wǎng)絡(luò)的維度都被默認(rèn)設(shè)置為200，且每個前饋網(wǎng)絡(luò)層都采用ReLU 函數(shù)激活，并增加丟棄率為0.1 的Dropout 層以增強模型的泛化性能。在進(jìn)行訓(xùn)練時，本文使用學(xué)習(xí)率為0.002 的Adam 算法[20]進(jìn)行優(yōu)化，并將最大迭代次數(shù)設(shè)置為30。

3.3 對比模型與評價指標(biāo)

為了驗證本文模型的有效性，實驗對比了當(dāng)前最優(yōu)模型EmbedKGQA[12]。該模型將問句視為知識庫中關(guān)系的單跳或多跳推理過程，進(jìn)而將知識庫問答問題類比為鏈接預(yù)測任務(wù)，并通過鏈接預(yù)測的得分函數(shù)計算候選實體的得分。實驗中分別使用TransE[21]、DistMult[18]、ComplEx[16]和RotatE[22]作為得分函數(shù)進(jìn)行答案預(yù)測。

本文選取預(yù)測準(zhǔn)確率（accuracy，ACC）和平均倒數(shù)排名（mean reciprocal rank，MRR）作為性能評價指標(biāo)。準(zhǔn)確率ACC 衡量預(yù)測得分最高的實體是否出現(xiàn)在實際答案列表中，MRR 表示答案集中的實體在預(yù)測列表中平均倒數(shù)排名，它們的計算方式如下：

其中，M表示問句數(shù)量；ET為問題q的實際答案集合；p為模型預(yù)測得分最高的實體；函數(shù)I表示元素是否在集合中，其值域為{0,1}；ri表示實體i在預(yù)測答案列表中的排名。

3.4 實驗結(jié)果與分析

3.4.1 實驗結(jié)果對比

本文模型與EmbedKGQA 方法在MOOC Q&A數(shù)據(jù)集上的性能對比如表2 所示。整體上，可以看出提出的模型在單跳和多跳問答的指標(biāo)上都取得了優(yōu)秀的性能。除了多跳的MRR 略小于（0.009）得分函數(shù)為ComplEx 的EmbedKGQA，其他指標(biāo)都優(yōu)于對比模型，其中相比使用TransE 的提升最大，4 個指標(biāo)分別提升了0.129、0.120、0.241 和0.210。類似地，對比使用ComplEx 的最優(yōu)EmbedKGQA，單跳的ACC、MRR 和多跳的ACC 也分別取得了0.011、0.008 和0.004 的提升。這顯示出本文模型的有效性。

Table 2 Comparison of experimental performance表2 實驗性能對比

3.4.2 消融實驗

為了驗證本文提出的問句感知的雙注意力機制對于答案預(yù)測的真實作用，本文開展了注意力消融實驗。實驗結(jié)果如表3 所示，表中“注意力1”和“注意力2”分別指式（6）、（7）計算的關(guān)于問句描述信息和相應(yīng)查詢實體的注意力。由表3 可知，消融某個或全部注意力得分都會降低實驗性能，說明每個注意力對于實驗性能的提升都具有積極作用。同時注意力2 的影響略高于注意力1，這從側(cè)面說明在進(jìn)行圖卷積的候選答案建模時，模型會更注重考慮其與查詢實體之間的關(guān)聯(lián)。

Table 3 Results of ablation experiments表3 消融實驗結(jié)果

3.4.3 特征初始化的影響

為了探究知識庫中實體的初始嵌入矩陣對于問答性能的影響，本文使用不同的初始化嵌入方法進(jìn)行實驗。圖2 展示了使用TransE、DistMult、ComplEx和RotatE 時模型的性能對比。由此可知，初始化嵌入方法對模型整體的影響較小，模型在每種嵌入方法上都能取得良好的性能。

Fig.2 Impact of initialization embedding method on Q&A performance圖2 初始化嵌入方法對問答性能的影響

3.4.4 特征維度的影響

為了探究嵌入維度對實驗性能的影響，本文在區(qū)間[100,500]上以100 為步長進(jìn)行了分組實驗。在實驗時，詞語嵌入維度、Transformer 隱藏層維度和圖卷積網(wǎng)絡(luò)的維度都被統(tǒng)一設(shè)置，實驗結(jié)果如圖3 所示?？梢钥闯觯?dāng)嵌入維度小于200 時，嵌入維度的增加會略微提升模型性能；當(dāng)維度大于200 時，其對于模型的影響較小，模型的性能趨于穩(wěn)定。

Fig.3 Impact of embedding dimension on performance圖3 嵌入維度對性能的影響

4 結(jié)束語

由于開放領(lǐng)域的知識庫與教育領(lǐng)域存在差異，且相關(guān)方法都相對獨立地進(jìn)行候選實體建模，缺乏與問句的交互，基于此本文提出了基于問句感知圖卷積網(wǎng)絡(luò)，分別使用問句中的相關(guān)描述信息和查詢實體集計算圖卷積信息傳遞時的注意力得分，進(jìn)而能夠?qū)W習(xí)到特定于問句的實體表示。實驗結(jié)果表明了該方法的有效性，且消融實驗證明了提出的兩個注意力對于預(yù)測性能都具有積極作用。

本文在進(jìn)行問句建模時，使用了簡單的Transformer 進(jìn)行處理，且并未考慮候選答案實體對其表示的影響。在以后的工作中，將考慮使用大規(guī)模預(yù)訓(xùn)練語言模型進(jìn)行更高效的問句建模，并考慮多種信息（如查詢實體和候選答案實體）之間的有效融合方式。