摘 要：基于背景對(duì)話的關(guān)鍵問(wèn)題之一是知識(shí)抽取，但由于有些會(huì)話的信息量不足，特別是在一些對(duì)話信息較少的情況下，選擇恰當(dāng)?shù)闹R(shí)變得尤為困難，且目前的生成方式缺乏動(dòng)態(tài)選取背景知識(shí)的能力。針對(duì)這些問(wèn)題，提出了KIF模型，引入知識(shí)增強(qiáng)庫(kù)和知識(shí)向量并提出知識(shí)追蹤模塊和知識(shí)情感反饋模塊去解決上述問(wèn)題。該模型通過(guò)雙重匹配矩陣的方式獲得外部知識(shí)與背景知識(shí)的權(quán)重向量并進(jìn)行知識(shí)選擇，在每個(gè)解碼步長(zhǎng)內(nèi)會(huì)根據(jù)歷史會(huì)話和外部知識(shí)進(jìn)行會(huì)話生成。最后，在Holl-E和WoW數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明KIF模型相比于之前的模型有明顯的性能提升。

關(guān)鍵詞：背景知識(shí)；對(duì)話系統(tǒng)；自然語(yǔ)言處理

中圖分類(lèi)號(hào)：TP183 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1001-3695（2024）10-016-2993-07

doi：10.19734/j.issn.1001-3695.2024.03.0048

Integration of background knowledge and common sense perception for dialogue generation

Wang Hongsong，Ye Haoxian，Li Jiazhan

（School of Software，South China Normal University，F(xiàn)oshan Guangdong 528225，China）

Abstract：One of the key issues in background-based conversation is knowledge extraction.However，due to the insufficient information in some conversations，especially when there is less information in certain dialogues，choosing the appropriate knowledge becomes particularly challenging.Furthermore，the current generation methods lack the capability to dynamically select background knowledge.To address these issues，this paper proposed the KIF model，which incorporated a knowledge enhancement library and knowledge vectors and introduced a knowledge tracking module and a knowledge sentiment feedback module to solve the aforementioned problems.The model obtained weight vectors of external knowledge and background know-ledge through a dual matching matrix method and performs knowledge selection.For each decoding step，the model generated conversation based on historical dialogues and external knowledge.Finally，experiments on the Holl-E and WoW datasets show that the KIF model significantly outperforms previous models.

Key words：background based;dialogue systems;natural language processing

0 引言

對(duì)話系統(tǒng)是目前NLP研究的熱門(mén)之一。研究［1］表明，在2021年底已有80%的企業(yè)配備聊天機(jī)器人（對(duì)話系統(tǒng)），并且市場(chǎng)規(guī)模將在2024年發(fā)展到94億美元。文本生成任務(wù)的一個(gè)基本定義是根據(jù)給定的序列生成一個(gè)預(yù)期的輸出序列，稱(chēng)為序列到序列的任務(wù)。得益于深度學(xué)習(xí)的發(fā)展，人們提出了各種可用于對(duì)話系統(tǒng)的深度學(xué)習(xí)網(wǎng)絡(luò)如遞歸神經(jīng)網(wǎng)絡(luò)（RNN）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）和Transformer等。雖然已經(jīng)有許多模型都已經(jīng)有不錯(cuò)的性能，但由于傳統(tǒng)的序列到序列模型中輸入文本本身包含的知識(shí)量較少，所以傳統(tǒng)的模型不能很好地理解話語(yǔ)，生成的響應(yīng)也趨向于一般性的回復(fù)，例如新提出的序列到序列模型［2］能夠動(dòng)態(tài)地捕捉局部上下文的范圍，可以更好地提取語(yǔ)義信息，但由于缺乏外部知識(shí)，只能生成“我不知道”等無(wú)意義的回復(fù)。為了解決這種問(wèn)題，一些引入外部知識(shí)的模型就應(yīng)運(yùn)而生，同時(shí)也有研究證明了引入外部知識(shí)能夠增強(qiáng)性能。

基于背景知識(shí)的對(duì)話研究任務(wù)是：根據(jù)給定一些背景知識(shí)（非結(jié)構(gòu)化的知識(shí)）和一段對(duì)話，生成合理且含有信息性的響應(yīng)。因此，知識(shí)選擇是基于背景知識(shí)的對(duì)話中最關(guān)鍵的一個(gè)模塊，它需要根據(jù)會(huì)話從背景知識(shí)中找出合適的知識(shí)，這直接影響著生成響應(yīng)的質(zhì)量。根據(jù)現(xiàn)有的研究，基于背景對(duì)話按照生成方式大致可分為基于提取的方式和基于生成的方式兩種?；谔崛〉姆椒ㄗ钤缭跈C(jī)器閱讀理解研究中提出，它通過(guò)預(yù)測(cè)開(kāi)始和結(jié)束兩個(gè)指針，然后根據(jù)位置提取背景知識(shí)并作為回復(fù)。這種方法能夠很好地利用背景知識(shí)，例如BiDAF［3］、R-Net［4］等，但是卻不適用于會(huì)話之中，因?yàn)閰^(qū)別于閱讀理解，會(huì)話是沒(méi)有正確答案的，通過(guò)這種方式生成的回復(fù)是不自然的?；谏傻姆绞绞歉鶕?jù)上一步的解碼狀態(tài)來(lái)生成當(dāng)前的令牌，即回復(fù)的生成有先后順序，是一個(gè)接一個(gè)令牌的生成。這種生成方式的優(yōu)點(diǎn)是能夠生成自然流暢的響應(yīng)，但由于其生成只與上一個(gè)解碼狀態(tài)有關(guān)，缺乏知識(shí)選擇的能力，所以不能及時(shí)地找到合適的知識(shí)背景。以GTTP［5］為例，如圖1中橫坐標(biāo)表示詞序列的位置，（a）的縱坐標(biāo)表示正確的知識(shí)選擇概率，（b）的縱坐標(biāo)表示解碼時(shí)間步長(zhǎng)。圖1中（a）表示正確的知識(shí)在背景中的位置，（b）表示GTTP選擇背景知識(shí)的概率，其中藍(lán)色的點(diǎn)表示在解碼過(guò)程中使用到的背景知識(shí)，紅框表示選擇知識(shí)的范圍。從圖1中可以看出，傳統(tǒng)的生成模型無(wú)法選擇合適的知識(shí)背景進(jìn)行回答。因此目前需要提出一種新的機(jī)制將高效的知識(shí)選擇與生成方式結(jié)合在一起。

基于背景對(duì)話研究是一種外部知識(shí)增強(qiáng)研究，與傳統(tǒng)非知識(shí)增強(qiáng)方法相比，基于背景對(duì)話的優(yōu)勢(shì)就是采用了非結(jié)構(gòu)化的外部知識(shí)。最近的研究表明，單一知識(shí)來(lái)源的覆蓋度是不夠的，多個(gè)研究結(jié)果表明，使用更多的知識(shí)來(lái)源能夠提高知識(shí)增強(qiáng)對(duì)話模型的性能［6］。人類(lèi)對(duì)話中的一個(gè)重要特征就是語(yǔ)言帶有情感，這種情感也可以認(rèn)為是外部知識(shí)的一種，使用適當(dāng)?shù)耐獠恐R(shí)增強(qiáng)能夠使模型生成的回應(yīng)隱含情感，就能夠生成更加合適流暢的回應(yīng)。對(duì)此，根據(jù)先前的研究，本文根據(jù)當(dāng)前對(duì)話中包含的實(shí)體，從外部知識(shí)庫(kù)中找到相關(guān)的知識(shí)和概念，通過(guò)引入帶有情感的外部知識(shí)，不僅能夠豐富對(duì)話的信息量，提升模型性能，還能使回復(fù)更加符合實(shí)際。

綜上所述，本文提出一個(gè)知識(shí)融合及反饋的對(duì)話模型（knowledge integration and feedback，KIF）來(lái)解決上述問(wèn)題。該模型通過(guò)引入常識(shí)知識(shí)庫(kù)ConceptNet［7］和情緒情感詞典N(xiāo)RC_VAD［8］結(jié)合最新一輪對(duì)話，使得語(yǔ)句中蘊(yùn)涵情感知識(shí)。為了充分地利用到所有的信息（會(huì)話歷史、背景知識(shí)、外部知識(shí)），本文提出了雙重匹配的方式將信息融合在一起進(jìn)行知識(shí)選擇，搭配知識(shí)追蹤模塊提升知識(shí)選擇的性能。在進(jìn)行知識(shí)選擇的時(shí)候，該模型會(huì)分別對(duì)會(huì)話歷史和背景知識(shí)進(jìn)行編碼，然后使用雙重匹配得到會(huì)話歷史、背景知識(shí)、情感之間的相關(guān)性權(quán)重，并經(jīng)過(guò)知識(shí)選擇后得到知識(shí)主題轉(zhuǎn)換向量，在生成回復(fù)的時(shí)候應(yīng)用到知識(shí)情感反饋模塊生成富有信息性、流暢的回復(fù)。

本文模型在Holl-E［9］和WoW［10］數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)分析。實(shí)驗(yàn)結(jié)果表明，KIF在機(jī)器評(píng)估方面優(yōu)于基線模型，知識(shí)選擇的性能更強(qiáng)，能夠生成更加合適的響應(yīng)。此外本文還抽樣進(jìn)行案例分析，表明KIF能夠生成自然流暢的響應(yīng)。

本文的貢獻(xiàn)總結(jié)如下：a）提出一個(gè)知識(shí)融合及反饋的對(duì)話模型（KIF），引入非結(jié)構(gòu)化的背景知識(shí)，結(jié)合ConceptNet和NRC_VAD引入外部結(jié)構(gòu)化知識(shí)，通過(guò)雙重匹配矩陣對(duì)兩種不同結(jié)構(gòu)的知識(shí)進(jìn)行知識(shí)融合；提出了知識(shí)追蹤模塊，通過(guò)KL散度拉近回復(fù)-背景與會(huì)話-背景之間的分布，明確了回復(fù)與知識(shí)之間的關(guān)系，提高知識(shí)選擇的性能。b）在生成框架上提出了知識(shí)情感反饋模塊，能在每一個(gè)解碼時(shí)間步中動(dòng)態(tài)調(diào)節(jié)知識(shí)選擇，優(yōu)化了響應(yīng)的生成。

1 相關(guān)研究

1.1 開(kāi)放域?qū)υ?/p>

在開(kāi)放域?qū)υ捴?，基于序列到序列的模型廣泛應(yīng)用于各個(gè)研究領(lǐng)域。隨著深度學(xué)習(xí)的發(fā)展，有許多學(xué)者將深度學(xué)習(xí)與對(duì)話系統(tǒng)聯(lián)系起來(lái)［11］。例如Huang等人［12］提出了增強(qiáng)型多域狀態(tài)發(fā)生器去改進(jìn)對(duì)話狀態(tài)跟蹤模塊，提升了模型在小數(shù)據(jù)集中的性能；Ma等人［13］將RNN作為對(duì)話表示模型的一部分，提出了PR嵌入，捕獲兩個(gè)詞之間的關(guān)系。在Transformer出現(xiàn)之前，大多數(shù)的研究都是將循環(huán)神經(jīng)網(wǎng)絡(luò)與注意力的機(jī)制結(jié)合在一起，使用循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于它的序列長(zhǎng)度是靈活的，但缺點(diǎn)是不能夠并行訓(xùn)練。直到2017年提出了Transformer，學(xué)者開(kāi)始利用自注意力機(jī)制對(duì)全局進(jìn)行編碼，還有研究［14］利用這種特性提高對(duì)話系統(tǒng)的性能，例如使用堆疊的Transoformer用于各種類(lèi)型的對(duì)話系統(tǒng)，并引入了潛變量改進(jìn)生成模塊。Li等人［15］提出了使用動(dòng)態(tài)對(duì)話流的機(jī)制提高性能。

雖然上述模型都取得了不錯(cuò)的成果，但由于缺乏外部信息，導(dǎo)致可能生成通用無(wú)意義的響應(yīng)，所以，很多學(xué)者都引入外部知識(shí)來(lái)解決這一問(wèn)題。

1.2 引入外部知識(shí)的對(duì)話系統(tǒng)

有研究表明，引入知識(shí)庫(kù)及知識(shí)圖譜能夠提升聊天的深度和廣度，在回復(fù)用戶(hù)的時(shí)候外部知識(shí)是一個(gè)重要的知識(shí)來(lái)源［16］。引入文本外部知識(shí)有很多種方法，大致可以分為引入知識(shí)圖譜和引入非結(jié)構(gòu)化的知識(shí)。Lin等人［17］結(jié)合復(fù)制與檢索的方法進(jìn)行回復(fù)生成，其中檢索則是基于知識(shí)圖譜的相關(guān)知識(shí)檢索，最后綜合計(jì)算生成流暢回復(fù)。Ren等人［18］針對(duì)一些基于背景的對(duì)話模型存在缺乏全局視角的問(wèn)題，為了提高知識(shí)選擇的正確率，提出了全局視角進(jìn)行知識(shí)選擇（GLKS）。通過(guò)給定一個(gè)對(duì)話上下文和背景知識(shí)，GLKS會(huì)學(xué)習(xí)到將背景的主題用于每個(gè)編碼時(shí)間段去指引本地的知識(shí)選擇。這種方法雖然能夠?qū)Σ煌黝}和背景知識(shí)進(jìn)行識(shí)別，但是它缺乏跟蹤機(jī)制，因此Chen等人［19］提出了響應(yīng)感知反饋機(jī)制（RFM），他提出的響應(yīng)感知反饋權(quán)向量通過(guò)修正背景知識(shí)生成更自然和適當(dāng)?shù)捻憫?yīng)。雖然RFM在響應(yīng)生成過(guò)程中對(duì)所選的背景知識(shí)進(jìn)行修正，但這也可能同時(shí)產(chǎn)生一些不相一致的響應(yīng)。基于知識(shí)庫(kù)的基礎(chǔ)對(duì)話確保了知識(shí)的豐富性和有效性，Zhan等人［20］發(fā)現(xiàn)以前的基于知識(shí)的研究缺乏對(duì)知識(shí)選擇和對(duì)話的細(xì)粒度控制，最終導(dǎo)致生成與知識(shí)無(wú)關(guān)的問(wèn)題。Prabhumoye等人［21］提出基于文檔的生成任務(wù)是使用文檔中提供的信息來(lái)改進(jìn)文本生成，研究的重點(diǎn)是在預(yù)訓(xùn)練模型的基礎(chǔ)上構(gòu)建文檔的上下文驅(qū)動(dòng)表示，并使人們對(duì)文檔中的信息有特定的關(guān)注。Lin等人［22］提出了一種基于生成對(duì)話網(wǎng)絡(luò)（GCN）的元學(xué)習(xí)方法，以生成基于非結(jié)構(gòu)化文本知識(shí)的會(huì)話數(shù)據(jù)，這種方式能夠只使用少量的數(shù)據(jù)集就可以生成高質(zhì)量的數(shù)據(jù)，并應(yīng)用于知識(shí)選擇的實(shí)驗(yàn)。

提升知識(shí)選擇的性能目前仍是熱點(diǎn)之一。Yang等人［23］設(shè)計(jì)了主題轉(zhuǎn)移感知知識(shí)選擇器，在檢測(cè)到對(duì)話知識(shí)主題變化后，會(huì)選擇自動(dòng)合適的知識(shí)片段。Ma等人［24］提出了全局和局部的交互匹配模型，利用詞-句的方式進(jìn)行知識(shí)匹配。Sun等人［25］表明了端到端的方式能夠明確知識(shí)片段之間的交互，提出了能夠通過(guò)上下文生成知識(shí)的模型。Qian等人［26］考慮到了情感知識(shí)，設(shè)計(jì)了一個(gè)模仿人類(lèi)的兩階段對(duì)話模型，有效利用了情感知識(shí)并減少了模型對(duì)情感語(yǔ)料庫(kù)的需求。同時(shí)有學(xué)者也針對(duì)知識(shí)選擇訓(xùn)練的方式進(jìn)行改進(jìn)。Zheng等人［27］提出了知識(shí)項(xiàng)權(quán)重模型，可以看作是知識(shí)選擇后的一項(xiàng)優(yōu)化工作，在訓(xùn)練時(shí)側(cè)重于相關(guān)的術(shù)語(yǔ)。Zhao等人［28］發(fā)現(xiàn)了現(xiàn)有的生成范式會(huì)限制知識(shí)選擇以及生成的多樣性，并提出了使用對(duì)抗性網(wǎng)絡(luò)進(jìn)行訓(xùn)練。Xu等人［29］也設(shè)計(jì)了序列后驗(yàn)證的推理模型，能夠通過(guò)后驗(yàn)分布抽樣選擇知識(shí)和生成對(duì)話。Wilie等人［30］提出了一個(gè)生成評(píng)分框架，可以直接使用在各種模型上而不需要對(duì)數(shù)據(jù)重新處理或?qū)δＰ驼{(diào)優(yōu)。使用GPT類(lèi)作為生成模型也是一種方式［31］，Deng等人［32］對(duì)部分語(yǔ)言模型進(jìn)行了總結(jié)。

從目前引入外部知識(shí)對(duì)話系統(tǒng)的研究現(xiàn)狀來(lái)看，在引入外部知識(shí)的角度來(lái)說(shuō)，一般只會(huì)單獨(dú)引入結(jié)構(gòu)化或非結(jié)構(gòu)化的知識(shí)，在進(jìn)行知識(shí)選擇的過(guò)程中也忽略了回復(fù)與所選知識(shí)的關(guān)系。在生成的過(guò)程中分為基于抽取式和基于生成式兩種方式，這兩種方式各有優(yōu)劣，基于抽取式的方式能夠更好地從背景中提取知識(shí)，基于生成式的方式能夠生成自然流暢的語(yǔ)句。同時(shí)，大部分的模型缺乏在生成過(guò)程中動(dòng)態(tài)調(diào)整所選知識(shí)的能力。因此，本文提出了雙重匹配矩陣進(jìn)行知識(shí)融合，使用知識(shí)追蹤模塊學(xué)習(xí)回復(fù)與所選知識(shí)之間的關(guān)系，同時(shí)結(jié)合抽取式和生成式的方式進(jìn)行回復(fù)生成，在生成過(guò)程中通過(guò)知識(shí)情感反饋矩陣動(dòng)態(tài)調(diào)整知識(shí)選擇。

2 模型方法

本文模型在基于背景知識(shí)的前提下，結(jié)合外部知識(shí)去提高知識(shí)選擇的合理性，并生成符合邏輯的回應(yīng)。形式上本文先給出符號(hào)定義。給定一個(gè)會(huì)話C={c1，c2，c3，c4，…，c|C|}，其中cn代表第n個(gè)單詞，類(lèi)似地，對(duì)于非結(jié)構(gòu)化的背景知識(shí)有K={k1，k2，k3，k4，…，k|K|}，其中kn代表了第n個(gè)單詞。本模型會(huì)根據(jù)會(huì)話和背景知識(shí)生成回應(yīng)R={r1，r2，r3，r4，…，r|R|}，rn代表了第n個(gè)單詞。本章將介紹本文模型整體的模型框架，如圖2所示。它主要包括四個(gè)大模塊。

a）背景上下文編碼器。使用兩個(gè)獨(dú)立的編碼器，對(duì)給定的歷史會(huì)話和背景知識(shí)進(jìn)行編碼，然后進(jìn)行聚合操作得到歷史會(huì)話和背景知識(shí)的潛在表示HC和HK。

b）情感背景圖和圖編碼器。使用ConceptNet和NRC_VAD這兩個(gè)情感增強(qiáng)庫(kù)與會(huì)話歷史C構(gòu)成情感背景圖G，然后放入到圖編碼器中得到圖特征表示HG。

c）知識(shí)選擇模塊。使用雙重匹配矩陣對(duì)歷史會(huì)話HC、圖特征表示HG與背景知識(shí)的潛在表示HK進(jìn)行匹配操作，然后進(jìn)行知識(shí)選擇得到知識(shí)主題轉(zhuǎn)換向量HsGC→k。

d）響應(yīng)解碼器。將知識(shí)主題轉(zhuǎn)換向量HsGC→k和圖特征表示HG拼接在一起得到情感主題指導(dǎo)向量HgGCK，該模塊會(huì)根據(jù)此向量進(jìn)行詞匯生成。

總流程可以概括為，將歷史會(huì)話C和背景知識(shí)K放入背景上下文編碼器中，將會(huì)話歷史結(jié)合知識(shí)庫(kù)經(jīng)過(guò)圖編碼層得到特征表示，然后經(jīng)過(guò)知識(shí)選擇模塊選擇出合適的知識(shí)，用于指引響應(yīng)解碼器生成最終的回復(fù)。

2.1 背景上下文編碼器

本模型使用兩個(gè)獨(dú)立的雙向GRU分別對(duì)會(huì)話歷史C和背景知識(shí)K進(jìn)行編碼得到hC={hc1，hc2，hc3，hc4，…，hc|C|}和hK={hk1，hk2，hk3，hk4，…，hk|K|}。其中hct如式（1）所示。

hct=BIGRUc（e（ct），hct-1）（1）

式（1）中兩個(gè)GRU的參數(shù)是不共享的；t代表第t個(gè)令牌，且hK也是用相似的方式得到。

接下來(lái)分別對(duì)這兩個(gè)向量進(jìn)行高速轉(zhuǎn)換，并與雙向GRU的每一層輸出進(jìn)行聚合操作，得到歷史會(huì)話和背景知識(shí)的潛在表示HC和HK用于接下來(lái)的匹配操作。其中Hkt如式（2）所示。

Hkt=gk（Wl［hkt，hx|x|］+b）+（1-gk）tanh（Wnl［hkt，hx|x|］+b）（2）

其中：gk=σ（Wl［hkt，hx|x|］+b）；Wl、Wnl、Wg都是可學(xué)習(xí)的參數(shù)；σ是激活函數(shù)。

2.2 情感背景圖和圖編碼器

該模塊使用ConceptNet和NRC_VAD結(jié)合對(duì)話C去構(gòu)造情感圖G。受Li等人［33］啟發(fā)，結(jié)合對(duì)話C的每個(gè)非停用詞和ConceptNet里面的關(guān)鍵詞構(gòu)造出一系列的候選元組Ti={tki=（ci，rki，xki，ski）}k=1，2，3，…，K，然后根據(jù)以下規(guī)則篩選候選元組：a）只保留置信度得分大于0.1的元組（ski>0.1）；b）使用NRC_VAD計(jì)算情感強(qiáng)度值（μ（xki）），并選出最高分的k個(gè)元組。根據(jù)候選元組和對(duì)話進(jìn)行構(gòu)圖，有以下規(guī)則：a）相鄰的兩個(gè)單詞會(huì)按順序指向下一個(gè)單詞；b）選出來(lái)的候選情感詞會(huì)指向它的關(guān)鍵詞（ci）。對(duì)于圖編碼器，首先需要將情感圖G的每個(gè)頂點(diǎn)像Transformer模型一樣使用位置嵌入層和詞嵌入層去進(jìn)行轉(zhuǎn)換，另外還需要使用頂點(diǎn)狀態(tài)嵌入，因此整個(gè)頂點(diǎn)的向量表示由三個(gè)嵌入組成，如式（3）所示。

vi=Ew（vi）+Ep（vi）+Ev（vi）（3）

接著進(jìn)入到多頭圖注意力機(jī)制得到每個(gè)頂點(diǎn)的深層表示，如式（4）（5）所示。

i=vi+‖Hn=1∑j∈AianijWnvvj（4）

anij=an（vi，vj）（5）

其中：H代表了多頭的數(shù)目；Ai是G的鄰接矩陣；an就是每個(gè)頭的自注意力模塊。為了獲得全局的上下文表示，在經(jīng)過(guò)了多頭的圖注意力層后，本模型使用Transformer的編碼層進(jìn)行全局建模，得到情感上下文圖表示hg={vi}，計(jì)算公式為

hlg=LayerNorm（l-1i+MHA（l-1i））（6）

li=LayerNorm（hlg+FNN（hlg））（7）

其中：l代表了編碼層數(shù)的第l層；MHA代表了多頭注意力模塊；FNN表示以ReLU作為激活函數(shù)的兩層前饋網(wǎng)絡(luò)。

2.3 知識(shí)選擇模塊

這個(gè)模塊使用到雙重匹配矩陣，第一個(gè)匹配矩陣Mkc的構(gòu)造需要用到2.1節(jié)得出的歷史會(huì)話和背景知識(shí)的潛在表示HC和HK，如式（8）所示。

Mkc［i，j］=VMtanh（Wm1Hki+Wm2Hcj）（8）

其中：VM是可學(xué)習(xí)的向量；Wm1和Wm2是可學(xué)習(xí)的參數(shù)。為了能讓情感圖特征與背景特征作匹配，本模塊首先使用一個(gè)多層感知機(jī)（MLP）對(duì)3.2節(jié)中的情感上下文圖表示hg進(jìn)行變換，得到HG，如式（9）所示。

HG=MLP（hg）（9）

使用類(lèi)似的方法可以得到第二個(gè)匹配矩陣Mkg，計(jì)算為

Mkg［i，j］=VMgtanh（Wmg1Hki+Wmg2Hgj）（10）

接著沿X軸方向?qū)ι鲜鰞蓚€(gè)矩陣使用最大池化層獲得兩個(gè)感知背景權(quán)重的特征表示，特征里的每個(gè)元素代表了與背景相關(guān)性的權(quán)重，權(quán)重越大代表了相關(guān)性越大，如下：

WC→K=maxX（Mkc）（11）

WG→K=maxX（Mkg）（12）

最后將這兩個(gè)感知背景權(quán)重特征表示合在一起得到情感上下文背景感知權(quán)重向量WCG→K。雖然這個(gè)向量能夠捕捉到上下文、情感圖和背景之間的關(guān)系，但是它只考慮了單詞方向上的關(guān)系分布，缺少全局視角，不能正確地得出知識(shí)選擇的概率分布。因此，該模塊采用滑動(dòng)窗口的思想進(jìn)行全局知識(shí)選擇。本文使用以大小為m的窗口對(duì)權(quán)重向量進(jìn)行展開(kāi)求和計(jì)算，以大小為m的窗口對(duì)向量進(jìn)行展開(kāi)做注意力的操作。前者是為了獲取全局的語(yǔ)義信息，后者是為了得到全局的注意力權(quán)重。

接著對(duì)WCG→K以大小為m的窗口對(duì)向量進(jìn)行展開(kāi)求和計(jì)算，得到滑動(dòng)語(yǔ)義表示W(wǎng)′CG→K，如式（13）所示。

W′CG→K=（［W′CG→K］0：m，…，［W′CG→K］N：N+m，…）（13）

其中的每個(gè)窗口都使用求和的操作，即如式（14）所示。

［W′CG→K］N：N+m=∑N+mi=NWCG→K［i］（14）

對(duì)于第二個(gè)操作也采取同樣的思想，對(duì)最后一層的背景知識(shí)表征hk使用窗口注意力操作得到全局的注意力H′K，計(jì)算為

H′K=（［h′K］0：m，…，［h′K］N：N+m，…）（15）

［h′K］N：N+m=∑N+mi=Naihki（16）

ai=att（hc|C|，［hkm…h(huán)kN+m］）（17）

其中：ai代表了會(huì)話與背景知識(shí)的注意力權(quán)重。使用這兩個(gè)操作可以得到全局信息，再結(jié)合背景知識(shí)K生成知識(shí)主題轉(zhuǎn)換向量HsGC→k，如式（18）和（19）所示。

HsGC→k=∑NP（KN：KN+m|C）［h′K］N：N+m（18）

P（KN：KN+m|C）∝softmax（［W′CG→K］N：N+m）（19）

2.4 知識(shí)追蹤模塊

在以往的研究中，模型的訓(xùn)練方式都會(huì)選擇最大似然估計(jì)損失去優(yōu)化知識(shí)選擇，這種方式就會(huì)導(dǎo)致模型只從生成的角度上訓(xùn)練，缺乏生成的多樣性，同時(shí)也沒(méi)有明確跟蹤回復(fù)中使用了什么知識(shí)。為了讓知識(shí)選擇模塊能夠捕捉到回復(fù)與背景知識(shí)之間的內(nèi)在關(guān)系，本文提出了知識(shí)追蹤模塊。該模塊主要由先驗(yàn)知識(shí)追蹤和后驗(yàn)知識(shí)驗(yàn)證組成，先驗(yàn)知識(shí)是指根據(jù)當(dāng)前會(huì)話和背景知識(shí)所選擇的知識(shí)概率分布，后驗(yàn)知識(shí)是指在原來(lái)的基礎(chǔ)上在加入正確的回復(fù)所得到的知識(shí)概率分布。首先將當(dāng)前會(huì)話和背景知識(shí)輸入先驗(yàn)網(wǎng)絡(luò)中得到先驗(yàn)知識(shí)概率分布：

Ppri（Kt-1）=softmax（QpriKTpri）（20）

Qpri=mlp（Hct-1）（21）

Kpri=mlp（Hkt-1）（22）

其中：Ppri（Kt-1）代表先驗(yàn)知識(shí)概率分布；mlp（X）=WX+b表示多層感知機(jī)。接著將加入回復(fù)與會(huì)話連接在一起，根據(jù)2.3節(jié)的步驟輸入到知識(shí)選擇模塊上獲取到知識(shí)向量WrCG→K。將獲得的知識(shí)選擇向量輸入到后驗(yàn)網(wǎng)絡(luò)中獲得后驗(yàn)知識(shí)分布：

Ppos（Kt-1）=softmax（QposKTpos）（23）

其中：Ppos（Kt-1）代表后驗(yàn)知識(shí)概率分布。最后使用KL散度的方式縮小先驗(yàn)知識(shí)和后驗(yàn)知識(shí)的分布差距：

Lkl（θ）=1|M|∑|M|m=1Dkl（Ppri|Ppos）（24）

2.5 響應(yīng)解碼器

響應(yīng)解碼器模塊結(jié)合了生成機(jī)制和復(fù)制機(jī)制。在每一個(gè)解碼時(shí)間軸t中，先根據(jù)式（18）中知識(shí)主題轉(zhuǎn)換向量HsGC→k與式（9）中的HG進(jìn)行拼接，得到情感主題指導(dǎo)向量HgGCK。再根據(jù)該情感主題指導(dǎo)向量，得到從詞匯表里生成的概率和直接從背景中截取的概率，并通過(guò)一種門(mén)機(jī)制最終決定如何生成。響應(yīng)解碼器如圖3所示。具體過(guò)程如下：

首先將上一個(gè)時(shí)間步生成的解碼狀態(tài)碼與HsGC→k、HG連接起來(lái)，如式（25）所示。

HgGCKt=［HsGC→k，HG，e（rt-1）］（25）

其中：e（rt-1）代表了上一個(gè)時(shí)間步生成出來(lái)的向量。

然后使用注意力模塊將知識(shí)情感主題向量與背景知識(shí)K做一個(gè)注意力操作，會(huì)得到背景指導(dǎo)向量Kt。類(lèi)似地使用注意力模塊與會(huì)話歷史C做一個(gè)注意力操作，得到會(huì)話指導(dǎo)向量Ct，如式（26）（27）所示。

Kt=∑|K|i=1aKihKi（26）

aKi=attention（HgGCKt，hK）（27）

接著對(duì)得到的兩個(gè)指導(dǎo)向量與知識(shí)情感主題向量連接起來(lái)并使用一個(gè)readout層得到一個(gè)整體的特征向量rt。

rt=readout（HgGCKt，Kt，Ct）（28）

將特征向量rt放入線性層中再經(jīng)過(guò)一個(gè)softmax層得到從詞匯表中生成單詞的概率Pv（rt），如式（29）所示。

Pv（rt）=softmax（Wvrt）（29）

對(duì)于直接從背景知識(shí)中截取復(fù)制的概率Pk（rt），該模塊對(duì)背景知識(shí)使用一個(gè)注意力模塊學(xué)習(xí)截取的開(kāi)始位置指針和結(jié)束位置指針，如式（30）所示。

Pk（rt）=attention（HgGCKt，hK）（30）

最終結(jié)合兩個(gè)概率Pv（rt）和Pk（rt），通過(guò)以下結(jié)合方式得到最終的生成概率P（rt），如式（31）所示。

P（rt）=gPv（rt）+（1-g）Pk（rt）（31）

2.6 知識(shí)情感反饋模塊

為了能更準(zhǔn)確地進(jìn)行知識(shí)選擇，知識(shí)情感反饋模塊在每一個(gè)解碼時(shí)間步長(zhǎng)中會(huì)根據(jù)之前生成的令牌與背景知識(shí)向量和情感知識(shí)向量相結(jié)合，后續(xù)會(huì)根據(jù)反饋模塊得出來(lái)的權(quán)重向量進(jìn)行生成。

首先使用GRU對(duì)回復(fù)進(jìn)行編碼，得到前一個(gè)時(shí)間步長(zhǎng)的特征性向量hrt：

hrt=BIGRUc（e（ct），hrt-1）（32）

其中：hr0由一個(gè)線性層初始化。

接著將hrt與情感上下文背景感知權(quán)重向量WCG→K相乘得到反饋知識(shí)權(quán)重矩陣Mrk：

Mrk=WTCG→Khrt-1（33）

這個(gè)特征矩陣可以評(píng)估背景知識(shí)和生成回復(fù)之間的相關(guān)程度。為了能夠利用到會(huì)話中暗藏的情感知識(shí)，將反饋知識(shí)權(quán)重矩陣與會(huì)話情感向量vi相乘得到富有額外信息的反饋知識(shí)權(quán)重向量：

Frk=MrkVTi（34）

最后在解碼過(guò)程中會(huì)根據(jù)反饋知識(shí)權(quán)重向量與整體的特征向量rt相結(jié)合，得到反饋修正后向量進(jìn)行回復(fù)生成。

2.7 訓(xùn)練方法

基于背景知識(shí)的對(duì)話任務(wù)就是根據(jù)指定的背景知識(shí)生成內(nèi)容更豐富的回復(fù)，因此本文的訓(xùn)練目標(biāo)就是最大化生成響應(yīng)R的概率，本文使用到三種目標(biāo)函數(shù)：最大似然估計(jì)損失（Lmle（θ））、遠(yuǎn)程監(jiān)督損失（Lds（θ））、最大因果熵?fù)p失（Lα（θ）），最終的目標(biāo)函數(shù)是這三個(gè)損失函數(shù)的線性組合，如式（35）所示。

L（θ）=Lmle（θ）+Lds（θ）+Lα（θ）（35）

其中：θ是本文模型KIF所有參數(shù)的組成，所有的參數(shù)都能夠通過(guò)反向傳播進(jìn)行學(xué)習(xí)。最大似然估計(jì)損失是用來(lái)最大化最終生成概率的一個(gè)損失，定義如式（36）所示。

Lmle（θ）=-1|M|∑|M|m=1∑|R|t=1log P（rt|HgGCK）（36）

其中：M為訓(xùn)練樣本的個(gè)數(shù)；R是生成回應(yīng)的長(zhǎng)度。從上述公式可以發(fā)現(xiàn)，最大似然估計(jì)是從詞級(jí)的角度進(jìn)行訓(xùn)練，它缺乏全局視角。因此，需要對(duì)知識(shí)選擇模塊中的全局操作設(shè)立遠(yuǎn)程監(jiān)督損失函數(shù)，利用2.3節(jié)得出的滑動(dòng)語(yǔ)義表示W(wǎng)′CG→K和H′K，得到P（H′K）的概率分布如式（37）所示。

P（H′K）=softmax（W′CG→K）（37）

同時(shí)通過(guò)數(shù)據(jù)集中正確的知識(shí)選擇標(biāo)簽T來(lái)最大化與背景知識(shí)的表征hK之間的關(guān)系，定義Q（H′K）表示真實(shí)標(biāo)簽T與hK的相似性，如式（38）所示。

Q（H′K）=softmax（（Jaccard（hK，T））（38）

其中：Jaccard代表了雅卡爾相似度。本文使用KL散度的方式縮小兩個(gè)概率分布的距離，得到遠(yuǎn)程監(jiān)督損失Lds（θ）。

Lds（θ）=1|M|∑|M|m=1Dkl（P（H′K）|Q（H′K））（39）

由于在計(jì)算Q（H′K）的時(shí)候使用到雅卡爾相似度，這是一種基于距離的計(jì)算方式，所以最后需要引入最大因果熵?fù)p失（Lα（θ））去減少噪聲，如式（40）所示。

Lα（θ）=1|M|∑|M|m=1∑|R|t=0∑w∫VP（rt=w）log P（rt=w）（40）

其中：V表示詞匯表中單詞的集合。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集

為了能夠更好地體現(xiàn)模型的性能，本文選擇Holl-E和維基百科向?qū)В╓oW）這兩個(gè)數(shù)據(jù)集進(jìn)行比較實(shí)驗(yàn)。數(shù)據(jù)集的樣本數(shù)目如表1所示。

Holl-E是一個(gè)帶有正確標(biāo)簽的數(shù)據(jù)集，它含有背景知識(shí)和正確的知識(shí)選擇標(biāo)簽。該數(shù)據(jù)集重點(diǎn)關(guān)注電影部分，里面是兩個(gè)人在對(duì)電影情節(jié)進(jìn)行對(duì)話，每個(gè)回應(yīng)都會(huì)是更改或者復(fù)制背景知識(shí)進(jìn)行回復(fù)。背景知識(shí)由四個(gè)部分組成：電影情節(jié)、評(píng)論、專(zhuān)業(yè)點(diǎn)評(píng)和與電影相關(guān)的一些事實(shí)表。本文的實(shí)驗(yàn)采用Holl-E的oracle background（背景長(zhǎng)度256），根據(jù)它原始的分割方法對(duì)數(shù)據(jù)集分割成三份，訓(xùn)練集含有34 486個(gè)樣本，驗(yàn)證集含有4 388個(gè)樣本，測(cè)試集含有4 318個(gè)樣本。

維基百科向?qū)В╓oW）數(shù)據(jù)集中對(duì)話的二人分別扮演老師和學(xué)生，學(xué)生根據(jù)給定的主題向老師提問(wèn)，老師的回答是從維基百科上選擇一些含有知識(shí)的句子或生成進(jìn)行回復(fù)，其中學(xué)生是不能夠獲取知識(shí)的，因此，每個(gè)輪次中都會(huì)用到背景知識(shí)。WoW數(shù)據(jù)集中，訓(xùn)練集包含了18 340輪對(duì)話，驗(yàn)證集包含1 948輪對(duì)話，測(cè)試集（看不見(jiàn)）包含930輪對(duì)話，測(cè)試集（看不見(jiàn)）包含913輪對(duì)話。測(cè)試集（看不見(jiàn)）是從未出現(xiàn)在訓(xùn)練集或者驗(yàn)證集中的對(duì)話輪次。

3.2 基線模型

a）使用GPT生成系列模型：KnowledGPT［34］、KnowExpert［35］、MSDP［36］、MixCL［37］、MIKe［38］。

b）使用正確的背景知識(shí)進(jìn)行生成的模型：GTTP［5］、BiDAF［3］、Cake［39］、RefNet［40］、GLKS［18］、CET2［41］、RFM［19］、KWD［42］和KCTS［42］。

3.3 評(píng)估方法

在機(jī)器評(píng)估指標(biāo)上，本文使用F1、ROUGE-L、BLEU2、BLEU4、MT評(píng)估指標(biāo)作為對(duì)比，其中F1是計(jì)算生成的文本和真實(shí)文本之間的單值F1；MT（meteor）擴(kuò)展了BLEU有關(guān)“共現(xiàn)”的概念。由于生成響應(yīng)具有多樣性，本文最后根據(jù)案例分析對(duì)此進(jìn)行說(shuō)明。

3.4 實(shí)驗(yàn)設(shè)置

為了讓本節(jié)模型能與基線的模型進(jìn)行公平的比較，采用與它們相同的超參數(shù)進(jìn)行實(shí)驗(yàn)。單詞嵌入大小設(shè)為300，隱藏層大小設(shè)為256，詞匯的數(shù)量限制在26 000左右，會(huì)話歷史的長(zhǎng)度限制在65以?xún)?nèi)，背景知識(shí)的長(zhǎng)度限制在256。優(yōu)化器使用的是Adam，批處理大小設(shè)為32。整個(gè)模型訓(xùn)練的輪次為20次，在評(píng)估階段采取最高分?jǐn)?shù)進(jìn)行比較。

3.5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果如表2、3所示。

在表2中，KIF在Holl-E上的各項(xiàng)指標(biāo)都優(yōu)于基線模型，R1、R2、RL比之前最好的模型分別提高了1.7%、1.3%和2.1%。與BiDAF（基于提取式生成方法）相比，得益于結(jié)合抽取式和生成式的方法，KIF生成的響應(yīng)更加合理和自然，同時(shí)能夠很好地利用背景知識(shí)。RefNet使用到了跨度注釋?zhuān)鳮IF不需要用到額外的標(biāo)注信息并且能更好地定位到正確的背景知識(shí)位置，這是因?yàn)楸疚脑谏傻倪^(guò)程中使用了指導(dǎo)向量并學(xué)習(xí)兩個(gè)指針去定位背景知識(shí)。同時(shí)KIF要優(yōu)于所有基線模型，這說(shuō)明KIF融合結(jié)構(gòu)化知識(shí)的方式更加合理化，使用雙重匹配矩陣融合結(jié)構(gòu)化知識(shí)和非結(jié)構(gòu)化知識(shí)提升知識(shí)信息量，能夠顯著地增加知識(shí)選擇的性能，也不會(huì)生成空洞的回復(fù)。

在表3中，KIF在所有評(píng)估指標(biāo)上都優(yōu)于基線模型，特別是在F1和MT指標(biāo)上，在看不見(jiàn)的測(cè)試集中達(dá)到33.2和31.7，比第二好的分?jǐn)?shù)提升了約8%和9.7%。與利用GPT進(jìn)行生成的模型相比，KIF都有顯著的提升，這得益于引入了段落背景知識(shí)和常識(shí)知識(shí)增加了會(huì)話的知識(shí)量，同時(shí)使用了知識(shí)追蹤模塊讓模型能夠識(shí)別到回復(fù)與背景知識(shí)的關(guān)系，提升了模型知識(shí)選擇的性能。相較于使用預(yù)訓(xùn)練語(yǔ)言模型生成的方式，引入外部知識(shí)且使用知識(shí)情感反饋模塊能夠解決回復(fù)空洞問(wèn)題。與MIKe的混合知識(shí)選擇相比，KIF的知識(shí)情感反饋模塊能夠更靈活地及時(shí)調(diào)整背景知識(shí)的選擇。與加入短文檔作為背景知識(shí)的模型相比，KIF在所有指標(biāo)上都優(yōu)于基線模型，這證明了KIF能夠提升知識(shí)選擇的性能，并生成更加合適的反應(yīng)。與RFM相比，本文模型增加了會(huì)話中額外的情感知識(shí)，并且因?yàn)橹R(shí)追蹤模塊在知識(shí)選擇方面有更好的性能。同時(shí)KIF在看不到的數(shù)據(jù)集中表現(xiàn)也是相當(dāng)優(yōu)異，能夠與在看得見(jiàn)的數(shù)據(jù)集上表現(xiàn)相差無(wú)幾，這也證明了KIF促進(jìn)了知識(shí)選擇的性能，從而使模型擁有更好的普適性。

3.6 消融實(shí)驗(yàn)

消融實(shí)驗(yàn)部分將在WoW數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。本節(jié)將從以下三個(gè)方面進(jìn)行分析：沒(méi)有知識(shí)情感反饋和知識(shí)追蹤模塊（w/o KEF and KT）、沒(méi)有知識(shí)情感反饋（w/o KEF）、沒(méi)有知識(shí)追蹤（w/o KT）。實(shí)驗(yàn)結(jié)果如表4所示，知識(shí)情感反饋和知識(shí)追蹤模塊都對(duì)最終的分?jǐn)?shù)有一定程度的影響，刪除任何一個(gè)都會(huì)降低性能。其次單獨(dú)去除知識(shí)追蹤（w/o KT）直接進(jìn)行知識(shí)選擇的話，性能的下降最為明顯，這證明了知識(shí)追蹤模塊能夠捕捉到回應(yīng)與背景知識(shí)之間的聯(lián)系，因此相關(guān)性更高，蘊(yùn)涵準(zhǔn)確的知識(shí)量也更多，提升了模型性能。其次為了驗(yàn)證知識(shí)情感反饋模塊的有效性，在生成過(guò)程中去掉知識(shí)情感反饋模塊（w/o KEF），結(jié)果證明，加入知識(shí)情感反饋能夠提升生成模塊的性能，在每個(gè)解碼時(shí)間步長(zhǎng)中充分利用到外部知識(shí)，在生成回應(yīng)的時(shí)候提升知識(shí)的利用率，也使回復(fù)更加合理正當(dāng)。

3.7 案例分析

本節(jié)的案例是從WoW上隨機(jī)抽取一個(gè)樣例進(jìn)行分析。為了驗(yàn)證KIF能夠生成更加流暢合理的結(jié)果，本節(jié)將與RFM以及數(shù)據(jù)集中的正確回答進(jìn)行對(duì)比分析。圖4中雙下畫(huà)線的部分是從背景知識(shí)中提取出的正確答案，斜體是模型生成的部分。以圖4為例，與RFM相比，KIF的雙下畫(huà)線部分會(huì)更加完整，表示能夠從背景中獲得更多更正確的背景知識(shí)；與正確回答相比，KIF的斜體部分會(huì)更加自然，并且會(huì)進(jìn)行符合邏輯的擴(kuò)充。案例分析說(shuō)明了KIF的知識(shí)選擇能力相較于RFM有很大的提升，而且得益于知識(shí)結(jié)合的方式和知識(shí)情感反饋模塊，KIF能夠生成更自然合理的結(jié)果。

4 結(jié)束語(yǔ)

本文使用了常識(shí)知識(shí)庫(kù)和情緒詞典讓對(duì)話具有額外的知識(shí)，提出了雙重匹配矩陣將背景知識(shí)與情感向量結(jié)合起來(lái)，設(shè)計(jì)知識(shí)追蹤模塊，增加知識(shí)選擇的性能。在生成方面設(shè)計(jì)了知識(shí)情感感知模塊，提升了知識(shí)的利用率以及響應(yīng)生成的自然性。KIF在Holl-E和WoW數(shù)據(jù)集上都優(yōu)于基線模型，證明了模型的有效性，同時(shí)通過(guò)案例分析能得出，生成的響應(yīng)是自然且符合邏輯。本文使用的模型以及詞向量維度相對(duì)大模型來(lái)說(shuō)都是較小的。目前是大模型的時(shí)代，下一步的重點(diǎn)工作是融合大模型，提升模型性能。

參考文獻(xiàn)：

［1］Abro W A，Aicher A，Rach N，et al.Natural language understanding for argumentative dialogue systems in the opinion building domain［J］.Knowledge-Based Systems，2022，242：108318.

［2］Xu Mayi，Zeng Biqing，Yang Heng，et al.Combining dynamic local context focus and dependency cluster attention for aspect-level sentiment classification［J］.Neurocomputing，2022，478：49-69.

［3］Seo M，Kembhavi A，F(xiàn)arhadi A，et al.Bidirectional attention flow for machine comprehension［C］//Proc of International Conference on Learning Representations.2016.

［4］Wang Wenhui，Yang Nan，Wei Furu，et al.Gated self-matching networks for reading comprehension and question answering［C］//Proc of the 55th Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers）.2017：189-198.

［5］See A，Liu P J，Manning C D.Get to the point：summarization with pointer-generator networks［C］//Proc of the 55th Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers）.2017：1073-1083.

［6］趙夢(mèng)媛，黃曉雯，?；w，等.對(duì)話推薦算法研究綜述［J］.軟件學(xué)報(bào)，2022，33（12）：4616-4643.（Zhao Mengyuan，Huang Xiaowen，Sang Jitao，et al.A survey of conversational recommendation algorithms［J］.Journal of Software，2022，33（12）：4616-4643.）

［7］Speer R，Chin J，Havasi C C.5.5：an open multilingual graph of general knowledge［C］//Proc of the 31st AAAI Conference on Artificial Intelligence.2016：4444-4451.

［8］Mohammad S.Obtaining reliable human ratings of valence，arousal，and dominance for 20 000 English words［C］//Proc of the 56th Annual Meeting of the Association for Computational Linguistics（Volume 1：Long Papers）.2018：174-184.

［9］Moghe N，Arora S，Banerjee S，et al.Towards exploiting background knowledge for building conversation systems［C］//Proc of Conference on Empirical Methods in Natural Language Processing. 2018：2322-2332.

［10］Dinan E，Roller S，Shuster K，et al.Wizard of Wikipedia：knowledge-powered conversational agents［C］//Proc of International Conference on Learning Representations.2018.

［11］曹亞如，張麗萍，趙樂(lè)樂(lè).多輪任務(wù)型對(duì)話系統(tǒng)研究進(jìn)展［J］.計(jì)算機(jī)應(yīng)用研究，2022，39（2）：331-341.（Cao Yaru，Zhang Liping，Zhao Lele.Research progress on multi-turn task-oriented dialogue systems［J］.Application Research of Computers，2022，39（2）：331-341.）

［12］Huang Yi，F(xiàn)eng Junlan，Hu Min，et al.Meta-reinforced multi-domain state generator for dialogue systems［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：7109-7118.

［13］Ma Wentao，Cui Yiming，Liu Ting，et al.Conversational word embedding for retrieval-based dialog system［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.2020：1375-1380.

［14］Xu Fuyong，Xu Guangtao，Wang Yuanying，et al.Diverse dialogue generation by fusing mutual persona-aware and self-transferrer［J］.Applied Intelligence，2022，52（5）：4744-4757.

［15］Li Zekang，Zhang Jinchao，F(xiàn)ei Zhengcong，et al.Conversations are not flat：modeling the dynamic information flow across dialogue utterances［C］//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing（Volume 1：Long Papers）.2021：128-138.

［16］許璧麒，馬志強(qiáng)，周鈺童，等.知識(shí)驅(qū)動(dòng)的對(duì)話生成模型研究綜述［J］.計(jì)算機(jī)科學(xué)與探索，2024，18（1）：58-74.（Xu Biqi，Ma Zhiqiang，Zhou Yutong，et al.A survey of knowledge-driven dialogue generation models［J］.Journal of Computer Science and Exploration，2024，18（1）：58-74.）

［17］Lin S C，Yang J H，Nogueira R，et al.Multi-stage conversational passage retrieval：an approach to fusing term importance estimation and neural query rewriting［J］.ACM Trans on Information Systems，2021，39（4）：1-29.

［18］Ren Pengjie，Chen Zhumin，Monz C，et al.Thinking globally，acting locally：distantly supervised global-to-local knowledge selection for background based conversation［C］//Proc of AAAI Conference on Artificial Intelligence.2020：8697-8704.

［19］Chen Jiatao，Zeng Biqing，Du Zhibin，et al.RFM：response-aware feedback mechanism for background based conversation［J］.Applied Intelligence，2023，53（9）：10858-10878.

［20］Zhan Haolan，Zhang Hainan，Chen Hongshen，et al.Augmenting knowledge-grounded conversations with sequential knowledge transition［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.2021：5621-5630.

［21］Prabhumoye S，Hashimoto K，Zhou Yingbo，et al.Focused attention improves document-grounded generation［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.2021：4274-4287.

［22］Lin Y T，Papangelis A，Kim S，et al.Knowledge-grounded conversational data augmentation with generative conversational networks［C］//Proc of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue.2022：26-38.

［23］Yang Chenxu，Lin Zheng，Li Jiangnan，et al.TAKE：topic-shift aware knowledge selection for dialogue generation［C］//Proc of the 29th International Conference on Computational Linguistics.2022：253-265.

［24］Ma Hui，Wang Jian，Lin Hongfei，et al.Global and local interaction matching model for knowledge-grounded response selection in retrieval-based chatbots［J］.Neurocomputing，2022，497：39-49.

［25］Sun Weiwei，Ren Pengjie，Ren Zhaochun.Generative knowledge selection for knowledge-grounded dialogues［C］//Findings of the Association for Computational Linguistics.2023：2077-2088.

［26］Qian Yushan，Wang Bo，Ma Shangzhao，et al.Think twice：a human-like two-stage conversational agent for emotional response generation［C］//Proc of International Conference on Autonomous Agents and Multiagent Systems.2023：727-736.

［27］Zheng Wen，Milic＇-Frayling N，Zhou Ke.Knowledge-grounded dialogue generation with term-level de-noising［C］//Findings of the Association for Computational Linguistics.2021：2972-2983.

［28］Zhao Xueliang，F(xiàn)u Tingchen，Tao Chongyang，et al.There is no stan-dard answer：knowledge-grounded dialogue generation with adversarial activated multi-reference learning［C］//Proc of Conference on Empi-rical Methods in Natural Language Processing.2022：1878-1891.

［29］Xu Yan，Kong Deqian，Xu Dehong，et al.Diverse and faithful know-ledge-grounded dialogue generation via sequential posterior inference［C］//Proc of the 40th International Conference on Machine Lear-ning.2023：38518-38534.

［30］Wilie B，Xu Yan，Chung W，et al.PICK：polished & informed candidate scoring for knowledge-grounded dialogue systems［C］//Proc of the 13th International Joint Conference on Natural Language Proces-sing and the 3rd Conference of the Asia-Pacific Chapter of the Associa-tion for Computational Linguistics（Volume 1：Long Papers）.2023：980-995.

［31］林晟.ChatGPT：新一代信息技術(shù)變革下的開(kāi)放教育——機(jī)遇與挑戰(zhàn)［J］.福建開(kāi)放大學(xué)學(xué)報(bào)，2024（1）：29-32.（Lin Sheng.ChatGPT：open education under the revolution of new information technology—opportunities and challenges［J］.Journal of Fujian Open University，2024（1）：29-32.）

［32］Deng Yang，Lei Wenqiang，Lam W，et al.A survey on proactive dialogue systems：problems，methods，and prospects［C］//Proc of the 32nd International Joint Conference on Artificial Intelligence.2023：6583-6591.

［33］Li Qintong，Li Piji，Ren Zhaochun，et al.Knowledge bridging for empathetic dialogue generation［C］//Proc of AAAI Conference on Artificial Intelligence.2022：10993-11001.

［34］Zhao Xueliang，Wu Wei，Xu Can，et al.Knowledge-grounded dialogue generation with pre-trained language models［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2020：3377-3390.

［35］Xu Yan，Ishii E，Cahyawijaya S，et al.Retrieval-free knowledge-grounded dialogue response generation with adapters［C］//Proc of the 2nd DialDoc Workshop on Document-grounded Dialogue and Conversational Question Answering，2022：93-107.

［36］Liu Zihan，Patwary M，Prenger R，et al.Multi-stage prompting for knowledgeable dialogue generation［C］//Findings of the Association for Computational Linguistics.2022：1317-1337.

［37］Sun Weiwei，Shi Zhengliang，Gao Shen，et al.Contrastive learning reduces hallucination in conversations［C］//Proc of the 37th AAAI Conference on Artificial Intelligence and the 35th Conference on Innovative Applications of Artificial Intelligence and the 13th Symposium on Educational Advances in Artificial Intelligence.2023：13618-13626.

［38］Meng Chuan，Ren Pengjie，Chen Zhumin，et al.Initiative-aware self-supervised learning for knowledge-grounded conversations［C］//Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval.2021：522-532.

［39］Zhang Yangjun，Ren Pengjie，De Rijke M.Improving background based conversation with context-aware knowledge pre-selection［C］//Proc of IJCAI Workshop SCAI：the 4th International Workshop on Search-Oriented Conversational AI.2019.

［40］Meng Chuan，Ren Pengjie，Chen Zhumin，et al.Refnet：a reference-aware network for background based conversation［C］//Proc of AAAI Conference on Artificial Intelligence.2020：8496-8503.

［41］Xu Lin，Zhou Qixian，F(xiàn)u Jinlan，et al.CET2：modelling topic transitions for coherent and engaging knowledge-grounded conversations［J］.IEEE/ACM Trans on Audio，Speech，and Language Processing，2023.

［42］Choi S，F(xiàn)ang Tianqing，Wang Zhaowei，et al.KCTS：knowledge-constrained tree search decoding with token-level hallucination detection［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2023：14035-14053.