摘要：該文針對(duì)當(dāng)前政務(wù)問(wèn)答系統(tǒng)面臨的復(fù)雜語(yǔ)境理解、政策法規(guī)解釋等問(wèn)題，探討了如何將預(yù)訓(xùn)練語(yǔ)言模型與知識(shí)圖譜進(jìn)行有效融合，以實(shí)現(xiàn)更加精準(zhǔn)、全面和個(gè)性化的政務(wù)信息問(wèn)答服務(wù)，構(gòu)建了政務(wù)問(wèn)答系統(tǒng)框架，利用知識(shí)圖譜和大模型工具驗(yàn)證了該方法在提高問(wèn)答準(zhǔn)確率、增強(qiáng)上下文理解能力方面的顯著優(yōu)勢(shì)。

關(guān)鍵詞：知識(shí)圖譜；自然語(yǔ)言處理；預(yù)訓(xùn)練語(yǔ)言模型；三元組；知識(shí)庫(kù)

doi：10.3969/J.ISSN.1672-7274.2024.09.063

中圖分類號(hào)：TP 3 文獻(xiàn)標(biāo)志碼：A 文章編碼：1672-7274（2024）09-0-03

Research on the Application of Knowledge Graph Integrated with Pre-trained Language Models in Government Question-answering Systems

ZHANG Chaoyang， SHEN Jianhui， YE Weirong

（Zhejiang Public Information Industry Co.， LTD.， Hangzhou 310000， China）

Abstract： Aiming at the problems of complex context understanding and interpretation of policies and regulations faced by the current government question answering system， this paper discusses how to effectively integrate pre-trained language models and knowledge graphs， so as to realize more accurate， comprehensive and personalized government information question answering service. The framework of government question answering system is constructed， and the significant advantages of this method in improving the accuracy of question answering and enhancing the context understanding ability are verified by using knowledge graph and large model tools.

Keywords： knowledge graph; natural language processing; pre-trained language model; triple; knowledge base

0 引言

政務(wù)問(wèn)答系統(tǒng)的核心在于如何更好地建模語(yǔ)言、理解和輸出文本信息，本文以政務(wù)服務(wù)垂直領(lǐng)域在線咨詢問(wèn)答場(chǎng)景為例，探索預(yù)訓(xùn)練語(yǔ)言模型與知識(shí)圖譜的融合應(yīng)用。

1 理論基礎(chǔ)及相關(guān)工作

1.1 預(yù)訓(xùn)練語(yǔ)言模型研究進(jìn)展

預(yù)訓(xùn)練語(yǔ)言模型[1]是近年來(lái)自然語(yǔ)言處理領(lǐng)域的重要突破，其核心思想是通過(guò)大規(guī)模無(wú)標(biāo)簽文本數(shù)據(jù)進(jìn)行自監(jiān)督學(xué)習(xí)，從而獲得對(duì)語(yǔ)言深層次結(jié)構(gòu)和語(yǔ)義的理解能力。2017年，谷歌團(tuán)隊(duì)提出了Transformer模型。基于此，Devlin等人提出了BERT預(yù)訓(xùn)練模型，極大地提高了機(jī)器閱讀理解模型的性能，BERT[2]采用了雙向Transformer編碼器，GPT系列則使用了單向Transformer解碼器。GPT-4[3]等后續(xù)模型則主要通過(guò)因果關(guān)系模型來(lái)預(yù)測(cè)下一個(gè)單詞。預(yù)訓(xùn)練語(yǔ)言模型經(jīng)歷了從ELMo[4]到BERT，再到GPT、T5、RoBERTa、ALBERT[5]等一系列迭代升級(jí)，涌現(xiàn)出諸多基于BERT模型的變體，如Macbert[6]、ALBERT和AMBERT等。國(guó)內(nèi)科技公司和科研機(jī)構(gòu)紛紛發(fā)力相繼推出了百度“文心一言”、騰訊“混元”大模型、阿里“通義千問(wèn)”、華為盤古大模型、智譜清言、訊飛星火等一系列國(guó)產(chǎn)大模型。預(yù)訓(xùn)練語(yǔ)言模型在數(shù)字政府領(lǐng)域應(yīng)用場(chǎng)景涉及智能客服與問(wèn)答、文檔理解和信息提取、輿情分析與事件監(jiān)測(cè)、政務(wù)知識(shí)圖譜等。

1.2 知識(shí)圖譜在問(wèn)答系統(tǒng)中的作用

1.2.1 政務(wù)問(wèn)答系統(tǒng)的挑戰(zhàn)

政務(wù)問(wèn)答系統(tǒng)在實(shí)現(xiàn)智能化即時(shí)互動(dòng)的同時(shí)，面臨諸多挑戰(zhàn)。政務(wù)數(shù)據(jù)分布在不同部門和系統(tǒng)中，整合難度大。用戶咨詢的問(wèn)題可能涉及復(fù)雜語(yǔ)境、多種表達(dá)方式，系統(tǒng)需具備高精度的自然語(yǔ)言處理能力，理解用戶的真實(shí)意圖。問(wèn)答系統(tǒng)應(yīng)能快速適應(yīng)新出臺(tái)的法律條文，不斷引入AI、深度學(xué)習(xí)等前沿技術(shù)，降低維護(hù)成本并提高服務(wù)效能。

1.2.2 知識(shí)圖譜在問(wèn)答系統(tǒng)中的作用

針對(duì)政務(wù)問(wèn)答系統(tǒng)面臨的以上挑戰(zhàn)，利用知識(shí)圖譜技術(shù)能夠顯著提升問(wèn)答系統(tǒng)的性能和智能化程度。知識(shí)圖譜提供了豐富的語(yǔ)義上下文和關(guān)系結(jié)構(gòu)，使得問(wèn)答系統(tǒng)能夠理解問(wèn)題背后的復(fù)雜意圖，并通過(guò)關(guān)系推理來(lái)找到答案。基于知識(shí)圖譜，問(wèn)答系統(tǒng)可以進(jìn)行高效且精準(zhǔn)的信息檢索，利用實(shí)體之間的關(guān)聯(lián)快速定位相關(guān)信息，從而給出準(zhǔn)確的答案。

1.3 融合預(yù)訓(xùn)練模型與知識(shí)圖譜的最新研究

張鶴譯[7]等提出，融合大型語(yǔ)言模型與專業(yè)知識(shí)庫(kù)基于提示學(xué)習(xí)的問(wèn)答系統(tǒng)范式，并實(shí)證了該方法有助于解決專業(yè)領(lǐng)域問(wèn)答系統(tǒng)數(shù)據(jù)+微調(diào)范式帶來(lái)的災(zāi)難性遺忘問(wèn)題。在醫(yī)學(xué)大模型BioLAMA和MedLAMA中，通過(guò)利用醫(yī)學(xué)知識(shí)圖譜來(lái)探索大語(yǔ)言模型中的醫(yī)學(xué)知識(shí)應(yīng)用。醫(yī)療大模型華駝（本草）在參考中文醫(yī)學(xué)知識(shí)圖譜的基礎(chǔ)上，基于中文醫(yī)學(xué)知識(shí)的LLaMA微調(diào)模型，采用了公開(kāi)和自建的中文醫(yī)學(xué)知識(shí)庫(kù)，使語(yǔ)言模型具備像醫(yī)生一樣的診斷能力。百度“文心一言”、通義千問(wèn)等國(guó)產(chǎn)大模型在訓(xùn)練過(guò)程中也融入了豐富的知識(shí)資源，增強(qiáng)了模型的知識(shí)理解和推理能力。

2 知識(shí)圖譜在政務(wù)領(lǐng)域的構(gòu)建策略

2.1 政務(wù)知識(shí)庫(kù)

為滿足政務(wù)信息智能問(wèn)答需求，需收集涵蓋各政府部門、公共服務(wù)機(jī)構(gòu)及社會(huì)關(guān)注熱點(diǎn)的所有相關(guān)政策、法規(guī)、辦事指南、常見(jiàn)問(wèn)題解答等信息，構(gòu)建政務(wù)知識(shí)庫(kù)。統(tǒng)一知識(shí)條目的分類、編碼、格式等標(biāo)準(zhǔn)，便于檢索、管理和使用。

2.2 政務(wù)問(wèn)答知識(shí)抽取與建模

政務(wù)知識(shí)圖譜的知識(shí)建模與本體設(shè)計(jì)過(guò)程是將政務(wù)領(lǐng)域內(nèi)的實(shí)體、屬性和關(guān)系以一種結(jié)構(gòu)化和標(biāo)準(zhǔn)化的方式來(lái)表示。通過(guò)設(shè)計(jì)政務(wù)領(lǐng)域?qū)俦倔w，定義實(shí)體類別、屬性以及關(guān)系類型，構(gòu)建適合政務(wù)場(chǎng)景的知識(shí)表示框架。將抽取出來(lái)的實(shí)體及其關(guān)系整合到知識(shí)圖譜中，通過(guò)鏈接和推理填補(bǔ)缺失信息，形成一個(gè)結(jié)構(gòu)化的知識(shí)網(wǎng)絡(luò)，如表1所示。

3 融合大模型與知識(shí)圖譜的問(wèn)答系統(tǒng)構(gòu)建方法

3.1 系統(tǒng)總體框架

政務(wù)問(wèn)答系統(tǒng)基于政務(wù)知識(shí)庫(kù)，通過(guò)大模型和知識(shí)圖譜融合進(jìn)行預(yù)訓(xùn)練和微調(diào)，完成信息抽取、知識(shí)分類等任務(wù)，并通過(guò)知識(shí)推理、問(wèn)答交互支撐服務(wù)端的在線咨詢交互場(chǎng)景。

3.2 融合預(yù)訓(xùn)練模型與知識(shí)圖譜的問(wèn)答機(jī)制

利用預(yù)訓(xùn)練模型對(duì)政務(wù)知識(shí)進(jìn)行知識(shí)抽取主要包括以下幾個(gè)主要步驟：

（1）選擇預(yù)訓(xùn)練模型。大部分預(yù)訓(xùn)練模型基于或參考了BERT的多層Transformer結(jié)構(gòu)。標(biāo)注語(yǔ)料經(jīng)過(guò)BERT預(yù)訓(xùn)練語(yǔ)言模型獲得相應(yīng)的詞向量，之后再把詞向量輸入到BiLSTM模塊中做進(jìn)一步處理，最終利用CRF模塊對(duì)BiLSTM模塊的輸出結(jié)果進(jìn)行解碼，得到一個(gè)預(yù)測(cè)標(biāo)注序列，然后對(duì)序列中的各個(gè)實(shí)體進(jìn)行提取分類。

（2）數(shù)據(jù)集準(zhǔn)備及預(yù)處理。數(shù)據(jù)集包括開(kāi)源文本集、法規(guī)政策文件、權(quán)力事項(xiàng)清單、常用典型問(wèn)答等，由業(yè)務(wù)專家輔以標(biāo)注處理，對(duì)原始文本數(shù)據(jù)進(jìn)行分詞、詞語(yǔ)切分、填充或截?cái)嗟阮A(yù)處理操作，使其符合預(yù)訓(xùn)練模型的輸入格式要求。本文選擇開(kāi)源中文本數(shù)據(jù)集和自有業(yè)務(wù)數(shù)據(jù)作為實(shí)驗(yàn)數(shù)據(jù)，包括THUCNews數(shù)據(jù)集、MSRA數(shù)據(jù)集、PKU人民日?qǐng)?bào)語(yǔ)料庫(kù)、法律法規(guī)、典型案例問(wèn)答。

（3）模型微調(diào)。對(duì)選定的預(yù)訓(xùn)練模型進(jìn)行適應(yīng)性訓(xùn)練，加載預(yù)訓(xùn)練模型權(quán)重；根據(jù)具體任務(wù)構(gòu)建下游任務(wù)的模型架構(gòu)，例如，在預(yù)訓(xùn)練模型頂部添加額外的分類層或序列標(biāo)注層，將預(yù)訓(xùn)練模型應(yīng)用于知識(shí)抽取任務(wù)的數(shù)據(jù)集上，通過(guò)反向傳播和優(yōu)化算法更新模型參數(shù)，使模型能夠?qū)W習(xí)到抽取所需知識(shí)的規(guī)律。本文通過(guò)業(yè)務(wù)專家標(biāo)注和注入專業(yè)知識(shí)庫(kù)方式增強(qiáng)回答的專業(yè)性。

（4）任務(wù)適配。對(duì)不同知識(shí)抽取任務(wù)進(jìn)行任務(wù)適配，實(shí)體識(shí)別模型需要預(yù)測(cè)每個(gè)詞的標(biāo)簽，標(biāo)識(shí)出文本中的實(shí)體邊界及其類別，關(guān)系抽取模型需要同時(shí)考慮實(shí)體對(duì)及其上下文信息，預(yù)測(cè)實(shí)體之間的關(guān)系類型，事件抽取模型要識(shí)別事件觸發(fā)詞和事件角色。本文利用HanLP生成三元組數(shù)據(jù)用于構(gòu)建知識(shí)圖譜，再將知識(shí)圖譜中的實(shí)體和關(guān)系轉(zhuǎn)化為向量表示，與語(yǔ)言模型進(jìn)行融合。

（5）融合訓(xùn)練、驗(yàn)證及優(yōu)化。將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，在預(yù)訓(xùn)練模型的基礎(chǔ)上添加知識(shí)圖譜嵌入層，讓模型在處理文本時(shí)能訪問(wèn)知識(shí)圖譜中的信息。在語(yǔ)言模型的中間層插入知識(shí)圖譜嵌入層，使模型生成答案時(shí)考慮到知識(shí)圖譜提供的實(shí)體和關(guān)系信息。

4 實(shí)驗(yàn)結(jié)果

本文選用具有62億參數(shù)的語(yǔ)言模型ChatGLM-6B，GeForce RTX 4090系列顯卡。將同一問(wèn)題分別輸入以下三種問(wèn)答工具：①基于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)算法的問(wèn)答系統(tǒng)；②未注入專業(yè)知識(shí)的GLM-6B；③融合專業(yè)領(lǐng)域知識(shí)圖譜的GLM-6B，并根據(jù)三組輸出答案來(lái)評(píng)估相應(yīng)工具的準(zhǔn)確率、滿意度等。

綜合來(lái)看，知識(shí)圖譜能夠有效地輔助語(yǔ)言模型在處理問(wèn)題時(shí)找到正確的答案，特別是在涉及事實(shí)性問(wèn)題、領(lǐng)域?qū)I(yè)知識(shí)和復(fù)雜推理的任務(wù)中，知識(shí)圖譜的作用尤為突出。

5 結(jié)束語(yǔ)

預(yù)訓(xùn)練模型模型融合知識(shí)圖譜在政務(wù)問(wèn)答系統(tǒng)的應(yīng)用將朝著更智能、個(gè)性化、跨領(lǐng)域、多模態(tài)交互等方向發(fā)展，系統(tǒng)將能夠處理更復(fù)雜的查詢，包括多跳推理、語(yǔ)義理解等，結(jié)合用戶畫像和用戶歷史交互數(shù)據(jù)，政務(wù)問(wèn)答系統(tǒng)將能夠提供更加個(gè)性化的服務(wù)。同時(shí)，政務(wù)問(wèn)答系統(tǒng)應(yīng)注重安全與隱私保護(hù)。在大模型多模態(tài)交互應(yīng)用方面，有望支持多種交互方式，包括文本、語(yǔ)音、圖像等，提供更自然和便捷的用戶體驗(yàn)。

參考文獻(xiàn)

[1] 王昀，胡珉，塔娜，等．大語(yǔ)言模型及其在政務(wù)領(lǐng)域的應(yīng)用[J/OL]．清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，64（4）：1-10．[2024-03-11]. https：//doi.org/10.16511/j.cnki.qhdxxb.2023.26.042.

[2] DEVLIN J， CHANG M W， LEE K，et al. BERT： Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Minneapolis， USA： Association for Computational Linguistics，2018：4171 4186.

[3] Openai.GPT-4 technical report [R/OL]. .https：//arxiv.org/abs/2303.08774.2023.

[4] 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. New Orleans， USA： Association for Computational Linguistics，2018：2227 2237.

[5] LANZZ，CHEN M D，GOODMANS，etal.ALBERT：A lite BERT for self-supervised learning of language representations[J/OL].arXiv.（2019-09-26）[2023-06-12].https：//arxiv.org/abs/1909.11942.

[6] CUI Y， CHE W， LIU T， et al. Revisiting pre-trained models for Chinese natural language processing[EB/OL]. [2023-07-17]. http：//arxiv.org/abs/2004.13922.

[7] 張鶴譯，王鑫，韓立帆，李釗，陳子睿．大語(yǔ)言模型融合知識(shí)圖譜的問(wèn)答系統(tǒng)研究[J/OL]．計(jì)算機(jī)科學(xué)與探索，2023，17（10）：2377-2388．