強成宇，李曉戈，2，馬鮮艷，李 濤，田俊鵬

1(西安郵電大學 計算機學院，西安 710000)2(西安郵電大學 陜西省網(wǎng)絡數(shù)據(jù)分析與智能處理重點實驗室，西安 710000)

1 引 言

招投標是目前社會上興建工程或者進行大宗商品交易時廣泛采用的一種公開競爭方式.根據(jù)相關規(guī)定，采購網(wǎng)站與行業(yè)招投標平臺會在招標結(jié)束后公開招投標詳情，而這些公開的招投標信息往往具有很高的商業(yè)價值，對于很多企業(yè)而言，從中挖掘潛在的商業(yè)機會，能起到事半功倍的效果.

關于招投標文件數(shù)據(jù)挖掘、分析、評測的研究有很多.黃曉輝[1]根據(jù)對招投標文件的分析研究，結(jié)合數(shù)據(jù)挖掘技術與決策模型，提出了一種基于數(shù)據(jù)挖掘的投標決策輔助系統(tǒng).孔維健[2]提出了一種基于圖聚類的招投標數(shù)據(jù)挖掘方法，該方法通過在招投標數(shù)據(jù)挖掘中應用二分圖聚類分析方法，發(fā)現(xiàn)存在一些具有行業(yè)背景聚類特征的群體簇，并分析招投標關系網(wǎng)絡中社團形成所需要的條件.王佩光等人[3]提出了一種基于人工智能的智能評標輔助系統(tǒng).該系統(tǒng)通過對招投標數(shù)據(jù)的分析，并采用主成分分析方法獲取影響企業(yè)信用等級的主要影響指標.將指標及對應的企業(yè)信用等級作為樣本集，從原始樣本集有放回的生成隨機樹訓練集，建立企業(yè)信用評估的隨機森林模型，并通過投票方式獲得企業(yè)信用等級.

招投標文件較普通的文本相比有一定的特殊性和不同性，網(wǎng)絡上的招投標信息存在缺乏標注、結(jié)構混亂不規(guī)則、數(shù)據(jù)來源多樣等特點.并且同一網(wǎng)站公布的招投標文件都擁有相同的格式和文件模板，例如，對于同一采購單位的招投標文件，除了項目名稱、采購需求和成交金額不同外，其余文本內(nèi)容幾乎相同，導致用于文本挖掘的特征字段十分有限.由于缺乏足夠的文本和上下文信息，使得許多神經(jīng)網(wǎng)絡模型無法自動獲取到豐富的類別特征，并且模型訓練時依賴大量的標記樣本，專業(yè)標記成本較高.因此如何有效補充招投標文件的文本特征，同時低成本的充分利用少量標記樣本和其他大量未標記樣本進行分類，成為其價值挖掘的關鍵.

本文針對招投標文件主流的分類方法進行了探究，并提出一種基于圖卷積神經(jīng)網(wǎng)絡的半監(jiān)督招投標文件分類模型.首先將網(wǎng)絡上爬取的招投標文件信息進行結(jié)構化清洗，并利用基于規(guī)則的信息抽取技術構建知識圖譜，再融合外部文本信息對知識圖譜進行特征補充，最后利用少量標記樣本通過卷積神經(jīng)網(wǎng)絡進行半監(jiān)督分類.

2 相關工作

招投標文件分類的本質(zhì)就是文本分類，目前主流的文本分類方法有：基于預定義規(guī)則的方法、基于傳統(tǒng)機器學習的方法以及基于深度學習的方法.

基于預定義規(guī)則的方法是使用一系列預先定義好的規(guī)則將文本分類為不同的類別，該方法雖然在足夠準確的規(guī)則下效果會很好，但需要對分類的所在領域有足夠深入的了解，使用門檻較高.

近年來傳統(tǒng)機器學習模型備受關注，大多數(shù)機器學習文本分類模型都分為以下兩個步驟：特征工程與模型分類.第1步特征工程主要是從文本文檔中手工提取一些特征；第2步則是將提取的特征利用傳統(tǒng)機器學習的分類算法進行預測.常見的機器學習分類算法包括樸素貝葉斯、支持向量機(SVM)、K近鄰(KNN)、決策樹和隨機森林等.同樣，傳統(tǒng)機器學習的分類方法也具有一定的局限性，例如，十分依賴前期的特征工程，對特定領域知識提取的文本特征所訓練的分類器難以將其推廣到新的任務中[4].

相較于傳統(tǒng)的機器學習分類算法，基于深度學習的分類方法在特征提取方面有足夠的優(yōu)勢，但也存在一定的局限性.具有代表性的深度學習算法主要有RNN、CNN、Transformer等[5].其中以LSTM/GRU及其變形為代表的RNN不僅可以有效的捕獲文本的長距離特征，而且還可以有效的處理不定長的線性序列文本數(shù)據(jù)，但是由于RNN本身要求在計算當前時刻的輸出結(jié)果時要考慮上一時刻的隱藏狀態(tài)，從而導致RNN難以實現(xiàn)并行運算，運算速度較慢，因此限制了RNN在文本特征提取中的發(fā)展和應用.而CNN利用堆積一個或多個卷積層、非線性和池化層來自動提取特征，在CNN網(wǎng)絡結(jié)構的設計中，通?？梢岳每鐚舆B接機制來增加網(wǎng)絡深度，從而提取更為有效的特征，但CNN在長距離特征提取上性能低于RNN[6].后來Tai[7]等人改進了傳統(tǒng)的鏈式LSTM并提出Tree-LSTM模型，使其學習到更加豐富的語義表示.Bieng[8]提出了Topic RNN模型，該模型將主題模型與循環(huán)神經(jīng)網(wǎng)絡相結(jié)合，使RNN獲取局部聯(lián)系的同時通過主題模型獲取全局聯(lián)系.Prusa[9]利用卷積神經(jīng)網(wǎng)絡對文本特征進行提取，該方法減少字符級文本訓練耗時，并保留了更多原始文本信息.Conneau[10]等人研究發(fā)現(xiàn)，隨著CNN(VDCNN)網(wǎng)絡層數(shù)的不斷增加，模型提取特征的能力會更強，分類的準確率會更高.與VDCNN模型類似，目前很多深度學習模型大多都通過增加復雜度來提高性能[11].

知識圖譜(Knowledge Graph)作為人工智能在知識組織和表示方面發(fā)展的最新技術，不僅能在不同實體之間建立語義聯(lián)系，而且還能為子圖分類和節(jié)點分類等工作提供良好的數(shù)據(jù)支持.對于知識圖譜這種圖結(jié)構數(shù)據(jù)，普通的卷積操作難以提取圖結(jié)構的特征，針對這樣的問題，以Gori等人[12]為代表的學者們逐步提出了一系列應用于圖結(jié)構數(shù)據(jù)的深度學習模型，使得學習過程可直接架構于圖數(shù)據(jù)之上.Scarselli等人[13]提出了一種基于信息傳播機制，且有監(jiān)督學習的圖神經(jīng)網(wǎng)絡方法，其中節(jié)點之間通過互換信息，來更新自己的節(jié)點特征表示.Defferrard等人[14]開始從頻譜上研究論證了積分在文本分類上的可行性.Kipf等人[15]提出圖卷積神經(jīng)網(wǎng)絡模型(GCN)，該方法把頻譜圖卷積的定義進行簡化，提高計算效率，并且該方法還可以進行半監(jiān)督分類.Yao[16]提出了將單詞和文檔作為圖節(jié)點構建異構圖網(wǎng)絡，但未使用Attention計算節(jié)點間的權重，因此模型在評價類文本中準確率略低于傳統(tǒng)神經(jīng)網(wǎng)絡模型.范敏[17]等人提出了一種基于混合圖卷積網(wǎng)絡模型，該方法結(jié)合了圖中節(jié)點的相鄰相似性、結(jié)構相似性以及特征多樣性.本文采用GCN模型在構建的知識圖譜上進行半監(jiān)督節(jié)點分類.

3 模 型

本文提出的基于圖卷積神經(jīng)網(wǎng)絡的半監(jiān)督招投標文件分類模型(BD-GCN)，流程如圖1所示.

圖1 BD-GCN模型流程圖Fig.1 BD-GCN model flow chart

BD-GCN模型分為數(shù)據(jù)獲取與知識圖譜構建——外部信息補充——圖卷積神經(jīng)網(wǎng)絡分類.數(shù)據(jù)獲取與知識圖譜構建是將網(wǎng)絡上爬取的招投標文件信息經(jīng)結(jié)構化清洗后，利用信息抽取技術構建成知識圖譜；外部信息補充是利用外部的文本信息對知識圖譜的每一個待分類節(jié)點進行特征補充，融合后形成多源異構圖；圖卷積神經(jīng)網(wǎng)絡分類是采用GCN對圖譜中的待分類節(jié)點進行半監(jiān)督分類，網(wǎng)絡模型介紹見下文.

3.1 數(shù)據(jù)獲取與知識圖譜構建

首先，利用爬蟲技術從全國政府采集網(wǎng)站上爬取招投標文件信息，其中各個領域、省份之間的內(nèi)容、結(jié)構、格式都差異巨大.因此第一步需要對這些非結(jié)構化文本進行結(jié)構化數(shù)據(jù)清洗，這樣既可以從中提取特征字段，又可以讓不同來源的招投標文件結(jié)構統(tǒng)一化.

具體提取的內(nèi)容包括：項目(項目名稱)、發(fā)布時間、成交金額、標的信息、評審委員會名單、采購單位名稱、采購單位地址、采購單位聯(lián)系人與電話、代理單位名稱、代理單位地址、代理單位聯(lián)系人與電話、中標供應商名稱、供應商地址.

上述提取內(nèi)容中，招投標文件的類別主要由項目(項目名稱)、標的信息、中標供應商名稱、供應商地址決定，所以本文利用基于規(guī)則的信息抽取方法自頂向下構建一個特殊的知識圖譜模型，構建時預定義實體和關系，將實體對應的具體文本內(nèi)容作為實體屬性，如表1、表2所示.

表1 實體預定義表Table 1 Entity predefined table

表2 關系預定義表Table 2 Relationonship predefined table

將項目(項目名稱)實體作為待分類的中心節(jié)點，將單位、地址和標的信息實體作為鄰居節(jié)點，如圖2所示.

圖2 招投標文件知識圖譜模型示意圖Fig.2 Schematic diagram of knowledge graph model of bidding documents

3.2 外部信息補充

與段落或文檔分類相比，清洗后的招投標文件屬于短文本，分類更加困難，即使經(jīng)過數(shù)據(jù)清洗、特征篩選以及知識圖譜構建等工作，但依然沒有足夠的上下文信息，特征較為稀疏，使得基于知識圖譜做節(jié)點分類時效果不佳.為了解決這個問題，本文利用外部文本來增強知識圖譜語義表示.

對于招投標文件而言，中標供應商為采購單位提供貨物、工程和服務，一定程度上決定了它的類別，因此本文采用爬蟲技術在天眼查網(wǎng)站上抓取每條招投標文件中中標公司的經(jīng)營范圍，爬取的內(nèi)容示例如表3所示.

表3 供應商與其對應的經(jīng)營范圍示例表Table 3 Example list of scope of business

將爬取的文本同知識圖譜中該條招投標文件的項目(項目名稱)節(jié)點和單位節(jié)點建立關系，對知識圖譜模型進行特征補充，新增預定義關系如表4所示.

表4 新增預定義關系表Table 4 Add a predefined relations table

圖譜中單位與其經(jīng)營范圍會重復，即一個中標公司可能參與多個標，多個公司的經(jīng)營范圍的描述文本也可能相同，因此這樣更加豐富了知識圖譜模型中的關系，使其可以更好的利用圖卷積神經(jīng)網(wǎng)絡進行半監(jiān)督分類.經(jīng)融合后構成多源異構圖，如圖3所示.

圖3 經(jīng)外部文本信息補充后的知識圖譜模型示意圖Fig.3 Schematic diagram of knowledge graph model supplemented by external text information

3.3 圖卷積神經(jīng)網(wǎng)絡分類

本文采用文獻[15]提出的圖卷積神經(jīng)網(wǎng)絡(GCN)進行半監(jiān)督分類，將少量有標簽樣本和大量無標簽樣本同時投入該模型，模型會將圖結(jié)構和節(jié)點特征自然地結(jié)合起來，其中無標簽節(jié)點特征會和附近有標簽節(jié)點特征混合在一起，通過多層神經(jīng)網(wǎng)絡在圖上進行傳播，逐層遞進更新節(jié)點的表示，以預測未標記節(jié)點的標簽，實驗表明該模型在一系列基準數(shù)據(jù)集上取得了很好的分類結(jié)果.因此本文利用該模型在構建的多源異構知識圖譜上對待分類節(jié)點進行半監(jiān)督分類.

3.3.1 圖卷積神經(jīng)網(wǎng)絡模型結(jié)構

模型中的圖卷積神經(jīng)網(wǎng)絡由輸入層、特征提取層、圖卷積層、輸出層組成.圖4展示了該模塊的整體架構，各層具體描述如圖所示.

圖4 圖卷積神經(jīng)網(wǎng)絡分類結(jié)構圖Fig.4 Figure classification structure of graph convolutional networks

3.3.2 輸入層

輸入層一方面將上一模塊得到的多源異構知識圖譜輸入到圖卷積層；另一方面，直接從知識圖譜中抽取所有節(jié)點文本信息，輸入到特征提取層，用于提取圖譜節(jié)點的短文本語義信息.

3.3.3 特征提取層

特征提取層具體由兩部分構成.第1部分利用TF-IDF[18]對知識圖譜中每個節(jié)點進行文本向量化.IDF公式如式(1)所示：

(1)

在得到每個詞的詞頻與值后，利用公式(2)計算出每個詞的TF-IDF值.由此可將原始的圖譜節(jié)點文本轉(zhuǎn)換為TF-IDF的稀疏矩陣，來表示節(jié)點的特征.

TF-IDF(x)=TF(x)×IDF(x)

(2)

因為得到的特征矩陣為稀疏矩陣，并且當TF-IDF詞表過長時，每個節(jié)點的特征維數(shù)會很高，會影響下游分類效果，所以本文利用SVD對特征稀疏矩陣進行降維，將原數(shù)據(jù)十萬維的特征壓縮至5000維，在保留大部分數(shù)據(jù)信息量的同時，使用維數(shù)小得多的特征來表示原始特征，去除噪聲和冗余信息，優(yōu)化數(shù)據(jù)，并提高分類效果.SVD的公式如式(3)所示：

(3)

式(3)中，降維后的矩陣維數(shù)k遠小于降維前的矩陣維數(shù)n.

3.3.4 圖卷積層

圖卷積層是首先從輸入層的多源異構知識圖譜與特征提取層獲得鄰接矩陣、度矩陣和特征矩陣，然后將其輸入到兩層圖卷積神經(jīng)網(wǎng)絡中進行半監(jiān)督分類模型訓練.該層輸入的是知識圖譜和特征矩陣，輸出的是向量矩陣形式的卷積結(jié)果.

輸入層的多源異構圖由n個節(jié)點V={v1，v2，…，vn}和m條邊E={e1，e2，…，em}的集合組成.要對圖中節(jié)點利用圖卷積神經(jīng)網(wǎng)絡進行分類，需首先從多源異構圖中得到鄰接矩陣、度矩陣和正則化的拉普拉斯矩陣，計算公式分別為：

A=(aij)

(4)

D=diag(∑i≠jaij)

(5)

(6)

在譜圖卷積中，圖上的卷積操作需要將拉普拉斯矩陣進行特征分解為特征值和特征向量，定義如式(7)所示：

gθ×x=Ug(ψ)UT×x

(7)

上式中，表示每個節(jié)點的標量，U表示表示拉普拉斯矩陣分解后的特征向量，ψ表示特征值.特征分解計算復雜度高，屬于計算密集型，這就導致了矩陣分解在實際應用中無法計算.此外，該卷積核是全局的卷積核，參數(shù)量隨著圖中節(jié)點數(shù)增加而增加，因此需要放松約束條件，利用空間采樣或者譜采樣的方式來近似拉普拉斯矩陣.例如Donnat[19]等人提出的GraphWave模型，利用Heat Kenel來近似g(ψ).

而本文所采用的GCN模型通過引入切比雪夫多項式來近似g(ψ)，避免了復雜的矩陣分解，同時利用一階近似也就是局部卷積核來避免卷積核參數(shù)過大的問題.切比雪夫多項式定義見公式(8)，式中，T1(x)=x，T0(x)=1.

Tk(x)=2xTk-1(x)-Tk-2(x)

(8)

GCN模型采用一階切比雪夫多項式來近似g(ψ)，從文獻[15]推導得出近似函數(shù)，如式(9)所示：

(9)

(10)

兩層的圖卷積網(wǎng)絡為：

(11)

(12)

(13)

將除softmax外的操作進行可視化分解，以便于理解，其模型示意圖如圖5所示，其中H(1)表示神經(jīng)網(wǎng)絡隱藏層向量，H(2)為輸出結(jié)果.

圖5 GCN模塊示意圖Fig.5 GCN model schematic diagram

通過引入一階切比雪夫多項式近似，使原先的全局卷積變成局部卷積，即將距離中心節(jié)點1跳的節(jié)點作為鄰居節(jié)點.

正是因為GCN擁有這樣的特性，本文將構建的特殊知識圖譜模型中項目(項目名稱)節(jié)點作為中心節(jié)點，將標的信息、中標單位名稱、中標單位地址節(jié)點以及經(jīng)營范圍文本作為鄰居節(jié)點.然后通過每一次迭代，GCN模型都會聚合鄰居節(jié)點的特征信息到中心節(jié)點，這樣即可以豐富中心節(jié)點的語義信息，又避免了每次迭代都需要重新計算并更新整個圖的卷積核參數(shù)，降低了計算復雜度.

通過將特征矩陣經(jīng)過兩層圖卷積操作，最終將得到的向量矩陣形式的卷積結(jié)果輸出到輸出層.

3.3.5 輸出層

將上一層的結(jié)果通過softmax函數(shù)輸出為n個節(jié)點的類別標簽，Yi表示節(jié)點i(i =1，2，3，…，n)的類別標簽，該層輸入是圖卷積層的卷積結(jié)果，輸出的是待分類節(jié)點的類別標簽，如式(14)所示：

Z=softmax(H(2))

(14)

如圖6所示，H(2)是輸出層的輸入，Z是分類結(jié)果.

圖6 輸出層示意圖Fig.6 Output output layer

對于本文的半監(jiān)督節(jié)點分類，模型利用已標記樣本來評估交叉熵損失函數(shù)：

(15)

其中YL是具有標簽節(jié)點的索引集合，并采用Adam優(yōu)化器，通過梯度下降來訓練神經(jīng)網(wǎng)絡的權值W(1)與W(2).最終經(jīng)過多次迭代后，利用softmax函數(shù)對卷積結(jié)果進行分類，最終得到所有待分類節(jié)點的類別標簽.

通過圖卷積分類，本文實現(xiàn)了對多源異構知識圖譜中項目中心節(jié)點的半監(jiān)督分類.

4 實 驗

4.1 數(shù)據(jù)集

實驗部分本文選擇了兩種數(shù)據(jù)集，Cora[20]數(shù)據(jù)集以及招投標文件數(shù)據(jù)集.

Cora數(shù)據(jù)集是一個由機器學習相關的論文組成[21]的引用網(wǎng)絡.每篇論文都被劃分到一個特定的類，其中存在的類有：基于案例、遺傳算法、神經(jīng)網(wǎng)絡、概率方法、強化學習、規(guī)則學習和理論.

招投標文件數(shù)據(jù)集是從中國政府采購網(wǎng)等30個政府采購網(wǎng)站上爬取的招投標文件信息，手工構造分類數(shù)據(jù)集.在對原數(shù)據(jù)進行清洗篩選后，選取其中36123條結(jié)構完整的招投標文件數(shù)據(jù)進行實驗.分類標準選取廣東省政府采購網(wǎng)的品名類別標準，將招投標文件分為40類.

4.2 評測標準

實驗采用準確率(Accuracy)來評估分類的結(jié)果，準確率定義如公式(16)所示：

(16)

其中，numcor表示樣本分類結(jié)果中正確預測的文本總數(shù)，numall表示數(shù)據(jù)集總共的樣本總數(shù).評估指標acc表示了模型在數(shù)據(jù)集中預測正確樣本類別的百分比，準確率acc越高的模型，性能越好.

4.3 對比實驗設置

本文設置以下3部分對比試驗，第1部分分別對Cora基準數(shù)據(jù)集進行傳統(tǒng)機器學習的有監(jiān)督分類實驗，和基于圖卷積神經(jīng)網(wǎng)絡的半監(jiān)督分類實驗.

第2部分對招投標文件數(shù)據(jù)集進行實驗，將數(shù)據(jù)不構建知識圖譜而是將每條數(shù)據(jù)的各部分文本進行字符串的拼接，然后分別采用傳統(tǒng)機器學習、深度學習和基于Bert的分類方法對招投標文本進行分類.機器學習采用邏輯回歸、支持向量機、K近鄰和隨機森林的分類方法，深度學習采用卷積神經(jīng)網(wǎng)絡，基于Bert的分類方法采用Bert預訓練模型對拼接文本進行特征表示，再通過全連接層Softmax函數(shù)進行分類.并且為了保證實驗的可對比性，在機器學習的分類方法中，采取和本文提出模型一樣的特征工程方法，即TF-IDF+SVD.

第3部分是在構建知識圖譜后，不對其進行外部文本信息的特征補充，直接利用GCN進行半監(jiān)督分類.

第2、第3部分的對比實驗與本文提出的BD-GCN模型實驗采用相同標記樣本數(shù)據(jù)做模型的訓練.

4.4 實驗結(jié)果與分析

在Cora數(shù)據(jù)集實驗中，有監(jiān)督實驗模塊，用1900條做訓練集，其余做測試集；在GCN半監(jiān)督實驗模塊，140條數(shù)據(jù)做訓練集，400條做驗證集，1000條做測試集.

在招投標文件數(shù)據(jù)集實驗中，手工標記1000條樣本，其中每類招投標文件至少標記了10條，其中訓練集700條，測試集300條，實際進入模型訓練的樣本數(shù)為36123.利用GCN進行半監(jiān)督分類時，學習率設為0.05，權重衰減設為5e-4，迭代次數(shù)設置為300次.

實驗結(jié)果如表5、表6所示.

表5 Cora數(shù)據(jù)集實驗結(jié)果Table 5 Cora dataset experimental results

表6 招投標文件數(shù)據(jù)集分類實驗結(jié)果Table 6 Experimental results of dataset of bidding documents

表5結(jié)果表明，GCN模型在有些分類任務上優(yōu)于傳統(tǒng)機器學習方法，因為模型利用了圖結(jié)構和節(jié)點間的關系，通過在網(wǎng)絡中逐層學習，更好的表示了節(jié)點特征，同時僅利用少量標記數(shù)據(jù)，就能實現(xiàn)很好的分類效果，實驗結(jié)果驗證了GCN在半監(jiān)督分類任務上的可行性和有效性.

表6中顯示了8組模型對比結(jié)果.從評價指標Accuracy上來看，本文提出的BD-GCN模型優(yōu)于其他，準確率達到了71.1%.傳統(tǒng)機器學習對于特征工程的要求較高；卷積神經(jīng)網(wǎng)絡則需要大量高質(zhì)量的標記樣本；Bert預訓練模型訓練預料來源于公共領域，對招投標領域內(nèi)文本表征效果欠佳；而未經(jīng)過外部文本信息補充的知識圖譜在利用GCN進行半監(jiān)督分類時會因語義特征不足而影響分類結(jié)果.因此本文提出的模型能有效提高招投標文件的分類準確率.

5 結(jié) 論

本文提出的基于圖卷積神經(jīng)網(wǎng)絡的半監(jiān)督招投標文件分類方法(BD-GCN)，通過將數(shù)據(jù)構建成知識圖譜，讓多條數(shù)據(jù)之間產(chǎn)生聯(lián)系，使非結(jié)構文本結(jié)構化清晰化，并且利用外部信息對待分類節(jié)點進行特征補充，從而彌補短文本構建的知識圖譜語義信息不足的缺點.另外模型對節(jié)點的特征提取要求不高，可利用圖卷積神經(jīng)網(wǎng)絡對中心節(jié)點聚合鄰居節(jié)點信息，使待分類節(jié)點更好的得到表征，擁有更加豐富的特征信息.同時只需要少量的標記樣本就能使大量的數(shù)據(jù)進入模型進行訓練.實驗結(jié)果表明，模型有效提高了分類準確率.在未來的工作中，本文將進一步研究圖神經(jīng)網(wǎng)絡，并引入注意力機制與關系權重來提高模型分類的準確率.