劉曉玲，劉柏嵩，王洋洋

(寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211)

1 引 言

多標(biāo)簽學(xué)習(xí)[1]是處理現(xiàn)實(shí)世界中具有多語(yǔ)義對(duì)象的主要學(xué)習(xí)框架之一.一篇文本可能同時(shí)屬于政治、經(jīng)濟(jì)、文化等多個(gè)主題，針對(duì)這類(lèi)數(shù)據(jù)需要預(yù)測(cè)實(shí)例可能具有的多個(gè)標(biāo)簽.標(biāo)簽關(guān)聯(lián)關(guān)系會(huì)為多標(biāo)簽學(xué)習(xí)提供有用的信息，例如當(dāng)標(biāo)簽“政治”存在時(shí)，出現(xiàn)“娛樂(lè)”的概率相對(duì)較小，如何充分挖掘和利用標(biāo)簽之間的關(guān)系是目前研究者普遍認(rèn)可和關(guān)注的一個(gè)關(guān)鍵問(wèn)題[2].

根據(jù)多標(biāo)簽學(xué)習(xí)算法中考慮的標(biāo)簽關(guān)聯(lián)關(guān)系，將現(xiàn)有方法分為3類(lèi)[3]：一階策略、二階策略和高階策略.一階策略是將每個(gè)標(biāo)簽看成獨(dú)立不相關(guān)，不考慮標(biāo)簽之間的相關(guān)性；二階策略利用了標(biāo)簽成對(duì)的關(guān)聯(lián)信息，但在實(shí)際應(yīng)用中標(biāo)簽之間的相關(guān)性可能會(huì)超過(guò)二階；高階策略考慮每個(gè)標(biāo)簽對(duì)其他標(biāo)簽的影響.BR算法[4]假設(shè)標(biāo)簽相互獨(dú)立，將多標(biāo)簽學(xué)習(xí)任務(wù)轉(zhuǎn)換為單標(biāo)簽分類(lèi)問(wèn)題.分類(lèi)器鏈CC[5]將樣本特征與第1個(gè)分類(lèi)器預(yù)測(cè)出來(lái)的標(biāo)簽聯(lián)合作為新的特征，并將新特征通過(guò)第2個(gè)分類(lèi)器，以此類(lèi)推來(lái)模擬標(biāo)簽之間的高階關(guān)系.基于信息熵[6]提出的CC算法[7]利用條件熵使標(biāo)簽間相關(guān)性最大化.LIFT[8]基于標(biāo)簽類(lèi)屬性為每個(gè)標(biāo)簽生成專屬的特征進(jìn)行多標(biāo)簽學(xué)習(xí).近年來(lái)，一些基于神經(jīng)網(wǎng)絡(luò)的模型應(yīng)用于多標(biāo)簽學(xué)習(xí)任務(wù)并取得重要進(jìn)展.CNN-RNN[9]采用提取全局與局部語(yǔ)義信息的方式進(jìn)行多標(biāo)簽學(xué)習(xí)，考慮標(biāo)簽之間的二階關(guān)系.SGM[10]將多標(biāo)簽學(xué)習(xí)任務(wù)當(dāng)成序列生成問(wèn)題.MLILDSA[11]采用深度監(jiān)督自動(dòng)編碼器來(lái)計(jì)算后驗(yàn)條件概率以建模標(biāo)簽關(guān)系.大部分多標(biāo)簽算法假設(shè)訓(xùn)練數(shù)據(jù)的標(biāo)簽是完整的，但實(shí)際中不完備數(shù)據(jù)普遍存在，NNADOmega[12]為提升模型效果在神經(jīng)網(wǎng)絡(luò)損失函數(shù)中刻畫(huà)標(biāo)簽依賴關(guān)系.大多數(shù)方法將實(shí)例文本作為獨(dú)立學(xué)習(xí)分類(lèi)器參數(shù)的載體，未充分挖掘高階標(biāo)簽之間的關(guān)系.

圖1 TMLLGCN框架Fig.1 Framework of TMLLGCN

圖卷積網(wǎng)絡(luò)是一種對(duì)圖數(shù)據(jù)進(jìn)行操作的神經(jīng)網(wǎng)絡(luò)，眾多學(xué)者對(duì)圖卷積網(wǎng)絡(luò)進(jìn)行了研究和應(yīng)用.Wang等人[13]將圖卷積網(wǎng)絡(luò)應(yīng)用于推薦社交網(wǎng)絡(luò)建模；Si等人[14]提出了基于圖卷積網(wǎng)絡(luò)的人體動(dòng)作識(shí)別方法；Yu等人[15]將圖卷積網(wǎng)絡(luò)應(yīng)用于交通流量預(yù)測(cè)問(wèn)題.基于圖卷積學(xué)習(xí)理論，本文提出利用標(biāo)簽圖結(jié)構(gòu)來(lái)捕獲和探索標(biāo)簽的高階關(guān)系.具體來(lái)說(shuō)，GCN在標(biāo)簽圖之間傳播信息，從而學(xué)習(xí)具有每個(gè)文本標(biāo)簽的高階關(guān)系分類(lèi)器.這些分類(lèi)器從標(biāo)簽圖中匯聚信息，并將這些信息進(jìn)一步應(yīng)用于文本特征表示，從而實(shí)現(xiàn)最終的標(biāo)簽預(yù)測(cè)，這是一種明確建模標(biāo)簽高階關(guān)系的方法.本文的主要貢獻(xiàn)有：

1)提出一種新的基于GCN進(jìn)行文本多標(biāo)簽學(xué)習(xí)的端到端學(xué)習(xí)模型，充分挖掘利用標(biāo)簽高階關(guān)系.

2)考慮到未標(biāo)記標(biāo)簽集對(duì)已知標(biāo)簽集的影響，充分挖掘有價(jià)值信息進(jìn)行標(biāo)簽補(bǔ)全，提高模型的適應(yīng)性.

3)在真實(shí)多標(biāo)簽數(shù)據(jù)集上驗(yàn)證了TMLLGCN的有效性.

2 相關(guān)定義

D={(ds，Ys)|1≤s≤Mum，Ys={1，-1}C，Ys?L}

對(duì)于測(cè)試樣本Ti，學(xué)習(xí)模型需輸出與其相關(guān)的標(biāo)簽集合Yi=[y1，y2，yi，…yC]，yi取值“1”或“-1”.

定義2.集合M={a1，a2…am}，集合N={b1，b2…bn}，ai的概率為p(ai)，則M集合的信息熵：

(1)

則在M條件下N的條件熵：

(2)

I(bj|ai)=-p(aibj)log2p((bj|ai))

(3)

定義3.圖G=(V，E)，V和E分別表示節(jié)點(diǎn)和邊.矩陣X∈Rn×d，其包含n個(gè)帶有特征的節(jié)點(diǎn)，d表示節(jié)點(diǎn)特征維數(shù)，節(jié)點(diǎn)v的特征向量為：xv∈Rd，對(duì)應(yīng)的邊關(guān)系矩陣A∈Rn×n.GCN通過(guò)一層卷積捕獲鄰居信息，當(dāng)GCN堆疊可以獲得較大鄰域信息[16].對(duì)一層GCN，k維節(jié)點(diǎn)矩陣H(1)∈Rn×k的形式化表示即：

(4)

(5)

l表示層數(shù)，并且H(0)=X.

3 基于圖卷積網(wǎng)絡(luò)的文本多標(biāo)簽學(xué)習(xí)

本文提出一種TMLLGCN模型，其架構(gòu)如圖1所示.首先，進(jìn)行文本特征表示，其中w1，w2，…，wn表示文本輸入的詞向量表示，經(jīng)過(guò)不同的卷積窗口尺寸得到3種不同的特征表示，進(jìn)而融合形成Dd維文本特征.其次，進(jìn)行標(biāo)簽補(bǔ)全建模，最后進(jìn)行GCN建模高階關(guān)系的分類(lèi)器學(xué)習(xí)，其中d表示初始標(biāo)簽向量的維度，經(jīng)過(guò)圖卷積操作形成Dd維的標(biāo)簽表示，C表示標(biāo)簽數(shù)量，將文本特征和生成分類(lèi)器以點(diǎn)積的方式結(jié)合，并對(duì)預(yù)測(cè)分?jǐn)?shù)進(jìn)行歸一化產(chǎn)生C個(gè)標(biāo)簽概率，然后據(jù)損失函數(shù)迭代訓(xùn)練.

3.1 文本特征表示

深度學(xué)習(xí)方法在特征提取方面效果優(yōu)異，遵循AGCNN[17]提取文本特征，特征為x：

x=fAGCNN(T，θAGCNN)∈RD

(6)

其中θAGCNN表示模型參數(shù)，Dd表示維度.

3.2 非對(duì)稱標(biāo)簽補(bǔ)全建模

現(xiàn)實(shí)文本數(shù)據(jù)的標(biāo)簽并非總是完整的，探究標(biāo)簽高階依賴關(guān)系有助于在標(biāo)簽缺失時(shí)提高模型的效果[18].此外大多數(shù)多標(biāo)簽學(xué)習(xí)方法采用預(yù)定義的關(guān)系矩陣，但預(yù)定義的關(guān)系并非總可得.此外，據(jù)簡(jiǎn)單共現(xiàn)概率建立相關(guān)矩陣的方法通常具有對(duì)稱假設(shè).GCN基于相關(guān)矩陣在節(jié)點(diǎn)之間傳播信息，相關(guān)矩陣的設(shè)計(jì)至關(guān)重要，本文考慮到未標(biāo)注標(biāo)簽集對(duì)已知標(biāo)簽集的影響，設(shè)計(jì)非對(duì)稱性參數(shù)充分挖掘標(biāo)簽信息.基于上述原因，通過(guò)數(shù)據(jù)驅(qū)動(dòng)方式獲得基礎(chǔ)置信度矩陣，由相關(guān)定義1和公式(3)得到：

pij=-μaij+(1-μ)bij

(7)

其中μ是非對(duì)稱參數(shù)，通過(guò)增加基礎(chǔ)關(guān)系矩陣bij的權(quán)重和減少aij的權(quán)重進(jìn)行學(xué)習(xí).將實(shí)例訓(xùn)練數(shù)據(jù)的標(biāo)簽矩陣Y更新為：

(8)

非對(duì)稱標(biāo)簽補(bǔ)全建模的具體流程如下：

算法1.非對(duì)稱實(shí)例標(biāo)簽補(bǔ)全

輸入：標(biāo)簽矩陣Y，非對(duì)稱參數(shù)μ

1.Y={Yi|i=1，…，C}，Y∈RMum×C

2.For eachyi，yj，利用公式(3)計(jì)算：

ifi=j

aij=bij=1

3.由式(7)得到非對(duì)稱化矩陣：

pij=-μaij+(1-μ)bij

3.3 基于GCN建模高階關(guān)系的分類(lèi)器學(xué)習(xí)

(9)

gθ×Gx=gθ(L)x=gθ(UΛUT)x=Ugθ(Λ)UTx

采用切比雪夫多項(xiàng)式簡(jiǎn)化為：

(10)

θ0x+θ1(-D-1/2AD-1/2)x

(11)

進(jìn)一步擴(kuò)展到高維特征向量x∈RC×d，有式(12)：

其中Θ∈Rd×F是卷積核參數(shù)，對(duì)輸入數(shù)據(jù)x執(zhí)行一次圖卷積，得到gθ×Gx∈RC×F，標(biāo)簽節(jié)點(diǎn)被0～K-1階鄰居標(biāo)簽信息更新.

3.4 基于圖卷積網(wǎng)絡(luò)的文本多標(biāo)簽學(xué)習(xí)

基于圖卷積網(wǎng)絡(luò)的多標(biāo)簽學(xué)習(xí)流程如下：

算法2.基于圖卷積網(wǎng)絡(luò)的多標(biāo)簽學(xué)習(xí)

非對(duì)稱性參數(shù)μ，

ρ=LeakyRelu，σ=softmax

輸出：預(yù)測(cè)標(biāo)簽Yout

1.重構(gòu)訓(xùn)練集：

通過(guò)AGCNN對(duì)ds提取文本特征xD

2.GCN建模高階關(guān)系的分類(lèi)器學(xué)習(xí)：

根據(jù)式(7)得到第一層輸入關(guān)系矩陣pij；

A←pij，H0←x∈RC×d

3.標(biāo)簽圖卷積：由式(10)-式(12)得：

forl←0toLdo:

yc=WxD

由公式(9)得目標(biāo)函數(shù)：minLt

更新權(quán)重W←W+ΔW

直到滿足迭代停止條件

4.預(yù)測(cè)新數(shù)據(jù)：

對(duì)Ti提取文本特征TD

TD應(yīng)用到標(biāo)簽空間對(duì)象分類(lèi)器：Yout=σ(WTD)

5.returnYout

4 實(shí) 驗(yàn)

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為檢驗(yàn)TMLLGCN模型的性能，在真實(shí)數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，數(shù)據(jù)劃分詳情見(jiàn)表1.

Zhihu(1)http：//tcci.ccf.org.cn/conference/2018/taskdata.php：短文本數(shù)據(jù)集，其包含知乎問(wèn)題標(biāo)題、相關(guān)描述和話題標(biāo)簽，選取標(biāo)簽數(shù)量為260.

表1 多標(biāo)簽數(shù)據(jù)集描述Table 1 Multi-label data description

AAPD(2)https：//drive.google.com/file/d/18JOCIj9v5bZCrn9CIsk23W4wyhroCp_/view.：該數(shù)據(jù)集為計(jì)算機(jī)科學(xué)領(lǐng)域的學(xué)術(shù)論文，包含摘要和對(duì)應(yīng)的標(biāo)簽，標(biāo)簽總量為54.

4.2 實(shí)驗(yàn)方法

為防止數(shù)據(jù)周期性影響，首先對(duì)實(shí)驗(yàn)樣本隨機(jī)shuffle之后按8：2的比例劃分訓(xùn)練集和測(cè)試集，其次，對(duì)于詞向量矩陣中未出現(xiàn)的詞，采用-0.25～0.25值初始化，對(duì)問(wèn)題(題目)和描述(摘要)分別取其2倍的平均長(zhǎng)度，進(jìn)行補(bǔ)齊或截?cái)嘀烈恢麻L(zhǎng)度.通過(guò)實(shí)驗(yàn)選定合適的非對(duì)稱性參數(shù)μ.本文使用基于實(shí)例和基于標(biāo)簽的兩類(lèi)評(píng)估指標(biāo)[20]：Precision(P)、Recall(R)、F1-Measure(F1)、One-error(OE)、Coverage(CV)、Ranking Loss(RL)以及Macro-F1、Micro-F1.他們可以從各個(gè)方面評(píng)估多標(biāo)簽學(xué)習(xí)方法的性能.其中OE、CV和RL的值越低，則表示模型效果越好.同時(shí)TMLLGCN與基于BR[21]、CC[22]、LP[23]的方法以及CNN-RNN[9]、SGM[10]多標(biāo)簽學(xué)習(xí)算法進(jìn)行對(duì)比.

4.3 實(shí)驗(yàn)結(jié)果與分析

4.3.1 TMLLGCN和各基準(zhǔn)方法的整體性能比較

各方法在數(shù)據(jù)集上的比較結(jié)果如表2-表5所示.

表2 不同方法在指標(biāo)P、R、F1上的比較Table 2 Comparison of different methods on P，R，F(xiàn)1

表3 不同方法在One-error上的比較Table 3 Comparison of different methods on OE

從表2實(shí)驗(yàn)結(jié)果可以看出TMLLGCN模型在P、R和F1的評(píng)估上比其他方法表現(xiàn)更好.基于BR的算法在精確度指標(biāo)上比其他算法低，主要原因是其對(duì)標(biāo)簽關(guān)系進(jìn)行獨(dú)立性假設(shè)，標(biāo)簽關(guān)聯(lián)信息較弱.傳統(tǒng)基于CC和LP的方法由于建模標(biāo)簽關(guān)系性能有限，預(yù)測(cè)結(jié)果并不理想.深度學(xué)習(xí)方法CNN-RNN和SGM在精確度指標(biāo)上較BR、CC和LP有明顯提升，基于圖卷積的TMLLGCN在充分挖掘標(biāo)簽高階關(guān)系的同時(shí)考慮了未標(biāo)記量對(duì)標(biāo)簽集的影響，所以預(yù)測(cè)標(biāo)簽結(jié)果要優(yōu)于上述模型.從表3的6種算法在One-error指標(biāo)上的結(jié)果可以看出，本文方法TMLLGCN在數(shù)據(jù)集Zhihu上比深度學(xué)習(xí)方法CNN-RNN、SGM分別降低了7.1%、3.7%，在數(shù)據(jù)集AAPD上分別降低9.7%、6.2%.從表4實(shí)驗(yàn)結(jié)果可以看出，CNN-RNN、SGM和TMLLGCN在覆蓋率和排序損失上表現(xiàn)明顯優(yōu)于BR、CC和LP方法，其中在指標(biāo)Ranking Loss上，TMLLGCN比其他方法的值更低，在數(shù)據(jù)集AAPD上的排序損失降低到0.141.由表5實(shí)驗(yàn)分析可得TMLLGCN在基于標(biāo)簽的評(píng)價(jià)指標(biāo)上獲得優(yōu)異表現(xiàn)，其Macro-F1、Micro-F1指標(biāo)值比深度學(xué)習(xí)方法CNN-RNN均有提升，且顯著優(yōu)于傳統(tǒng)方法，這也進(jìn)一步說(shuō)明了本文方法在挖掘標(biāo)簽高階關(guān)系方面取得效果.綜合以上各方面實(shí)驗(yàn)評(píng)估結(jié)果，驗(yàn)證了TMLLGCN多標(biāo)簽學(xué)習(xí)方法的有效性和優(yōu)異性.

表4 不同方法在Coverage和Ranking Loss上的比較Table 4 Comparison of different methods on CV，RL

表5 不同方法在Macro-F1、Micro-F1上的比較Table 5 Comparison of different methods on Macro-F1 and Micro-F1

4.3.2 非對(duì)稱性參數(shù)μ的影響

為了觀察式(7)中不同μ值的影響，將μ設(shè)在[0，1]之間，平均準(zhǔn)確度在不同數(shù)據(jù)集上的實(shí)驗(yàn)效果如圖2所示.

圖2 在Zhihu(a)和AAPD(b)數(shù)據(jù)集上值的影響Fig.2 Effect of μ on Zhihu(a)and AAPD(b)

由圖2可得，μ取值范圍在區(qū)間[0.1，0.3]上效果較好，非平衡參數(shù)μ=0.2時(shí)，模型效果最好，這表明合理增加未知相關(guān)標(biāo)簽的學(xué)習(xí)權(quán)重有利于標(biāo)簽信息在節(jié)點(diǎn)上的傳播.

4.3.3 不同詞向量表示對(duì)TMLLGCN的影響

為探究不同詞向量表示對(duì)本文提出模型的影響，對(duì)標(biāo)簽進(jìn)行GloVe[24]，GoogleNews[25]，F(xiàn)astText[26]和one-hot詞向量表示.在數(shù)據(jù)集Zhihu和AAPD上的實(shí)驗(yàn)效果如圖3所示.

圖3 在Zhihu(a)和AAPD(b)上詞向量對(duì)TMLLGCN的影響Fig.3 Effect of word vector on TMLLGCN on Zhihu(a)and AAPD(b)

由圖3可發(fā)現(xiàn)，不同詞向量作為T(mén)MLLGCN的輸入時(shí)，多標(biāo)簽學(xué)習(xí)準(zhǔn)確度不會(huì)受到顯著影響.one-hot結(jié)果也表明模型準(zhǔn)確度的提升并非絕對(duì)地來(lái)自詞向量的語(yǔ)義，但使用強(qiáng)大的詞向量可帶來(lái)更好的結(jié)果.大量文本語(yǔ)料庫(kù)中學(xué)習(xí)的詞向量保持了一些語(yǔ)義拓?fù)洌凑Z(yǔ)義相關(guān)的概念在詞向量空間中是接近的，同時(shí)TMLLGCN可以使用這些依賴關(guān)系更好的進(jìn)行文本多標(biāo)簽學(xué)習(xí).此外，GCN層數(shù)并非越多越好，由圖3中F1-3指標(biāo)可知，當(dāng)圖卷積層數(shù)增加到3時(shí)，數(shù)據(jù)集上的F1指標(biāo)降低，可能的原因是：在增加GCN層數(shù)時(shí)，節(jié)點(diǎn)傳播積聚導(dǎo)致過(guò)度平滑.

5 結(jié)束語(yǔ)

捕獲標(biāo)簽依賴性是文本多標(biāo)簽學(xué)習(xí)的一個(gè)關(guān)鍵問(wèn)題.為了對(duì)這些重要信息進(jìn)行建模和探索，本文提出通過(guò)GCN的映射函數(shù)從數(shù)據(jù)驅(qū)動(dòng)的標(biāo)簽表示中學(xué)習(xí)對(duì)象分類(lèi)器挖掘標(biāo)簽高階關(guān)系.為更好地建模高階關(guān)系以及提高標(biāo)簽缺失時(shí)的預(yù)測(cè)效果，在得到的基礎(chǔ)標(biāo)簽關(guān)聯(lián)矩陣上考慮了未標(biāo)記標(biāo)簽集對(duì)已有標(biāo)簽集的影響進(jìn)行標(biāo)簽補(bǔ)全，定量和定性的實(shí)驗(yàn)結(jié)果均證實(shí)了TMLLGCN模型的優(yōu)勢(shì).在進(jìn)一步研究工作中，我們將致力于通過(guò)注意力機(jī)制和更好的初始關(guān)系策略來(lái)優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，以提升模型的多標(biāo)簽學(xué)習(xí)能力.