楊飛揚(yáng)，崔榮一，趙亞慧，金 晶，李飛雨

(延邊大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 智能信息處理研究室，吉林 延吉 133002)

0 引言

少數(shù)民族語(yǔ)言文字造就了中華文字的多樣性，是中華文字的重要組成部分，為民族文化的發(fā)展提供了重要的支持。朝鮮語(yǔ)是我國(guó)朝鮮族的官方語(yǔ)言，但我國(guó)在朝鮮語(yǔ)自然語(yǔ)言處理方面的研究起步晚、基礎(chǔ)差、缺少大規(guī)模數(shù)據(jù)。相比朝鮮與韓國(guó)，我國(guó)的相關(guān)研究還處于基礎(chǔ)階段，無(wú)論從知識(shí)產(chǎn)權(quán)與奪取信息優(yōu)勢(shì)的角度，還是自主創(chuàng)新與經(jīng)濟(jì)效益的角度，都需要大力推進(jìn)我國(guó)朝鮮語(yǔ)信息處理建設(shè)。因此，本研究對(duì)加強(qiáng)民族交流團(tuán)結(jié)與推動(dòng)社會(huì)主義文化大發(fā)展具有重要的現(xiàn)實(shí)意義和迫切的時(shí)代需求[1-2]。

目前對(duì)于朝鮮語(yǔ)句子的人工標(biāo)注，結(jié)構(gòu)劃分需要花費(fèi)大量的精力與時(shí)間，針對(duì)這一問(wèn)題，利用表征學(xué)習(xí)的邏輯，從語(yǔ)言本身出發(fā)，Li等人[3]提出了以漢字中偏旁部首為特征粒度的charCBOW和charSkipGram模型來(lái)提升文本相似度計(jì)算的效果，Cui等人[4]與Joshi等人[5]證明了在預(yù)訓(xùn)練中屏蔽粗粒度標(biāo)記對(duì)語(yǔ)言模型是有幫助的。Devlin等人[6]提出的BERT(Bidirectional Encoder Representations from Transformers)模型對(duì)海量公開數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，在11個(gè)自然語(yǔ)言處理下游任務(wù)中取得了非常好的效果，其中，英文使用Word Piece子詞粒度，中文使用字粒度。因此，本研究將朝鮮語(yǔ)切分為音素、音節(jié)、子詞、詞與隔寫5種不同粒度。根據(jù)預(yù)處理后不同粒度切分后的序列中包含的特征信息的不同，探討在朝鮮語(yǔ)自然語(yǔ)言處理下游任務(wù)中甄選最優(yōu)粒度來(lái)提升模型效果。

從強(qiáng)化學(xué)習(xí)的角度，將句子重構(gòu)作為智能體，將句子中單詞結(jié)構(gòu)之間如何連接作為動(dòng)作，將朝鮮語(yǔ)文本分類效果作為強(qiáng)化學(xué)習(xí)中的環(huán)境反饋。而主流的分類模型大致可分為詞袋模型、序列模型和圖模型。其中，基于統(tǒng)計(jì)的詞袋模型往往忽略詞之間的語(yǔ)義，已經(jīng)逐漸淡出歷史舞臺(tái)[7]?；赗NNs、CNNs的序列模型在與注意力機(jī)制結(jié)合的過(guò)程中能夠獲取單詞依賴關(guān)系和文本結(jié)構(gòu)[8]，基于Transformer衍生出的模型在文本任務(wù)上有著良好的表現(xiàn)[9]。圖模型在捕獲語(yǔ)言內(nèi)部的語(yǔ)法語(yǔ)義解析樹方面有著很好的效果[10]。但兩者在小規(guī)模數(shù)據(jù)、低資源語(yǔ)言的處理上，由于模型的復(fù)雜度與數(shù)據(jù)的規(guī)模的配值失調(diào)，并不能有同樣強(qiáng)大的表現(xiàn)，所以在處理朝鮮語(yǔ)文本的過(guò)程中，本研究結(jié)合強(qiáng)化學(xué)習(xí)的方法提出了HS-K(Hierarchically Structured Korean)模型，將重要結(jié)構(gòu)識(shí)別問(wèn)題轉(zhuǎn)化為序列處理問(wèn)題，構(gòu)建詞級(jí)到短語(yǔ)級(jí)的的分層結(jié)構(gòu)，利用強(qiáng)化學(xué)習(xí)中Actor-Critic的思想[11]，將分類準(zhǔn)確率作為反饋來(lái)學(xué)習(xí)更好的結(jié)構(gòu)劃分，并在預(yù)處理部分采用多種粒度進(jìn)行單詞切割，從而識(shí)別出更接近人類標(biāo)注的重要結(jié)構(gòu)。

1 相關(guān)工作

1.1 針對(duì)朝鮮語(yǔ)的多種特征粒度預(yù)處理

探究朝鮮語(yǔ)的多種特征粒度作為輸入表示的動(dòng)機(jī)在于，對(duì)低資源語(yǔ)言的自然語(yǔ)言處理任務(wù)而言，最初的輸入尤為重要，模型需要選擇一種最為直觀的切分粒度。朝鮮語(yǔ)屬于黏著語(yǔ)，詞根構(gòu)詞法與詞綴構(gòu)詞法發(fā)達(dá)，詞匯多數(shù)為雙音節(jié)詞與多音節(jié)詞，且在朝鮮語(yǔ)現(xiàn)行的拼寫法中，一般會(huì)把隔寫作為語(yǔ)節(jié)的切分依據(jù)，即使用空格切分獲得的文本粒度稱為語(yǔ)節(jié)，語(yǔ)節(jié)中會(huì)包含詞根與詞綴。因此，在朝鮮語(yǔ)自然語(yǔ)言處理中，可以利用這些空格對(duì)文本進(jìn)行切分，形成最大粒度的特征表示單元。在朝鮮語(yǔ)分詞處理中，會(huì)拆分出語(yǔ)節(jié)中的助詞或詞尾，并將謂詞還原成詞語(yǔ)本身[12]。在朝鮮語(yǔ)分詞工具集KoNLPy[13]中包含多種分詞工具，例如，Hannanum、Kkma、Komoran、Mecab。針對(duì)同一句朝鮮語(yǔ)文本，使用不同分詞工具的切分效果如表1所示。

表1 不同分詞工具對(duì)朝鮮語(yǔ)文本的切分效果

在表1中，Kkma能夠分辨出一詞多譯的現(xiàn)象，所以本文使用Kkma分詞工具獲得詞粒度。子詞粒度，是將經(jīng)過(guò)分詞處理后的詞干或詞尾表示成為更小的片段，它使得構(gòu)建的詞典變小。在子詞粒度中，傳統(tǒng)方法使用BPE算法[14]或Unigram[15]模型。在文獻(xiàn)[6]中，BERT模型采用Word Piece進(jìn)行分割。Word Piece與BPE類似，在每次合并時(shí)都選擇最頻繁出現(xiàn)的字符對(duì)，但區(qū)別是Word Piece使用類似于Unigram的方法，需要考慮字符對(duì)合并的可能性進(jìn)行判斷。本文采用Word Piece獲取朝鮮語(yǔ)文本的子詞粒度。朝鮮語(yǔ)中句法的最小單位是詞，詞法的最小單位是音節(jié)。能夠一次發(fā)出的音，具有一個(gè)響亮的中心，并被明顯感覺(jué)到的語(yǔ)音片段叫作音節(jié)。朝鮮語(yǔ)屬于單音節(jié)語(yǔ)言，即一字一音。由于音節(jié)數(shù)量有限，以音節(jié)粒度表示文本時(shí)可以保證較小的特征空間，空間復(fù)雜度較低。在詞粒度中，不同的分詞工具處理方法不同，可能會(huì)導(dǎo)致病態(tài)分詞，造成誤差[16]。所以當(dāng)選擇音節(jié)作為特征粒度時(shí)，不會(huì)像詞粒度一樣有不同的表示。比音節(jié)更細(xì)的粒度還有音素粒度，朝鮮語(yǔ)中的所有音素，如表2所示。

在朝鮮語(yǔ)中，音節(jié)由輔音、元音與韻尾三部分構(gòu)成，輔音、元音與韻尾三部分統(tǒng)稱為音素。使用音素粒度對(duì)語(yǔ)料進(jìn)行切分后，對(duì)每個(gè)音素的字符序列進(jìn)行編碼。在以上多種粒度切分的基礎(chǔ)上進(jìn)行下游自然語(yǔ)言處理任務(wù)便可以在不同程度上提升模型的效果。

表2 朝鮮語(yǔ)中的所有音素

1.2 結(jié)合注意力機(jī)制與強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò)

強(qiáng)化學(xué)習(xí)通過(guò)從環(huán)境狀態(tài)映射到動(dòng)作過(guò)程中獲取最大累計(jì)獎(jiǎng)賞，解決了復(fù)雜狀態(tài)空間下的決策問(wèn)題[17]，決策網(wǎng)絡(luò)的核心邏輯是Actor-Critic思想，與傳統(tǒng)的有監(jiān)督學(xué)習(xí)不同，在序列級(jí)任務(wù)中引入強(qiáng)化學(xué)習(xí)，使得訓(xùn)練過(guò)程中直接優(yōu)化獎(jiǎng)勵(lì)而不再使用交叉熵?fù)p失函數(shù)，而是將環(huán)境反饋信息reward作為有監(jiān)督學(xué)習(xí)中的標(biāo)簽。基于不同的策略會(huì)得到不同的reward值，reward值越大則動(dòng)作下次被選中的概率就越大，reward值越小則動(dòng)作下次被選中的概率就越少，每一個(gè)動(dòng)作產(chǎn)生的反饋累計(jì)的總和表示一個(gè)完整句子的reward值[18]。

在訓(xùn)練的初期采用隨機(jī)策略π(at|st;Θ)，相比較交叉熵的梯度下降，相當(dāng)于在動(dòng)作的概率分布上加入了reward系數(shù)，通過(guò)一次完整的動(dòng)作疊加得到反饋，即經(jīng)歷了一次完整的狀態(tài)-行為序列后得到反饋。其中，每個(gè)狀態(tài)(單詞)都對(duì)應(yīng)一個(gè)動(dòng)作，而動(dòng)作的判定來(lái)自對(duì)動(dòng)作函數(shù)的采樣，在一次完整的句子結(jié)構(gòu)重構(gòu)的過(guò)程中，每個(gè)單詞都會(huì)獲取相應(yīng)的動(dòng)作，對(duì)動(dòng)作采樣后選擇概率最大的動(dòng)作，繼而每個(gè)句子都會(huì)獲取相應(yīng)的動(dòng)作序列。將得到的動(dòng)作序列傳入文本表示模型，更新句子的結(jié)構(gòu)劃分而進(jìn)行重構(gòu)，將重構(gòu)后的句子表示輸入到分類器中得到分類的準(zhǔn)確率P(y|X)，X表示輸入的句子，y表示分類的標(biāo)簽。并將其用于反饋函數(shù)計(jì)算得到reward值，用于模型學(xué)習(xí)。策略與動(dòng)作的計(jì)算如式(1)、式(2)所示。

其中，π(at|st;Θ)表示選擇動(dòng)作的概率，σ表示激活函數(shù)；Θ={W,b}表示神經(jīng)網(wǎng)絡(luò)的參數(shù)。

結(jié)合強(qiáng)化學(xué)習(xí)算法中的Policy Gradient方法[19]，計(jì)算不同策略下的reward值，達(dá)到最大的獎(jiǎng)勵(lì)收益，如式(3)所示。

(3)

其中，s表示當(dāng)前狀態(tài)單詞，RL表示句子累計(jì)獎(jiǎng)勵(lì)。在此基礎(chǔ)上，在強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)的動(dòng)作序列生成過(guò)程中加入注意力機(jī)制。因?yàn)槌r語(yǔ)數(shù)據(jù)量較少，并且動(dòng)作序列的獲取相對(duì)于機(jī)器翻譯的任務(wù)更為簡(jiǎn)化，所以使用以Self-Attention模型[20]作為核心的注意力模型。在一般的Attention中，source和target中的內(nèi)容不同，即Query不屬于Key，而Self-Attention發(fā)生在單個(gè)句子內(nèi)，它的Query屬于Key。其注意力機(jī)制可表示如式(4)、式(5)所示。

(4)

(5)

2 基于強(qiáng)化學(xué)習(xí)的朝鮮語(yǔ)重要結(jié)構(gòu)識(shí)別模型(HS-K)

由于朝鮮語(yǔ)屬于黏著語(yǔ)，詞根、詞綴表達(dá)法豐富，相同的詞根與不同的詞綴結(jié)合后所表示的含義不同，且具有豐富的語(yǔ)言表達(dá)形式，所以在預(yù)處理時(shí)選擇不同粒度的切分所包含的語(yǔ)義以及所生成的詞典的大小有很大的變化，同時(shí)會(huì)對(duì)下游任務(wù)產(chǎn)生一定的影響。

針對(duì)這一問(wèn)題，本文最終的目的是通過(guò)強(qiáng)化學(xué)習(xí)的思想，利用朝鮮語(yǔ)文本分類任務(wù)的效果作為標(biāo)簽信息，識(shí)別出朝鮮語(yǔ)句子中重要的結(jié)構(gòu)。本文提出了一種分層結(jié)構(gòu)的表示模型——HS-Korean模型，其主體包括三個(gè)部分: 策略梯度網(wǎng)絡(luò)、結(jié)構(gòu)表示模型與分類器，其中，結(jié)構(gòu)表示模型對(duì)應(yīng)強(qiáng)化學(xué)習(xí)中的Agent部分，根據(jù)策略網(wǎng)絡(luò)傳入的動(dòng)作序列對(duì)句子進(jìn)行結(jié)構(gòu)劃分。策略網(wǎng)絡(luò)對(duì)應(yīng)Action部分，對(duì)動(dòng)作進(jìn)行抽樣篩選，與Self-Attention結(jié)合，強(qiáng)化學(xué)習(xí)中動(dòng)作的優(yōu)選與Self-Attention機(jī)制的權(quán)重分配相呼應(yīng)，使每個(gè)句子對(duì)應(yīng)一個(gè)動(dòng)作序列，同時(shí)優(yōu)化了隨機(jī)策略對(duì)于強(qiáng)化學(xué)習(xí)造成的方差過(guò)大與難以擬合的劣勢(shì)。分類器對(duì)應(yīng)reward部分，根據(jù)更新的句子結(jié)構(gòu)，得到不同結(jié)構(gòu)劃分下的分類準(zhǔn)確率，用來(lái)指導(dǎo)策略網(wǎng)絡(luò)學(xué)習(xí)，具體模型如圖1所示。

圖1 基于強(qiáng)化學(xué)習(xí)的網(wǎng)絡(luò)模型結(jié)構(gòu)圖

2.1 HS-K模型強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)中反饋函數(shù)設(shè)計(jì)

盡管在強(qiáng)化學(xué)習(xí)的過(guò)程中可以得到逐漸提升的文本分類準(zhǔn)確率，但要成功地將強(qiáng)化學(xué)習(xí)訓(xùn)練擬合并不容易，訓(xùn)練的過(guò)程中面臨的主要問(wèn)題有方差較大、梯度不穩(wěn)定與訓(xùn)練效率低等。目前關(guān)于強(qiáng)化學(xué)習(xí)的訓(xùn)練設(shè)置，尚未能達(dá)成如何避免此類問(wèn)題的共識(shí)，甚至還沒(méi)有系統(tǒng)的研究。對(duì)于深度強(qiáng)化學(xué)習(xí)而言，反饋函數(shù)的設(shè)計(jì)直接影響模型效果，其作用至關(guān)重要。本文提出的模型對(duì)于反饋函數(shù)的設(shè)計(jì)，意圖將文本分類準(zhǔn)確率與適合朝鮮語(yǔ)數(shù)據(jù)特點(diǎn)的短語(yǔ)長(zhǎng)度作為參考特征，使結(jié)構(gòu)劃分過(guò)程中不但能提升文本分類的準(zhǔn)確率，同時(shí)使朝鮮語(yǔ)重要結(jié)構(gòu)的切分任務(wù)更接近人工的標(biāo)注。在分類任務(wù)中利用Transformer的encoder部分作為編碼器，如圖2所示。

圖2 Transformer模型結(jié)構(gòu)圖

在Transformer的encoder部分[6]，由8個(gè)相同的網(wǎng)絡(luò)層堆疊而成，每個(gè)網(wǎng)絡(luò)層包含兩個(gè)使用殘差連接的子網(wǎng)絡(luò)層，兩個(gè)子網(wǎng)絡(luò)層分別為多頭自注意力層與前饋神經(jīng)網(wǎng)絡(luò)層，在每個(gè)網(wǎng)絡(luò)層中加入Add&Norm層，用于將當(dāng)前層輸出累加并歸一化，其中最主要的模塊是多頭自注意力機(jī)制(Multi-Head Attention)，其計(jì)算如式(6)、式(7)所示。

基于Transformer分類網(wǎng)絡(luò)得到朝鮮語(yǔ)文本分類的準(zhǔn)確率后，若想用于預(yù)測(cè)結(jié)構(gòu)劃分，還需要考慮朝鮮語(yǔ)文本的特點(diǎn)。在一個(gè)標(biāo)準(zhǔn)的朝鮮語(yǔ)句子中，短語(yǔ)數(shù)目不能過(guò)多，也不能過(guò)少，可以選用單峰函數(shù)控制句子中的短語(yǔ)數(shù)目。在語(yǔ)言特征方面，朝鮮語(yǔ)的劃分以句子平均長(zhǎng)度為10為例，在人工標(biāo)注100條數(shù)據(jù)后，統(tǒng)計(jì)得出對(duì)應(yīng)平均短語(yǔ)數(shù)為2.9，所以認(rèn)為單峰函數(shù)極值應(yīng)接近0.29。單峰函數(shù)與Reward函數(shù)設(shè)計(jì)如式(8)、式(9)所示。

f(x)=1.2x+0.1/x

(8)

RL=logP(y|X)+γ(1.2L′/L+0.1L/L′)

(9)

其中，L′表示劃分的短語(yǔ)數(shù)，L表示句子長(zhǎng)度，γ表示調(diào)節(jié)超參數(shù)，P(y|X)表示文本分類準(zhǔn)確率，用分類的準(zhǔn)確率與語(yǔ)言特征相互牽制，達(dá)到更好的短語(yǔ)結(jié)構(gòu)劃分結(jié)果與分類結(jié)果。在強(qiáng)化學(xué)習(xí)的過(guò)程中，梯度估計(jì)存在較大的差異。為了減少差異，Ranzato等人[21]在反饋函數(shù)中減去平均獎(jiǎng)勵(lì)，用于更新策略的實(shí)際獎(jiǎng)勵(lì)為如式(10)所示。

(10)

2.2 HS-K模型的具體構(gòu)造

在深度強(qiáng)化學(xué)習(xí)與Self-Attention相結(jié)合的過(guò)程中，環(huán)境反饋是非常重要的一部分，而本文提出的模型主要以文本分類準(zhǔn)確率作為標(biāo)簽信息。在劃分結(jié)構(gòu)的過(guò)程中，需要獲取單詞級(jí)到短語(yǔ)級(jí)的分層關(guān)系，故本文采用層次結(jié)構(gòu)模型作為結(jié)構(gòu)表示的基礎(chǔ)，其中，關(guān)于文本分類的層次結(jié)構(gòu)模型已經(jīng)廣泛應(yīng)用于分類任務(wù)中，例如，Chung等人的層次特征語(yǔ)言模型[22]與Tang等人的門控遞歸情感分類模型[23]。

在HS-K中包含單詞級(jí)Self-Attention與短語(yǔ)級(jí)Self-Attention，其中單詞級(jí)Self-Attention將單詞序列拼接為短語(yǔ)序列，動(dòng)作設(shè)置為inside與end，即在t-1時(shí)刻采樣動(dòng)作為end時(shí)，認(rèn)為t時(shí)刻為下一個(gè)短語(yǔ)中的第一個(gè)單詞，其他情況則認(rèn)為當(dāng)前時(shí)刻的單詞狀態(tài)為短語(yǔ)的中間詞，具體過(guò)程如式(11)所示。

(11)

短語(yǔ)級(jí)Self-Attention將得到的短語(yǔ)序列拼接為句子的最終表示，在t時(shí)刻動(dòng)作為end時(shí)表示在t時(shí)刻完整構(gòu)建短語(yǔ)，將單詞級(jí)隱狀態(tài)作為短語(yǔ)級(jí)的輸入，與單詞級(jí)相同，其他時(shí)刻采用動(dòng)作inside，此過(guò)程可以固定短語(yǔ)級(jí)Self-Attention，具體過(guò)程如式(12)所示。

(12)

圖3 HS-K模型結(jié)構(gòu)圖

在切分的過(guò)程中,reward函數(shù)能夠同時(shí)控制短語(yǔ)切分的位置與短語(yǔ)的長(zhǎng)度，在提升分類準(zhǔn)確率的過(guò)程中，對(duì)朝鮮語(yǔ)句子切割得到的短語(yǔ)也逐漸趨近于人工的標(biāo)注。

3 實(shí)驗(yàn)結(jié)果及分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集及預(yù)處理

實(shí)驗(yàn)所用數(shù)據(jù)集源自本實(shí)驗(yàn)室承擔(dān)的“中韓科技信息加工綜合平臺(tái)”項(xiàng)目構(gòu)建的科技文獻(xiàn)摘要語(yǔ)料，文檔約3萬(wàn)篇，分為植物、生物技術(shù)、測(cè)控技術(shù)等13個(gè)標(biāo)簽，其中，各標(biāo)簽按8∶1∶1的比例隨機(jī)選取文檔形成訓(xùn)練集和測(cè)試集[24]。數(shù)據(jù)集詳情如表3所示。

表3 數(shù)據(jù)集類別及數(shù)目

在朝鮮語(yǔ)預(yù)處理中，本實(shí)驗(yàn)將語(yǔ)料切分為音素、音節(jié)、子詞、詞與隔寫5種不同粒度，不同粒度包含不同的語(yǔ)義信息，同時(shí)所構(gòu)建的詞典規(guī)模同粒度規(guī)模成正比。對(duì)于同一句語(yǔ)料信息，使用不同粒度處理后的樣式如表4所示。

表4 不同預(yù)處理粒度展示

在最終模型下選用不同的粒度進(jìn)行分類準(zhǔn)確率測(cè)試，具體效果如表5所示。根據(jù)不同粒度在分類效果上的表現(xiàn)，本文最終選擇經(jīng)過(guò)Kkma分詞處理后再使用Word Piece獲得的朝鮮語(yǔ)文本子詞粒度，即選擇子詞粒度作為文本的特征粒度。

表5 不同預(yù)處理粒度下的分類準(zhǔn)確率

3.2 模型設(shè)置及對(duì)比實(shí)驗(yàn)

在實(shí)驗(yàn)的初始化過(guò)程中，采用GloVe方法作為詞嵌入訓(xùn)練預(yù)處理詞向量[25]，維度設(shè)置為256，與位置編碼拼接后共同作為模型的輸入。因?yàn)閺?qiáng)化學(xué)習(xí)的梯度下降比較困難，故采用抑制因子γ平滑策略的更新。在優(yōu)化器的選擇方面，采用了AdaBelief優(yōu)化器[26]，其優(yōu)點(diǎn)在于可采用自適應(yīng)方法快速收斂，具有Adam[27]的良好泛化性與訓(xùn)練穩(wěn)定性，定義優(yōu)化器的學(xué)習(xí)率為0.005，分類器采用Transformer堆疊8層的模式，加入Positional Encoding后維度設(shè)置為512。

在模型訓(xùn)練的過(guò)程中，首先將策略網(wǎng)絡(luò)Mask，再將完整句子輸入到分類器中，達(dá)到穩(wěn)定狀態(tài)后加入強(qiáng)化學(xué)習(xí)的策略網(wǎng)絡(luò)，在訓(xùn)練初期，模型的分類準(zhǔn)確率在70%上下浮動(dòng)，準(zhǔn)確率隨著迭代而提升，在迭代次數(shù)為500到750之間時(shí)，準(zhǔn)確率上升較快，在1 000次之后準(zhǔn)確率在不斷波動(dòng)，最終模型的分類準(zhǔn)確率達(dá)到85.04%，具體過(guò)程如圖4所示。

圖4 HS-K模型訓(xùn)練過(guò)程圖

在模型擬合過(guò)程中損失函數(shù)的變化如圖5所示，不同于以往的下降趨勢(shì)，在引入強(qiáng)化學(xué)習(xí)后，模型的loss值有波動(dòng)地下降，在準(zhǔn)確率已經(jīng)最終接近擬合時(shí)，loss的波動(dòng)也明顯變小。

圖5 HS-K模型損失函數(shù)變化圖

在分類有效性的對(duì)比實(shí)驗(yàn)中，采用了以機(jī)器翻譯為核心的模型MT[28]，以序列模型為核心的神經(jīng)網(wǎng)絡(luò)模型包括CNN[29]、LSTM、Bi-LSTM與T-BLSTM-CNN[30]，以強(qiáng)化學(xué)習(xí)為核心的ID-LSTM、HS-LSTM[18]。其中,所有模型所使用的詞向量維度與預(yù)處理粒度均與本文相同，具體結(jié)果如表6所示。

表6 多種模型的分類準(zhǔn)確率

從多個(gè)模型的分類結(jié)果可以看出，本文提出的HS-K模型表現(xiàn)良好，從而也證明了針對(duì)朝鮮語(yǔ)文本選用合適的粒度作為預(yù)處理，同時(shí)引入強(qiáng)化學(xué)習(xí)作為核心邏輯的方法，對(duì)于分類效果提升是有效的。在分類準(zhǔn)確率處于峰值時(shí)，對(duì)于朝鮮語(yǔ)句子劃分如圖6所示。

圖6 朝鮮語(yǔ)結(jié)構(gòu)化樣例圖

圖6中的朝鮮語(yǔ)句子在預(yù)處理后，模型對(duì)其劃分出新的“短語(yǔ)”結(jié)構(gòu)，識(shí)別出的短語(yǔ)結(jié)構(gòu)接近于人工的標(biāo)注，同時(shí)證明了在強(qiáng)化學(xué)習(xí)過(guò)程中，使用通過(guò)分類任務(wù)來(lái)指導(dǎo)句子的表征學(xué)習(xí)策略，能夠得到良好的文本表示。

4 結(jié)論

本文將深度強(qiáng)化學(xué)習(xí)與Self-Attention相結(jié)合，針對(duì)朝鮮語(yǔ)文本，提出了一種能夠不依賴人工數(shù)據(jù)標(biāo)注，識(shí)別出句子中重要結(jié)構(gòu)的HS-K模型。模型中主要包含了三個(gè)網(wǎng)絡(luò)，在強(qiáng)化學(xué)習(xí)的核心邏輯下，將句子的結(jié)構(gòu)表示作為Agent，將句子的結(jié)構(gòu)劃分作為Action，將分類器的分類效果作為reward，三個(gè)網(wǎng)絡(luò)集成在一起。在模型訓(xùn)練的過(guò)程中，引入基線獎(jiǎng)勵(lì)加速了模型整體的收斂速度，深度強(qiáng)化學(xué)習(xí)與Self-Attention相輔相成，不但彌補(bǔ)了強(qiáng)化學(xué)習(xí)難以擬合、反饋信息難以定義的劣勢(shì)，同時(shí)也解決了在注意力機(jī)制中模塊的參數(shù)全部通過(guò)標(biāo)簽預(yù)測(cè)的Loss值反向傳播，沒(méi)有引入其他的監(jiān)督信息導(dǎo)致的對(duì)標(biāo)簽的過(guò)擬合問(wèn)題。實(shí)驗(yàn)結(jié)果表明，作為模型指導(dǎo)信息的分類效果表現(xiàn)良好，同時(shí)得到的朝鮮語(yǔ)句子結(jié)構(gòu)劃分接近人工標(biāo)注。