古天龍 馮 旋 李 龍,2 包旭光 李云輝

1(廣西可信軟件重點實驗室(桂林電子科技大學(xué)) 廣西桂林 541004)2(暨南大學(xué)信息科學(xué)技術(shù)學(xué)院/網(wǎng)絡(luò)空間安全學(xué)院 廣州 510632)(gu@guet.edu.cn)

隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展和物聯(lián)網(wǎng)的不斷更新，人工智能(AI)已經(jīng)廣泛應(yīng)用到無人駕駛、智能家居、醫(yī)療護理等諸多領(lǐng)域，為生活帶來巨大便利.但與此同時，人機交互方式的簡化使得人們對技術(shù)的依賴程度越來越深，對其控制卻逐漸減弱，技術(shù)的不完善和數(shù)據(jù)的不恰當(dāng)使用引發(fā)的倫理問題不斷出現(xiàn)[1-2].為了使技術(shù)更好地為人類服務(wù)，AI系統(tǒng)需要具備倫理行為判別能力，理解特定社會的倫理道德規(guī)范，理解行為背后的社會、文化和倫理含義，才能在現(xiàn)實世界中進行大規(guī)模部署[3].

AI系統(tǒng)的開發(fā)應(yīng)當(dāng)始終秉承以人為中心、造福全人類的發(fā)展理念，為其添加倫理行為判別能力成為日益緊迫的問題[4-6].通過嵌入倫理道德規(guī)范能夠使AI系統(tǒng)具備倫理行為的判別及執(zhí)行能力，從而遵守法律和社會行為規(guī)范，是AI具備道德能力的體現(xiàn).但由于倫理概念的復(fù)雜性及當(dāng)前技術(shù)發(fā)展的局限性，倫理行為判別方面的技術(shù)研究面臨著諸多障礙.

早期針對倫理行為判別能力的研究工作主要包括基于規(guī)則的方法[7]和基于案例的方法[8]，而這些方法普遍存在知識信息難以規(guī)則化、不具備自動獲取特征表示的能力，導(dǎo)致模型的泛化能力并不理想.近年來，基于強化學(xué)習(xí)的方法[9]從試錯或觀察中學(xué)習(xí)人類的行為偏好，取得了很好的效果.雖然基于強化學(xué)習(xí)的方法行之有效，但是仍然具有以下不足之處：1)對環(huán)境變化的適應(yīng)能力弱，只能適應(yīng)特定領(lǐng)域而難以學(xué)習(xí)演示示例之外的知識；2)學(xué)習(xí)效率低下，示教者難以提供高質(zhì)量的演示，而且提供演示需要耗費大量時間；3)模型訓(xùn)練嚴重依賴數(shù)據(jù)，往往需要海量的高質(zhì)量數(shù)據(jù)，而且有反饋信號稀疏等問題，難以從原始數(shù)據(jù)中提取有用特征.

近期的研究表明，基于大規(guī)模無監(jiān)督語料的預(yù)訓(xùn)練語言模型編碼了行為規(guī)范等常識知識，包含豐富的語義信息，同時在高質(zhì)量標注數(shù)據(jù)集上進行微調(diào)(fine-tuning)可以給目標任務(wù)帶來巨大的效果提升[10-14].其具體優(yōu)勢有：1)近乎無限量的優(yōu)質(zhì)數(shù)據(jù)；2)一次學(xué)習(xí)多次復(fù)用；3)學(xué)習(xí)到的語義表征可在多個任務(wù)中進行快速遷移.

鑒于最近預(yù)訓(xùn)練語言模型的強大語義表示能力，針對缺乏高質(zhì)量標注數(shù)據(jù)集的倫理行為判別任務(wù)，本文基于豐富的新聞?wù)Z料構(gòu)建了涵蓋倫理道德和人類行為的社會新聞數(shù)據(jù)集，同時基于使用信息實體的增強語言表示(enhanced language repre-sentation with informative entities, ERNIE)[14-16]和卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)[17]提出了倫理行為判別模型ERNIE-CNN.通過倫理行為判別實驗和零樣本遷移實驗，證明了本文所提方法和模型的有效性，同時為AI倫理的未來研究提供必要的支持.

本文的主要貢獻有3個方面：

1) 基于豐富的新聞?wù)Z料構(gòu)建了社會新聞數(shù)據(jù)集，為了驗證倫理判別方法的有效性，同時構(gòu)建了法律與行為規(guī)范數(shù)據(jù)集.

2) 基于使用信息實體的增強語言表示(ERNIE)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)提出ERNIE-CNN模型.

3) 通過零樣本遷移實驗驗證了協(xié)變量偏移下的領(lǐng)域適應(yīng)能力，驗證倫理行為判別方法的有效性.

1 相關(guān)工作

為AI系統(tǒng)增添倫理行為判別能力，有助于避免倫理問題，提高人類對技術(shù)的接受程度，從而促進AI技術(shù)的研究與推廣.早期的相關(guān)研究工作大多選擇將明確的倫理原則或規(guī)范嵌入AI系統(tǒng)，主要包括基于規(guī)則的方法和基于案例的方法.

基于規(guī)則的方法是根據(jù)倫理原則或規(guī)范為AI系統(tǒng)嵌入倫理行為判別的能力，實現(xiàn)了不同的倫理原則.Anderson等人[18]基于羅爾斯義務(wù)論開發(fā)了倫理顧問系統(tǒng)W.D.，該系統(tǒng)從案例數(shù)據(jù)中學(xué)習(xí)各項行為原則的權(quán)重，計算并選擇具有最高效用值的行為.Anderson等人[19]基于生物醫(yī)學(xué)理論設(shè)計了倫理顧問系統(tǒng)MedEthEx，使用歸納邏輯程序設(shè)計技術(shù)提取倫理信息，輔助醫(yī)護人員確定倫理行為選擇，用于解決醫(yī)療護理中涉及人機交互的倫理問題.Arkin[20]將戰(zhàn)爭法和交戰(zhàn)規(guī)則嵌入自主武器系統(tǒng)，用于約束系統(tǒng)的致命行為，判斷其行為是否符合倫理道德.盡管上述研究工作實現(xiàn)了對單一倫理原則或規(guī)范的嵌入，但并未考慮不同規(guī)范間存在的規(guī)范沖突風(fēng)險.總體而言，基于規(guī)則的方法具有較強的可解釋性，能使人們更直觀地了解模型的判別過程，而無法推理未編碼到知識庫中的條件和規(guī)則，難以避免規(guī)范沖突問題，因此其性能表現(xiàn)較為受限.

基于案例的方法是通過重用以往經(jīng)驗進行規(guī)范嵌入，通過類比以往的案例自動提取規(guī)范并求解問題的方法.Ashley和McLaren[21-22]使用基于案例的方法設(shè)計了SIROCCO程序，探索和分析案件遵循的倫理原則和具體事實之間的關(guān)系.Dehghani等人[23]提出了計算模型MoralDM.當(dāng)面對新的倫理決策場景時，MoralDM中的類比推理模塊將新場景與數(shù)據(jù)庫中先前已解決的多個場景進行比較，計算新案例和已解決方案之間的相似度并以此為基礎(chǔ)進行類比推理.但隨著案例數(shù)量的增加，MoralDM窮舉比較方法的計算復(fù)雜度將相應(yīng)增加，導(dǎo)致實用性變差.Blass等人[24]利用結(jié)構(gòu)映射擴展了MoralDM模型，通過計算案例及候選規(guī)范之間的相似度縮小搜索空間，提高基于案例方法的效率.總體而言，基于案例的方法具有信息表達完整、求解方法簡單等優(yōu)點，已經(jīng)在倫理行為判別研究中成功運用，但是其缺點也較為突出，即有限的規(guī)范無法適應(yīng)不斷變化的道德場景，而且必須解決案例的相似度度量、訓(xùn)練案例的選取等問題.

近年來，基于強化學(xué)習(xí)的方法通過人類專家示教、獎勵的形式學(xué)習(xí)人類的行為偏好，同樣能夠為AI系統(tǒng)嵌入倫理行為判別能力.強化學(xué)習(xí)通常使用動態(tài)規(guī)劃技術(shù)來解決問題，以試錯的方式自主學(xué)習(xí)或從示教者提供的示例中學(xué)習(xí)，以達到獎勵函數(shù)最大化并最終實現(xiàn)特定目標.Abel等人[25]將強化學(xué)習(xí)形式化為部分可觀察馬爾可夫決策過程(POMDP)，并針對2個倫理困境(蛋糕或死亡、火災(zāi)救援實驗)驗證了該方法的靈活性和穩(wěn)定性.然而在有限步(Finite Horizon)內(nèi)，POMDP問題難以求解.Wu等人[26]基于反向強化學(xué)習(xí)，利用專家行為數(shù)據(jù)，通過最大化獎勵函數(shù)來平衡道德行為和效用值的追求.但由于每個人的偏好不同，專家的行為數(shù)據(jù)也可能存在分歧.Riedl等人[27]認為一個可以閱讀和理解故事的模型能夠從故事所直接體現(xiàn)出的或隱含的社會文化知識中學(xué)習(xí)其所蘊含的社會行為規(guī)范，因此基于強化學(xué)習(xí)提出了從眾包故事中學(xué)習(xí)人類行為偏好的方法.此方法的局限性在于眾包故事的獲取途徑單一，只適用于特定任務(wù).總體而言，基于強化學(xué)習(xí)的方法能夠通過與環(huán)境交互、學(xué)習(xí)獲得人類行為偏好，具備解決復(fù)雜問題的能力，但此類方法在很大程度上依賴于輸入信號的質(zhì)量，制約了該方法的性能表現(xiàn)及實際應(yīng)用.

近期的研究表明，使用大規(guī)模無監(jiān)督文本數(shù)據(jù)進行預(yù)訓(xùn)練的語言模型編碼了文本中行為規(guī)范等常識概念[28-29].Ziegler等人[30]使用預(yù)訓(xùn)練語言模型GPT-2成功學(xué)習(xí)到人類生成句子的偏好，驗證了語言模型可以從文本數(shù)據(jù)中學(xué)到人類行為偏好.Frazier等人[31]使用長期連載的兒童漫畫構(gòu)建數(shù)據(jù)集，通過訓(xùn)練語言模型識別文本內(nèi)容是否符合社會規(guī)范.盡管上述工作驗證了語言模型蘊含知識信息，但過分強調(diào)精心策劃的場景，難以應(yīng)對現(xiàn)實場景帶來的挑戰(zhàn).

綜合上述研究，本文旨在為倫理行為判別研究提供新的方法以及在語言模型上進行改進.鑒于社會新聞充分涵蓋倫理道德且易于獲取，構(gòu)建了社會新聞數(shù)據(jù)集用于倫理行為判別研究.提出了倫理行為判別模型ERNIE-CNN，從大量的社會新聞數(shù)據(jù)中學(xué)習(xí)行為偏好，通過詞向量表示計算語義相似度來提取關(guān)于行為的倫理判斷，解決了場景限制問題.經(jīng)過訓(xùn)練的模型編碼了知識信息，可以理解行為背后的社會、文化和倫理含義.

2 數(shù)據(jù)集構(gòu)建

為了推動因缺乏高質(zhì)量標注數(shù)據(jù)而受阻的倫理行為判別研究，本文選擇充分涵蓋倫理道德和人類行為的社會新聞標題為數(shù)據(jù)源，構(gòu)建了社會新聞數(shù)據(jù)集(ETH-News)，并將新聞文本中包含的行為分類為道德行為、不文明行為、違規(guī)行為和違法行為，用于倫理行為判別模型的訓(xùn)練.同時構(gòu)建了法律與行為規(guī)范數(shù)據(jù)集(ETH-Norms)，用于驗證倫理行為判別方法的有效性.以上數(shù)據(jù)集的構(gòu)建均包括數(shù)據(jù)采集、數(shù)據(jù)標注和數(shù)據(jù)集分析3個階段.

2.1 數(shù)據(jù)采集

2.1.1 社會新聞數(shù)據(jù)集(ETH-News)

本文選擇社會新聞標題作為倫理行為的主要數(shù)據(jù)源，原因主要有3點：1)社會新聞充分涵蓋倫理道德和人類行為，同時具有易于獲取的優(yōu)點.2)社會新聞以較簡明扼要的文字，向公眾傳達重要信息，每條新聞還有一個非常詳實且簡短的新聞?wù)?與新聞全文相比，新聞?wù)獌?nèi)容豐富、簡明扼要.3)社會新聞是涉及人民群眾日常生活的社會事件、社會問題、社會風(fēng)貌的報道，具有公開性、真實性、時效性、準確性和廣泛性等特點.

本文針對中文語境中的倫理行為判別任務(wù)進行建模，采集的新聞文本主要爬取于新浪微博(1)https://weibo.com/，并使用THUCTC工具包(2)http://thuctc.thunlp.org/篩選出社會新聞.THUCTC是由清華大學(xué)自然語言處理實驗室推出的中文文本分類工具包，能夠自動高效地實現(xiàn)用戶自定義的文本分類任務(wù).由于負面新聞比正面新聞更容易吸引大眾的注意力，因此媒體登載了較多的負面新聞，導(dǎo)致自動采集的新聞文本存在樣本不平衡問題.為了解決這一問題，本文進一步從中國文明網(wǎng)(3)http://www.wenming.cn/的好人好事專欄爬取了全部的新聞標題，以此擴充正面新聞，因為好人好事是道德行為理想的數(shù)據(jù)來源.

本文期望通過具體的行為訓(xùn)練模型倫理行為判別的能力，因此對上述新聞進行了篩選，只保留了至少包含一個具體行為的文本，同時刪除：1)不包含具體行為的文本；2)字段長度超過52個字符的文本；3)格式錯誤的文本.經(jīng)過數(shù)據(jù)清理，使用剩余的12 183條新聞文本構(gòu)建了所需社會新聞數(shù)據(jù)集.表1為社會新聞數(shù)據(jù)集的示例展示:

Table 1 Samples From ETH-News Dataset表1 社會新聞數(shù)據(jù)集示例

2.1.2 法律與行為規(guī)范數(shù)據(jù)集(ETH-Norms)

為了驗證基于社會新聞數(shù)據(jù)集訓(xùn)練的模型具備倫理行為判別能力，本文同時構(gòu)建了法律與行為規(guī)范數(shù)據(jù)集來驗證模型識別法律與行為規(guī)范的能力.本文選擇將《中華人民共和國刑法》與各省市《文明行為條例》納入數(shù)據(jù)集，將各項條款拆分為簡單句，文本長度同樣控制在52字以內(nèi).表2為法律與行為規(guī)范數(shù)據(jù)集中擁有不同標簽的示例展示.

Table 2 Samples From ETH-Norms Dataset表2 法律與行為規(guī)范數(shù)據(jù)集示例

2.2 數(shù)據(jù)標注

數(shù)據(jù)集的標注工作由實驗室九名碩士研究生共同完成，男女比例為5∶4.九名碩士研究生平均分為3組，每組3人，每條新聞文本由組內(nèi)2人進行標注，另一人為仲裁.當(dāng)2人標注結(jié)果相同時則完成標注(占總數(shù)的93%)，如有分歧，由仲裁者進行仲裁(占總數(shù)的6.9%).在3人都難以標注的情況下丟棄樣本(占總數(shù)的0.1%)，以此在最大程度上保證標注的一致性和準確性.

功利主義是一種主張最大化所有人的總體幸福感的理論[4].為了衡量新聞中包含的行為是否合乎倫理道德，本文選擇功利主義為道德評判標準，計算公式為[32]

(1)

其中,N是利益相關(guān)者的數(shù)量，Wi是每個利益相關(guān)者的權(quán)重，Pi用于衡量每個利益相關(guān)者的幸福度，M是某一行為的效用值.

每個標注人員根據(jù)功利主義將文本標注為0(道德行為)，1(不文明行為)，2(違規(guī)行為)，3(違法行為)，4(無關(guān)行為)，同時刪除所有不包括具體行為的新聞文本.

2.3 數(shù)據(jù)集分析

本文標注了16 000條新聞文本，修改了448條法律條文與20個省市的文明行為條例，經(jīng)過數(shù)據(jù)清理等步驟，進一步刪除了屬于無效類別的所有文本.所構(gòu)建的社會新聞數(shù)據(jù)集包含3 496條道德行為(Moral)、1 777條不文明行為(Uncivilized)、994條違規(guī)行為(Violative)和5 916條違法行為(Illegal).由于不文明行為和違規(guī)行為標簽下的數(shù)據(jù)量少且樣本表現(xiàn)形式不易區(qū)分，參考《文明行為條例》將其進行合并為不道德行為(Immoral).所構(gòu)建的法律與行為規(guī)范數(shù)據(jù)集包含283條道德行為、149條不道德行為和709條違法行為.

數(shù)據(jù)集的詳細統(tǒng)計信息如表3所示，文本長度分布如圖1所示，大部分文本長度小于30個字符，其中社會新聞數(shù)據(jù)集平均文本長度為17.1，法律與行為規(guī)范數(shù)據(jù)集平均文本長度為20.

Table 3 Statistics of Datasets表3 數(shù)據(jù)集的統(tǒng)計信息

Fig. 1 Length distribution of text圖1 文本長度分布

3 ERNIE-CNN倫理行為判別模型

為了使模型具備倫理行為判別能力，理解行為背后的社會、文化和倫理含義，本文提出了ERNIE-CNN倫理行為判別模型，其整體架構(gòu)如圖2所示，主要由4部分組成，分別為詞嵌入層、文本卷積層、池化層和輸出層.

Fig. 2 ERNIE-CNN architecture圖2 ERNIE-CNN架構(gòu)

3.1 詞嵌入層

詞嵌入層主要實現(xiàn)的功能是基于語言模型ERNIE[14]與輸入文本進行交互，生成文本的詞向量表示.ERNIE針對BERT[13]在處理中文文本時難以獲得語義完整表示的缺點，為了抽取和編碼知識信息，將知識模型中的實體表征整合到語義模型的底層中，結(jié)合大規(guī)模無監(jiān)督語料庫和知識圖譜進行預(yù)訓(xùn)練.

詞嵌入層由2個模塊組成：1)文本編碼器(T-Encoder)，負責(zé)從輸入的文本中捕獲詞匯和語義信息；2)知識編碼器(K-Encoder)，負責(zé)將知識圖譜中的知識信息整合到輸出的詞向量中.

文本編碼器是包含多頭注意力機制和前饋神經(jīng)網(wǎng)絡(luò)的多層雙向transformer[33]編碼單元，其架構(gòu)如圖3所示.

Fig. 3 T-Encoder architecture圖3 文本編碼器架構(gòu)

給定一條社會新聞，令xi∈Rjk為句子中第i個單詞所對應(yīng)的k維詞向量，通過式(2)計算每個字符的詞匯和語義特征：

{h1,h2,…,hn}=T-Encoder({x1,x2,…,xn}),

(2)

其中,{h1,h2,…,hn}代表具有語義特征的詞嵌入輸出;n為文本長度.

多頭注意力機制(multi-head attention)[33]是文本編碼器中的核心組成單元之一.注意力機制具有快速提取關(guān)鍵信息的重要特征，廣泛應(yīng)用于自然語言處理任務(wù).注意力機制可以描述為一個查詢(query)到一系列鍵-值對(key-value)的映射.注意力機制計算方法如下[33]：

(3)

其中,分別用向量Q，K，V表示查詢和鍵-值對.首先，將Q和K進行相似度計算(點積)得到權(quán)重，為了防止點乘結(jié)果數(shù)值過大，使用向量K的維度dk進行縮放；其次，使用softmax函數(shù)對權(quán)重進行歸一化得到概率分布；最后，將權(quán)重與相應(yīng)的鍵值V進行加權(quán)求和得到目標的Attention.在自然語言處理任務(wù)中，K通常與V取值相同，即K=V.

自注意力機制是注意力機制的改進，為了捕獲句子的內(nèi)部相關(guān)性，減少對外部信息的依賴.在自注意力機制中，Q=K=V.

多頭注意力機制利用多個查詢，并行地從輸入信息中選取多組信息，可以提取多重語義的含義.多頭注意力機制將數(shù)據(jù)投影到h(注意力機制頭數(shù))個子空間中，考慮了多個子空間中向量的相似度.其中單頭注意力Hi的計算公式如式(4)所示[33]：

(4)

多頭注意力機制將所有空間中的注意力向量進行拼接，計算公式如式(5)所示[33]：

MH-Att(Q,K,V)=
Concat(H1,H2,…,Hh)W0,

(5)

其中,W0是附加權(quán)重矩陣，作用是將拼接后的矩陣維度壓縮成固定的文本長度大小.

知識編碼器可以編碼字符和實體，也能融合異構(gòu)特征，作用是將知識信息注入語義表征，其結(jié)構(gòu)如圖4所示:

Fig. 4 K-Encoder architecture圖4 知識編碼器架構(gòu)

在知識編碼器中，將字符嵌入{h1,h2,…,hn}和預(yù)訓(xùn)練得到的實體嵌入{e1,e2,…,em}(其中m是實體對齊序列長度)進行異構(gòu)信息融合并通過式(6)計算得到最終的輸出詞嵌入{w1,w2,…,wn}.

{w1,w2,…,wn}=

K-Encoder({h1,h2,…,hn},{e1,e2,…,em}).

(6)

3.2 文本卷積層

在獲得詞嵌入輸出{w1,w2,…,wn}后，通過文本卷積操作提取句子的局部區(qū)域特征，能夠自動地對N-gram特征進行組合和篩選，獲得不同抽象層次的語義信息.文本卷積層結(jié)構(gòu)如圖5所示:

Fig. 5 Example of text convolution process圖5 文本卷積過程示例

對于輸入的每一個句子s，將s中字符的詞向量{w1,w2,…,wn}進行連接操作，如式(7)所示.

s=w1⊕w2⊕…⊕wn,

(7)

其中,?表示詞向量間的連接操作.s是拼接得到的n×k維矩陣，其中n為一個句子中的單詞數(shù)，k是每個單詞對應(yīng)的詞向量維度.

卷積層使用卷積核W∈Rjk與滑動窗口si:i+j-1對輸入的n×k維矩陣進行卷積操作，產(chǎn)生特征ci：

ci=f(W·si:i+j-1+b),

(8)

其中,j表示窗口中的單詞數(shù)，si:i+j-1代表由輸入矩陣的第i行到第i+j-1行拼接而成的大小為j×k維的窗口，W為卷積核對應(yīng)的j×k維的權(quán)重矩陣，b為偏置參數(shù)，f(·)為非線性函數(shù)tanh.首先，W和si:i+j-1進行點積運算；其次，卷積核對j個字符按照步長1滑動提取文本局部特征ci；最后，將其拼接得到特征映射c=(c1,c2,…,cn-j+1).

3.3 池化層

經(jīng)卷積操作后，使用時序最大池化操作(1-Max Pooling)從每個滑動窗口產(chǎn)生的特征向量中篩選出最重要的特征，并將這些特征進行拼接，構(gòu)成向量表示.

3.4 輸出層

得到文本句子的向量表示之后，接入全連接層輸出每個類別的概率，并使用softmax激活函數(shù)進行歸一化處理，得到最終分類結(jié)果.

4 實驗設(shè)計與結(jié)果分析

本文在社會新聞數(shù)據(jù)集上訓(xùn)練模型，對社會新聞中包含的行為進行倫理行為判別實驗，其中二分類(行為被劃分為道德、不道德2類)實驗可以體現(xiàn)模型辨別對錯的能力，三分類(行為被劃分為道德、不道德、違法3類)具有更細粒度的分類能力，體現(xiàn)模型識別行為倫理程度的能力，同時使用訓(xùn)練好的模型在法律與行為規(guī)范數(shù)據(jù)集上驗證該方法的有效性.

4.1 度量標準

倫理行為判別屬于多分類問題，為了計算分類模型在不同類別上的總體精確率、召回率和F1值，本文選用宏精確率(macro-P)、宏召回率(macro-R)和宏F1值(macro-F1)作為模型預(yù)測評價指標，如式(9)～(11)所示：

(9)

(10)

(11)

其中,K為類別數(shù);Pi為精確率;Ri為召回率.

4.2 數(shù)據(jù)與設(shè)置

本文共設(shè)置2個實驗，在倫理行為判別實驗中(實驗1)，社會新聞數(shù)據(jù)集的劃分情況如表4所示(在二分類任務(wù)中，將不道德行為與違法行為劃分為一類)，在零樣本遷移實驗中(實驗2)，將法律與行為規(guī)范作為測試集，數(shù)據(jù)集的劃分情況如表5所示.

Table 4 Datasets Used in Experiment 1表4 實驗1使用的數(shù)據(jù)集

Table 5 Datasets Used in Experiment 2表5 實驗2使用的數(shù)據(jù)集

本文采用基于字符的方法對數(shù)據(jù)進行預(yù)處理.實驗中，基于特征的語言模型使用搜狗預(yù)先訓(xùn)練好的300維中文詞向量(4)https://github.com/Embedding/Chinese-Word-Vectors初始化單詞嵌入，基于微調(diào)的語言模型使用谷歌和百度發(fā)布的預(yù)訓(xùn)練模型.短填長切，將每句話長度處理為30，設(shè)置batch_size為64.采用Adam梯度下降更新網(wǎng)絡(luò)參數(shù)，使用交叉熵(cross entropy)作為代價函數(shù)，計算模型預(yù)測結(jié)果與訓(xùn)練實例之間的差異性.為了緩解訓(xùn)練中可能出現(xiàn)的過擬合問題，在模型的全連接層使用了隨機失活(Dropout)和提前停止技術(shù).實驗代碼基于Pytorch1.5.1實現(xiàn).

4.2.1 倫理行為判別實驗

為了驗證社會新聞數(shù)據(jù)集在訓(xùn)練模型進行倫理行為判別方面的有效性，將新聞文本中的行為分為道德行為、不道德行為和違法行為，并使用8種不同的基準模型來構(gòu)建二元、三元分類器.

1) TextCNN[17].本文選擇卷積核的大小為(2，3，4)，每個尺寸的卷積核個數(shù)為100，dropout設(shè)置為0.5，學(xué)習(xí)率設(shè)置為1×10-3.

2) TextRNN[34](Bi-LSTM).使用雙向長短期記憶網(wǎng)絡(luò)捕捉長距離語義關(guān)系，能夠更好的表達上下文信息.TextRCNN[35]在Bi-LSTM的基礎(chǔ)上加入一層最大池化層來捕捉重要的特征信息.本文使用2層雙向LSTM，每層包含256個神經(jīng)元，dropout設(shè)置為0.5，學(xué)習(xí)率設(shè)置為1×10-4.

3) RNN-Att[36].在Bi-LSTM的基礎(chǔ)上加入注意力機制，能夠直觀的解釋各個句子和詞對分類類別的重要性.本文使用2層雙向LSTM，第1層包含128個神經(jīng)元，第2層包含64個神經(jīng)元，dropout設(shè)置為0.5，學(xué)習(xí)率設(shè)置為1×10-3.

4) DPCNN[37].引入了殘差結(jié)構(gòu)，增加了多尺度信息，并且增加了用于文本卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)深度，以提取文本中遠程關(guān)系特征.本文選擇卷積核的大小為3，卷積核個數(shù)為250，dropout設(shè)置為0.5，學(xué)習(xí)率設(shè)置為1×10-5.

5) BERT[13].采用多層雙向Transformer結(jié)構(gòu)以及掩碼語言模型來捕捉一個詞在上下文語境中的詞向量表達，極大程度提升了詞向量的表征能力.本文使用谷歌發(fā)布的預(yù)訓(xùn)練模型BERT_Chinese(5)https://github.com/google-research/bert進行微調(diào)，微調(diào)的學(xué)習(xí)率設(shè)置為5×10-5.

6) BERT-CNN[38].將BERT的輸出作為詞嵌入層，再由卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過卷積后提取句子級別特征，經(jīng)過池化層保留重要特征，微調(diào)的學(xué)習(xí)率設(shè)置為5×10-5.

7) BERT-RCNN.基于BERT-CNN與Text-RCNN的設(shè)計思路，將BERT的輸出作為詞嵌入層，加入Bi-LSTM捕捉長距離語義關(guān)系，最后加入一層最大池化層來捕捉層次語義信息，微調(diào)的學(xué)習(xí)率設(shè)置為5×10-5.

8) ERNIE-CNN.本文使用百度發(fā)布的預(yù)訓(xùn)練模型ERNIE_Chinese(6)https://github.com/PaddlePaddle/ERNIE進行微調(diào)，微調(diào)的學(xué)習(xí)率設(shè)置為5×10-1.

4.2.2 零樣本遷移實驗

為了驗證基于社會新聞數(shù)據(jù)集倫理行為判別方法的有效性，本文通過零樣本遷移實驗進行驗證，測試模型在訓(xùn)練集和測試集上分布不同的協(xié)變量偏移下的領(lǐng)域適應(yīng)能力.實驗2使用在實驗1中性能表現(xiàn)更出色的基于微調(diào)的語言模型，訓(xùn)練集為法律與行為規(guī)范數(shù)據(jù)集.實驗2中其他參數(shù)設(shè)置與實驗1相同.

4.3 實驗結(jié)果分析

倫理行為判別實驗結(jié)果如表6所示.零樣本遷移實驗結(jié)果如表7所示.本文著重分析更細粒度的三分類實驗結(jié)果，其更能體現(xiàn)模型倫理行為判別的能力.

Table 6 Ethical Behavior Discrimination Experiment Results表6 倫理行為判別實驗結(jié)果

4.3.1 倫理行為判別實驗結(jié)果分析

通過對比不同基于特征的語言模型(TextCNN，TextRCNN，TextRNN-ATT和DPCNN)與基于微調(diào)的語言模型(BERT，BERT-CNN，BERT-RCNN和ERNIE-CNN)下得出的實驗結(jié)果可以看出，在語義表示能力方面，基于微調(diào)的語言模型優(yōu)于基于特征的語言模型，表明基于transformer結(jié)構(gòu)的模型效果明顯優(yōu)于非基于transformer結(jié)構(gòu)的模型.

二分類任務(wù).通過二分類任務(wù)的實驗結(jié)果可以看出，本文提出的ERINE-CNN模型在macro-P，macro-R和macro-F1指標上均獲得了最佳性能，分別達到了0.957，0.966和0.961，效果最差的基準模型為DPCNN，在macro-P，macro-R和macro-F1指標上分別為0.894，0.884和0.889.即使效果最差的模型也取得了令人滿意的實驗結(jié)果，表明基于社會新聞數(shù)據(jù)集訓(xùn)練的倫理行為判別模型可以對社會新聞中包含的行為準確地分類.

三分類任務(wù).通過對比不同基于特征的語言模型下得出的實驗結(jié)果可以看出，盡管TextCNN模型相較于其他模型結(jié)構(gòu)更為簡單，但在3個衡量指標上均獲得了最佳效果，分別達到了0.764，0.744和0.750.由于DPCNN是為捕捉長距離語義關(guān)系而設(shè)計的模型，因此在本文的短文本任務(wù)中效果較差.通過對比TextCNN與基于TextRNN改進的TextRCNN和TextRNN-ATT的實驗結(jié)果可以發(fā)現(xiàn)，模型的堆疊并沒有為TextRNN帶來效果的提升，反而增加了模型的復(fù)雜程度.本實驗中針對基于特征的語言模型所進行的對比表明，對于短文本倫理行為判別任務(wù)，由于句子不具有復(fù)雜的結(jié)構(gòu)，通過滑動卷積操作捕捉局部特征就可以識別全局語句結(jié)構(gòu)，獲取句子中最重要的語義信息，在任務(wù)中獲得較好的結(jié)果.

通過對比基于微調(diào)的語言模型的實驗結(jié)果可以發(fā)現(xiàn)，本文提出的ERINE-CNN模型在macro-P，macro-R和macro-F1均獲得了最佳效果，分別達到了0.829，0.808和0.813.通過對比BERT，BERT-CNN和BERT-RCNN的實驗結(jié)果發(fā)現(xiàn)，將BERT的輸出作為詞嵌入層，加入CNN和RCNN模型之后在各項指標上均有所提升.BERT-CNN加入CNN模型后在macro-P，macro-R和macro-F1指標上分別提升了1.2，1.5和1.2個百分點，高于BERT-RCNN加入RCNN模型帶來的效果提升，同時再次驗證加入滑動卷積操作捕捉局部特征的有效性.通過對比BERT-CNN和本文提出的ERNIE-CNN模型下的實驗結(jié)果，可以發(fā)現(xiàn)ERINE-CNN模型在macro-P，macro-R和macro-F1指標上均獲得了更好的性能，與BERT-CNN相比分別提升了1，2.7和2.8個百分點，表明在處理中文任務(wù)時，ERNIE的特征抽取能力比BERT更強，同時也證明了本文提出的模型在倫理行為判別任務(wù)中的有效性.

4.3.2 零樣本遷移實驗結(jié)果分析

通過二分類任務(wù)的實驗結(jié)果可以看出，本文提出的ERINE-CNN模型在macro-P,macro-R和macro-F1均獲得了最佳效果，分別達到了0.890,0.929和0.906，效果最差的基準模型BERT在macro-P,macro-R和macro-F1指標上分別為0.839,0.875和0.854；對于三分類任務(wù)，ERNIE-CNN模型同樣達到了最佳效果，在各項指標上分別達到了0.767,0.803和0.781，效果最差的基準模型在各項指標上分別達到了0.695,0.735和0.689.實驗結(jié)果表明使用社會新聞數(shù)據(jù)集訓(xùn)練好的模型在零樣本遷移實驗上同樣可以取得令人滿意的實驗結(jié)果，在資源有限的情況下，驗證了社會新聞數(shù)據(jù)集蘊含豐富的倫理道德和規(guī)范知識，可以用于倫理行為判別研究.

5 總 結(jié)

本文針對包含具體行為的社會新聞做倫理行為判別研究，受預(yù)訓(xùn)練語言模型的啟發(fā)，提出了基于社會新聞數(shù)據(jù)集的倫理行為判別方法.具體地，由于缺乏高質(zhì)量標注數(shù)據(jù)，基于社會新聞和社會規(guī)范分別構(gòu)建了社會新聞數(shù)據(jù)集和法律與行為規(guī)范數(shù)據(jù)集.使用預(yù)訓(xùn)練語言模型ERNIE捕獲新聞文本的多維語義特征獲得詞向量，通過CNN模型自動對N-gram特征進行組合和篩選，獲得不同抽象層次的語義信息，從而提升模型的識別能力.在數(shù)據(jù)集上的實驗結(jié)果證明了以上方法和模型的有效性.

具備倫理行為判別能力的模型可以為機器人、無人駕駛汽車等自主機器提供先驗知識，減少不道德行為的發(fā)生，有助于避免倫理問題.本文的研究工作為倫理行為判別開辟了新思路，是一次有益的嘗試.

然而，本文工作也存在一些問題：1)自動采集的新聞文本在不同標簽下存在數(shù)據(jù)量少和數(shù)據(jù)不均衡問題，而本文僅對不易區(qū)分的數(shù)據(jù)進行合并；2)僅針對短文本任務(wù)進行優(yōu)化，未考慮模型對長文本的識別能力；3)社會新聞是被精心編輯過的規(guī)范數(shù)據(jù)，而社交媒體領(lǐng)域有大量含有噪聲的非規(guī)范數(shù)據(jù).在接下來的研究工作中，我們將補充更多的數(shù)據(jù)，擴展模型更細粒度的倫理行為辨別能力；優(yōu)化模型對于長文本的識別能力；探索從新聞領(lǐng)域到社交媒體領(lǐng)域的遷移學(xué)習(xí)任務(wù).