成科揚 王 寧 師文喜 詹永照

1(江蘇大學(xué)計算機科學(xué)與通信工程學(xué)院 江蘇鎮(zhèn)江 212013)2(社會安全風(fēng)險感知與防控大數(shù)據(jù)應(yīng)用國家工程實驗室(中國電子科學(xué)研究院) 北京 100041)3(新疆聯(lián)海創(chuàng)智信息科技有限公司 烏魯木齊 830001)

隨著大型數(shù)據(jù)庫的可用性和深度學(xué)習(xí)方法的不斷改進，人工智能系統(tǒng)在越來越多復(fù)雜任務(wù)上的性能已經(jīng)達到甚至超過了人類的水平.目前，基于深度學(xué)習(xí)算法的系統(tǒng)已經(jīng)廣泛應(yīng)用于圖像分類[1]、情緒分析[2]、語音理解[3]等領(lǐng)域，實現(xiàn)了代替人工作出決策的過程.然而，盡管這些算法在大部分的任務(wù)中發(fā)揮著卓越的表現(xiàn)，但由于產(chǎn)生的結(jié)果難以解釋，有些情況下甚至不可控[4].與此同時，如果一個模型完全不可解釋，那么其在眾多領(lǐng)域的應(yīng)用就會因為無法展現(xiàn)更多可靠的信息而受到限制.

從用戶的角度而言，深度學(xué)習(xí)系統(tǒng)不僅需要向用戶展現(xiàn)推薦的結(jié)果，還需要向用戶解釋推薦的原因.如在新聞推送的應(yīng)用[5]方面，針對不同的用戶群體，需要推薦不同類型的新聞，滿足他們的需求.此時不僅要向用戶提供推薦的新聞，還要讓用戶知道推薦這些新聞的意義.因為一旦用戶認(rèn)為推薦的內(nèi)容不夠精準(zhǔn)，那么他們就會認(rèn)為深度學(xué)習(xí)系統(tǒng)在某些方面存在偏差.在經(jīng)濟學(xué)方面，對于股價的預(yù)測以及樓市的預(yù)測深度學(xué)習(xí)有可能會表現(xiàn)得更好.但是由于深度學(xué)習(xí)的不可解釋以及不安全性，應(yīng)用中可能會更偏向于使用傳統(tǒng)可被解釋的機器學(xué)習(xí).

從系統(tǒng)開發(fā)人員的角度來說，深度學(xué)習(xí)一直以來是作為一個黑盒在實驗室的研究過程中被直接使用的，大多數(shù)情況下其確實可以取得一些良好的結(jié)果.而且，通常情況下，深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)果比傳統(tǒng)機器學(xué)習(xí)的結(jié)果更精準(zhǔn).但是，關(guān)于如何獲得這些結(jié)果的原因以及如何確定使結(jié)果更好的參數(shù)問題并未給出解釋.同時，當(dāng)結(jié)果出現(xiàn)誤差的時候，也無法解釋為什么會產(chǎn)生誤差、怎么去解決這個誤差.如耶魯大學(xué)科研人員曾嘗試使用基于深度學(xué)習(xí)的AI進行程序Debug，導(dǎo)致AI直接將數(shù)據(jù)庫刪除的結(jié)果.

從監(jiān)管機構(gòu)立場來看，監(jiān)管機構(gòu)更迫切希望作為技術(shù)革命推動力的深度學(xué)習(xí)具有可解釋性.2017年監(jiān)督全球金融穩(wěn)定委員會(Financial Stability Board)稱，金融部門對不透明模型(如深度學(xué)習(xí)技術(shù))的廣泛應(yīng)用可能導(dǎo)致的缺乏解釋和可審計性表示擔(dān)憂，因為這可能導(dǎo)致宏觀層級的風(fēng)險[6].該委員會于2017年底發(fā)布了一份報告，強調(diào)AI的進展必須伴隨對算法輸出和決策的解釋.這不僅是風(fēng)險管理的重要要求，也是建立公眾及金融服務(wù)監(jiān)管機構(gòu)更大信任的重要條件.

現(xiàn)今，隨著深度學(xué)習(xí)廣泛而深入的應(yīng)用，其可解釋的重要性越發(fā)突顯，如基于深度學(xué)習(xí)的醫(yī)療診斷由于不可解釋性無法獲知其判斷依據(jù)從而無法可信使用、司法量刑風(fēng)險得分因為其不可解釋而發(fā)生偏差造成判斷錯誤、無人駕駛造成車禍卻因為系統(tǒng)不可解釋而難以分析其原因等.

由此可見，深度學(xué)習(xí)的可解釋性研究意義重大，其可以為人們提供額外的信息和信心，使其可以明智而果斷地行動，提供一種控制感；同時使得智能系統(tǒng)的所有者能夠清楚地知道系統(tǒng)的行為和邊界，人們可以清晰看到每一個決策背后的邏輯推理，提供一種安全感；此外，也可監(jiān)控由于訓(xùn)練數(shù)據(jù)偏差導(dǎo)致的道德問題和違規(guī)行為，能夠提供更好的機制來遵循組織內(nèi)的問責(zé)要求，以進行審計和其他目的.

當(dāng)前，學(xué)術(shù)界和工業(yè)界普遍認(rèn)識到深度學(xué)習(xí)可解釋性的重要性，《Nature》《Science》《MIT Tech-nology Review》近來都有專題文章討論這一問題，AAAI 2019設(shè)置了可解釋性人工智能討論專題，David Gunning則領(lǐng)導(dǎo)了美國軍方DAPRA可解釋AI項目，試圖建設(shè)一套全新且具有可解釋性的深度學(xué)習(xí)模型.

本文將對深度學(xué)習(xí)可解釋性研究的源起、發(fā)展歷史進行分析，并從深度學(xué)習(xí)的可解釋性分析和構(gòu)建可解釋性深度模型2個方面對現(xiàn)有研究方向進行歸納總結(jié)，同時對可解釋深度學(xué)習(xí)未來的發(fā)展作出展望.

1 深度學(xué)習(xí)可解釋性研究歷史

1.1 深度學(xué)習(xí)可解釋性研究起源

近年來，隨著深度學(xué)習(xí)應(yīng)用領(lǐng)域的不斷拓展，作為制約深度學(xué)習(xí)應(yīng)用的瓶頸，可解釋性問題越來越受到研究者的重視.

早在1982年Fukushima等人開發(fā)了一種名為Neocognitron的人工神經(jīng)網(wǎng)絡(luò)[7]，該網(wǎng)絡(luò)采用分層的多層設(shè)計允許計算機“學(xué)習(xí)”識別視覺模式.經(jīng)過多層重復(fù)激活的強化策略訓(xùn)練使其性能逐漸增強，由于層數(shù)較少，學(xué)習(xí)內(nèi)容固定，具有最初步的可解釋性能，并且可以看作是深度學(xué)習(xí)可視化的開端之作.1991年Garson[8]提出了基于統(tǒng)計結(jié)果的敏感性分析方法，從機器學(xué)習(xí)模型的結(jié)果對模型進行分析，試圖得到模型的可解釋性.早期的研究，啟迪了后來研究者的思路.自此，越來越多的研究者加入到了深度學(xué)習(xí)可解釋性研究，研究進入了蓬勃的發(fā)展期.

1.2 深度學(xué)習(xí)可解釋性研究探索期

在這一階段，研究者們從實驗和理論2方面都進行了探索研究，研究取得了顯著進展.

在實驗研究方面，主要包括深度學(xué)習(xí)模型內(nèi)部隱層可視化和敏感性分析等實驗.

1) 在內(nèi)部隱層可視化實驗方面.2012年Google研究人員在基于TensorFlow的深度模型可視分析工作中，將人的視覺感知能力和深度學(xué)習(xí)算法的計算能力相結(jié)合，對深度學(xué)習(xí)的可解釋性進行探索和分析[9]；2014年Zeiler等人[10]介紹了一種新穎的CNN隱層可視化技術(shù)，通過特征可視化查看精度變化，從而知道CNN學(xué)習(xí)到的特征是怎樣的，深入了解中間特征層的功能和分類器的操作.

2) 在敏感性分析實驗方面的代表性工作則包括：

① 基于連接權(quán)的敏感性分析實驗.如1991年Garson[8]提出通過度量輸入變量對輸出變量的影響程度的方法.

② 基于統(tǒng)計方法的敏感性分析法.如2002年Olden等人[11]通過大量的重復(fù)采樣、隨機打亂輸出值，得到基于給定初始值隨機訓(xùn)練網(wǎng)絡(luò)的權(quán)重和重要性分布，通過統(tǒng)計檢驗的方法來進行敏感性分析.

③ 基于樣本影響力的敏感性分析實驗.如2017年Koh等人[12]通過影響力函數(shù)來理解深度學(xué)習(xí)黑盒模型的預(yù)測效果，即將樣本做微小的改變，并將參數(shù)改變對樣本微小改變的導(dǎo)數(shù)作為該樣本的影響力函數(shù)[13].

除了實驗方面，研究者們也對深度學(xué)習(xí)可解釋性理論進行了探索性研究：

2018年Lipton[14]首次從可信任性、因果關(guān)聯(lián)性、遷移學(xué)習(xí)性、信息提供性這4個方面分析了深度學(xué)習(xí)模型中可解釋性的內(nèi)涵，指出“可解釋的深度學(xué)習(xí)模型作出的決策往往會獲得更高的信任，甚至當(dāng)訓(xùn)練的模型與實際情況發(fā)生分歧時，人們?nèi)钥蓪ζ浔３中湃危豢山忉屝钥梢詭椭祟惱斫馍疃葘W(xué)習(xí)系統(tǒng)的特性，推斷系統(tǒng)內(nèi)部的變量關(guān)系；可解釋性可以幫助深度學(xué)習(xí)模型輕松應(yīng)對樣本分布不一致性問題，實現(xiàn)模型的遷移學(xué)習(xí)；可解釋性可為人們提供輔助信息，即使沒有闡明模型的內(nèi)部運作過程，可解釋模型也可以為決策者提供判斷依據(jù).”同時，作者指出構(gòu)建的可解釋深度學(xué)習(xí)模型至少應(yīng)包含“透明性”和“因果關(guān)聯(lián)性”的特點.

早期對深度學(xué)習(xí)可解釋性的探索研究取得了豐富的成果，然而，基于黑盒模型進行解釋始終存在解釋結(jié)果精度不高、計算機語言難以理解等局限.所以，構(gòu)建可解釋性模型開始成為新的研究方向.

1.3 深度學(xué)習(xí)模型可解釋性模型構(gòu)建期

與對深度學(xué)習(xí)黑盒模型進行解釋相比，直接構(gòu)建的可解釋性模型往往具有更強的可解釋性.

2012年起，人們開始嘗試引入知識信息以構(gòu)建可解釋的深度模型.主要的嘗試方案有2種：1)將表示為知識圖譜的離散化知識轉(zhuǎn)換為連續(xù)化向量，從而使得知識信息的先驗知識能夠成為深度模型的輸入；2)將知識信息中的邏輯規(guī)則作為深度學(xué)習(xí)優(yōu)化目標(biāo)的約束，指導(dǎo)模型的學(xué)習(xí)過程[15].2017年Hu等人[16]提出的teacher-network網(wǎng)絡(luò)中，通過將深度神經(jīng)網(wǎng)絡(luò)與一階邏輯規(guī)則相結(jié)合，顯著提高了分類的效果，表現(xiàn)出良好的可解釋性.

值得一提的是，Hinton等人提出的膠囊網(wǎng)絡(luò)模型(CapsNet)[17]，其在2017年發(fā)表的“Dynamic Routing Between Capsules”[18]一文中，詳細(xì)介紹了CapsNet架構(gòu).由于該模型采用動態(tài)路由來確定神經(jīng)網(wǎng)絡(luò)的邊權(quán)，這就從一定程度上提供了邊權(quán)確定的解釋性，更重要的是，與傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)相比，CapsNet具有用少量訓(xùn)練數(shù)據(jù)就能實現(xiàn)泛化的特點.同時，樣本對象的細(xì)節(jié)特征，如對象的位置、旋轉(zhuǎn)、厚度、傾斜度、尺寸等信息會在網(wǎng)絡(luò)中被學(xué)習(xí)保存下來，不會被丟失.這些CapsNet所獨具的優(yōu)點展現(xiàn)了其作為成功的可解釋深度學(xué)習(xí)模型的特點.

深度學(xué)習(xí)的可解釋性研究從提出到展開，也就短短數(shù)年，但已取得了令人矚目的諸多成果.為此我們有必要對相關(guān)研究現(xiàn)狀及其成果做一個系統(tǒng)的梳理.

2 深度學(xué)習(xí)可解釋性研究現(xiàn)狀

可解釋性研究目前主要存在2方面研究方法:1)從深度學(xué)習(xí)模型本身進行入手，調(diào)整模型內(nèi)部參數(shù)，對系統(tǒng)得到的結(jié)果進行分析，判斷參數(shù)對于結(jié)果的影響.或是通過對輸入變量添加擾動，探測表征向量來評估系統(tǒng)中不同變量的重要性，推測系統(tǒng)作出決策的依據(jù).2)直接構(gòu)建本身就具有可解釋性的模型，旨在學(xué)習(xí)更結(jié)構(gòu)化和可解釋的模型.

2.1 深度學(xué)習(xí)模型可解釋性分析研究

深度學(xué)習(xí)作為黑盒模型，對于輸出結(jié)果往往無法指出系統(tǒng)得到?jīng)Q策的依據(jù).因此，通過對黑盒模型內(nèi)部結(jié)構(gòu)進行剖析，可以清晰地看到?jīng)Q策背后的邏輯推理，得到具有可解釋性的結(jié)果.

2.1.1 基于可視化的可解釋性研究

2012年Krizhevsky等人[19]利用大型卷積網(wǎng)絡(luò)模型在ImageNet基準(zhǔn)數(shù)據(jù)集上的測試展示了令人印象深刻的分類性能.然而，并沒有較為合理的方法說明模型表現(xiàn)出色的原因或者展示作出判斷的依據(jù).因此，Zeiler等人[10]提出了一種新穎的CNN隱層可視化技術(shù)，從信息提供性方面入手，通過特征可視化，查看精度變化，從而知道CNN學(xué)習(xí)到怎樣的特征.這些隱層可視化可應(yīng)用于中間每一層結(jié)構(gòu)，通過對隱層運用一些可視化方法來將其轉(zhuǎn)化成人類可以理解的有實際含義的圖像.方法利用反卷積的相關(guān)思想實現(xiàn)了隱層特征可視化來幫助理解CNN的每一層究竟學(xué)到了什么東西，從而能夠找到優(yōu)于Donahue等人[20]的模型架構(gòu)，具體過程如圖1所示：

Fig.1 Visualization of the hidden layer process圖1 可視化隱層過程

2.1.2 基于魯棒性擾動測試的可解釋性研究

基于魯棒性擾動的方法主要是通過對輸入數(shù)據(jù)添加擾動元素[21].有些模型不能直接解釋實現(xiàn)過程，但是可以對其他屬性作出評估.例如通過對輸入數(shù)據(jù)添加擾動元素，測試添加的特征是否為主要特征，是否會影響最后得出的結(jié)果.所以，解釋這些黑盒模型的工作普遍集中在理解固定模型如何導(dǎo)致特定預(yù)測.例如通過在測試點周圍局部擬合更簡單的模型[22]或通過擾亂測試點來了解模型預(yù)測的變化[23-25].其中比較有代表性的工作是Koh等人[12]在2017年提出的通過影響力函數(shù)來理解深度學(xué)習(xí)黑盒模型的預(yù)測效果.通過學(xué)習(xí)算法跟蹤模型[26]的預(yù)測并返回其訓(xùn)練數(shù)據(jù)，從而識別對給定預(yù)測負(fù)責(zé)的訓(xùn)練點[27].即使在理論失效的非凸和非可微模型上，影響函數(shù)的近似仍然可以提供有價值的信息.在線性模型和卷積神經(jīng)網(wǎng)絡(luò)上，由于計算出了對訓(xùn)練樣本施加輕微擾動之后對特定測試樣本損失函數(shù)的影響，所以這個方法也可以應(yīng)用到對抗樣本的生成中[28]，只需要在一部分影響力函數(shù)較大的樣本中添加一些微小的擾動，就足以干擾其他樣本的判定結(jié)果.文章證明影響函數(shù)可用于理解模型行為[29]、調(diào)試模型、檢測數(shù)據(jù)集錯誤，甚至創(chuàng)建視覺上可區(qū)分的訓(xùn)練集攻擊等多個任務(wù).

在判斷擾動對模型結(jié)果產(chǎn)生的影響方面，F(xiàn)isher等人[30]提出了模型分類依賴性(model class reliance, MCR)方法，通過提取模型的重要特征來對模型進行解釋.變量重要性(variable importance, VI)工具用于描述協(xié)變量在多大程度上會影響預(yù)測模型的準(zhǔn)確率[31].通常情況下，在一個模型中重要的變量在另一個模型中卻不是那么重要，或者說，一個分析人員使用的模型依賴的協(xié)變量信息可能與另一個分析人員使用的協(xié)變量完全不同.通過設(shè)定模型VI的上下限，根據(jù)變量的擾動對模型判定結(jié)果的影響來判斷模型對于變量的依賴程度[32-33].方法通過對COMPAS犯罪模型中性別和種族等變量的變化進行度量，解釋模型對于不同變量的依賴程度.

2.1.3 基于敏感性分析的可解釋性研究

敏感性分析(sensitivity analysis, SA)是一類非常重要的，用于定量描述模型輸入變量對輸出變量的重要性程度的方法，在經(jīng)濟、生態(tài)、化學(xué)、控制等領(lǐng)域都已經(jīng)有了非常成熟的應(yīng)用.其基本思想就是令每個屬性在可能的范圍內(nèi)變動，研究和預(yù)測這些屬性的變化對模型輸出值的影響程度.典型的敏感性分析方法有基于連接權(quán)、基于統(tǒng)計和基于擾動分析3類.

在基于連接權(quán)的方法中比較有代表性的工作是Garson[8]提出的通過設(shè)置權(quán)重來估測輸入變量對輸出變量的影響程度.然而這種方法放到深度網(wǎng)絡(luò)中由于忽略了非線性激活函數(shù)誤差會一步一步積累[34]，所以逐漸不再被使用.

在基于統(tǒng)計方法的敏感性分析方法中有代表性的是Olden等人[11]提出的使用隨機初始的權(quán)重構(gòu)建一組神經(jīng)網(wǎng)絡(luò)并記錄其中預(yù)測性能最好的神經(jīng)網(wǎng)絡(luò)的初始權(quán)重[35]，通過大量重復(fù)采樣得到基于給定初始值隨機訓(xùn)練網(wǎng)絡(luò)的權(quán)重和重要性分布，從而判斷不同變量對于模型的影響程度，可以被看作是在基于統(tǒng)計方法的敏感性分析方法中的代表作.

在評估輸入樣本擾動敏感性方面，Hunter等人[36]開發(fā)一種新的擾動流形模型及其對應(yīng)的影響程度測量方法，以評估各種擾動對輸入樣本或者網(wǎng)絡(luò)可訓(xùn)練參數(shù)的敏感性影響.這種方法是對使用信息幾何解決分類問題的局部影響測量方法的全新擴展.它的貢獻在于其度量方法是由信息幾何驅(qū)動的，可以直接進行計算而不需要優(yōu)化任何目標(biāo)函數(shù).并且該方法提出的敏感性影響測量適用于各種形式的外部和內(nèi)部擾動，可用于4個重要的模型構(gòu)建任務(wù)：檢測潛在的“異常值”、分析模型架構(gòu)的敏感性、比較訓(xùn)練集合測試集之間的網(wǎng)絡(luò)敏感性以及定位脆弱區(qū)域.

2.2 可解釋性深度學(xué)習(xí)模型構(gòu)建研究

深度學(xué)習(xí)模型可解釋性分析的研究只是嘗試通過一定的技術(shù)手段去分析和解釋深度學(xué)習(xí)模型，猶如管中窺豹、盲人摸象，所以另一些研究者試圖直接創(chuàng)建具有可解釋性的深度學(xué)習(xí)模型，使其對數(shù)據(jù)處理的過程、表示或其他方面更易于人們理解.

2.2.1 基于模型代理的可解釋性建模

常用的深度網(wǎng)絡(luò)通常使用大量的基本操作來推導(dǎo)它們的決策.因此，解釋這種處理所面臨的基本問題是找到降低所有這些操作的復(fù)雜性的方法，或是將已有的深度學(xué)習(xí)系統(tǒng)學(xué)習(xí)另外的可解釋的系統(tǒng)，以此提高可解釋性，代理模型法就是這樣一類方法.

Ribeiro[37]的局部可理解的與模型無關(guān)的解釋技術(shù)(local interpretable model-agnostic explanation, LIME)即為一種代理模型方法.該方法首先通過探測輸入擾動獲得深度模型的響應(yīng)反饋數(shù)據(jù)，然后憑此數(shù)據(jù)構(gòu)建局部線性模型[38]，并將該模型用作特定輸入值深度模型的簡化代理.Ribeiro表示，該方法可作用于識別對各種類型的模型和問題域的決策影響最大的輸入?yún)^(qū)域.LIME這樣的代理模型可以根據(jù)其對原始系統(tǒng)的吻合程度來運行和評估.代理模型也可以根據(jù)其模型復(fù)雜度來測量，例如LIME模型中的非零維度的數(shù)量.因為代理模型在復(fù)雜性和可靠性之間提供了可量化的關(guān)系，所以方法可以相互對照，使得這種方法很具有吸引力.

另一種代理方法是Carnegie Mellon大學(xué)Hu等人[39]提出的反復(fù)蒸餾方法，該方法體現(xiàn)了可解釋方法中的遷移學(xué)習(xí)性，通過將邏輯規(guī)則的結(jié)構(gòu)化信息轉(zhuǎn)移到神經(jīng)網(wǎng)絡(luò)的權(quán)值[40]中.網(wǎng)絡(luò)包括教師網(wǎng)絡(luò)(teacher network)和學(xué)生網(wǎng)絡(luò)(student network)兩個部分，教師網(wǎng)絡(luò)負(fù)責(zé)將邏輯規(guī)則所代表的知識建模，學(xué)生網(wǎng)絡(luò)利用反向傳播方法加上教師網(wǎng)絡(luò)的約束，迫使網(wǎng)絡(luò)模擬一個規(guī)則化教師的預(yù)測，并且在訓(xùn)練過程中迭代地演進[41]這2個模型.教師網(wǎng)絡(luò)在每次訓(xùn)練迭代中都要構(gòu)建，也就是說訓(xùn)練過程中教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)是一個聯(lián)合訓(xùn)練[42]的過程.它將深度神經(jīng)網(wǎng)絡(luò)與一階邏輯規(guī)則[43]相結(jié)合，將邏輯規(guī)則整合到神經(jīng)模型中，將邏輯規(guī)則的結(jié)構(gòu)化信息轉(zhuǎn)換為神經(jīng)網(wǎng)絡(luò)的權(quán)重.通過使用后驗正則化原理[44]構(gòu)建的教師網(wǎng)絡(luò)完成這種規(guī)則信息的轉(zhuǎn)移，具體過程如圖2所示.方法能夠在具有高精度分類效果的同時，又能體現(xiàn)邏輯規(guī)則的解釋性，該方法可用于CNN和循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network, RNN)等不同網(wǎng)絡(luò)上，用于情感分析、命名實體識別，在深度神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上實現(xiàn)效果提升.

Fig.2 Teacher-Student network圖2 教師-學(xué)生網(wǎng)絡(luò)

2.2.2 基于邏輯推理的可解釋性建模

由于邏輯推理[45]能夠很好地展現(xiàn)系統(tǒng)的可解釋性[46]，并且邏輯推理體現(xiàn)了可解釋方法中的因果關(guān)聯(lián)性.Garcez等人[47]提出了一種面向連接性論證的網(wǎng)絡(luò)框架，它允許推理和學(xué)習(xí)論證推理.方法使用神經(jīng)符號學(xué)習(xí)系統(tǒng)將論證網(wǎng)絡(luò)轉(zhuǎn)換成標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了基于權(quán)重的論證框架，具有學(xué)習(xí)能力[48].文中將算法分為正面論點和反面論點，2種論點都被設(shè)置在了論證網(wǎng)絡(luò)中，通過學(xué)習(xí)進行累積論證，隨著時間的推移，某些論證將會加強，某些論證將會削弱，論證結(jié)果可能會發(fā)生變化，其展現(xiàn)出該網(wǎng)絡(luò)的學(xué)習(xí)過程.

此外，Yao等人[49]提出了另一種新穎的推理模型，該模型通過深度強化學(xué)習(xí)來激活邏輯規(guī)則.模型采用記憶網(wǎng)絡(luò)的形式，存儲關(guān)系元組，模仿人類認(rèn)知活動中的“圖像模式”.方法將推理定義為修改或從內(nèi)存中恢復(fù)的順序決策，其中邏輯規(guī)則用作狀態(tài)轉(zhuǎn)換函數(shù).模型在使用不到1000的訓(xùn)練樣本且沒有支持事實的情況下，實現(xiàn)了在文本數(shù)據(jù)集bAbI-20上僅0.7%的平均錯誤率.

2.2.3 基于網(wǎng)絡(luò)節(jié)點關(guān)聯(lián)分析的可解釋性建模

2017年Hinton等人[18]提出了一種被稱為“膠囊”的新型神經(jīng)單元.膠囊網(wǎng)絡(luò)極大地體現(xiàn)了可解釋方法中的因果關(guān)聯(lián)性特點，它改進了傳統(tǒng)的CNNs網(wǎng)絡(luò)，膠囊網(wǎng)絡(luò)中神經(jīng)元節(jié)點間的權(quán)重路由關(guān)系可以解釋檢測到的特征之間的空間關(guān)系.每一組神經(jīng)元組成一個膠囊，通過每一個膠囊中的神經(jīng)元的活動向量(activity vector)來表示實體類型的實例化參數(shù).活動向量的長度表示實體出現(xiàn)的概率，方向表示實例化的參數(shù).活躍的低層膠囊預(yù)測結(jié)果通過轉(zhuǎn)移矩陣發(fā)送到相鄰活躍度相對較高的膠囊之中.當(dāng)多個預(yù)測信息一致時，膠囊將被激活.該方法使用協(xié)議路由機制，該機制會為那些能更好擬合高層膠囊的實例化參數(shù)的低層膠囊分配更高權(quán)重.其中，協(xié)議路由機制使得每個膠囊能夠編碼一個特定語義的概念，可以清晰地知道每一個“膠囊”所做的工作.在一定程度上，膠囊網(wǎng)絡(luò)可以看作是一種特定語義化的網(wǎng)絡(luò)結(jié)構(gòu)，從而使得構(gòu)建的膠囊網(wǎng)絡(luò)成為了一種具有能夠解釋并識別對象空間結(jié)構(gòu)信息的可解釋模型[50].在MNIST上的實驗表明，使用膠囊網(wǎng)絡(luò)，能夠有效甄別重疊的不同數(shù)字.

2.2.4 基于傳統(tǒng)機器學(xué)習(xí)的可解釋性建模

已有的深度學(xué)習(xí)系統(tǒng)具有強大的預(yù)測能力，結(jié)果精準(zhǔn)但缺乏可解釋性；傳統(tǒng)的機器學(xué)習(xí)系統(tǒng)結(jié)構(gòu)較為簡單，預(yù)測精度不如深度學(xué)習(xí)系統(tǒng)，但往往具備可解釋性.所以利用傳統(tǒng)可解釋機器學(xué)習(xí)方法構(gòu)建可解釋深度學(xué)習(xí)模型，成為了一種新的嘗試方向.

以決策樹為例，眾所周知決策樹具有較好的可解釋性.自20世紀(jì)90年代起，便有研究者將決策樹與多層神經(jīng)網(wǎng)絡(luò)相聯(lián)系進行研究.該工作主要利用決策樹的可解釋性的優(yōu)點對神經(jīng)網(wǎng)絡(luò)決策進行過程簡化，使深度學(xué)習(xí)網(wǎng)絡(luò)具有信息提供性的特征.方法之一是基于決策樹的深度神經(jīng)網(wǎng)絡(luò)規(guī)則提取器(DeepRED)[51]，它將為淺層網(wǎng)絡(luò)設(shè)計的基于決策樹的連續(xù)規(guī)則提取器(CRED)[52]算法擴展到任意多個隱層，并使用神經(jīng)網(wǎng)絡(luò)逆向提取規(guī)則方式(RxREN)[53]來修剪不必要的輸入.然而，盡管DeepRED能夠構(gòu)建完全忠實于原始網(wǎng)絡(luò)的樹，但生成的樹可能非常大，并且該方法的實現(xiàn)需要大量的時間和內(nèi)存，因此在可伸縮性方面受到限制.為解決此問題，2018年南京大學(xué)周志華等人[54]提出了一種全新的深度學(xué)習(xí)方法“gcForest”(multi-grained cascade forest).該方法采用一種深度樹集成方法(deep forest ensemble method)，使用級聯(lián)結(jié)構(gòu)讓gcForest做表征學(xué)習(xí).需要指出，由于模型的構(gòu)建是基于可解釋的決策樹，gcForest的超參數(shù)比一般深度神經(jīng)網(wǎng)絡(luò)少得多并且其可解釋性強、魯棒性高.因此，在大多數(shù)情況下，即使遇到不同領(lǐng)域的不同數(shù)據(jù)，也能取得很好的結(jié)果.同時，gcForest所需的訓(xùn)練數(shù)據(jù)集較小，這不僅使gcForest訓(xùn)練起來很容易，也使其可解釋性理論分析更為簡單.

總體而言，目前可解釋性深度學(xué)習(xí)模型的構(gòu)建可以從可信任性、因果關(guān)聯(lián)性、遷移學(xué)習(xí)性、信息提供性4個方面對其進行分析.可信任性是具有可解釋性深度學(xué)習(xí)模型的基礎(chǔ)，其可以為人們提供額外的信息和信心，使人們可以明智而果斷地行動.使得智能系統(tǒng)的所有者清楚地知道系統(tǒng)的行為和邊界，人們可以清晰地看到每一個決策背后的邏輯推理，提供一種安全感，使得深度學(xué)習(xí)模型更好地服務(wù)于大眾.因果關(guān)聯(lián)性主要從邏輯推理和特征關(guān)聯(lián)2方面體現(xiàn)，例如面向連接性的網(wǎng)絡(luò)框架與Hinton提出的膠囊網(wǎng)絡(luò).遷移學(xué)習(xí)性主要通過將結(jié)構(gòu)化信息轉(zhuǎn)移到神經(jīng)網(wǎng)絡(luò)的權(quán)值中，使神經(jīng)網(wǎng)絡(luò)具有可解釋性.信息提供性主要是使模型向人們提供可以被理解的知識，主要包括與傳統(tǒng)機器學(xué)習(xí)相結(jié)合的深度學(xué)習(xí)模型或是深度學(xué)習(xí)模型的可視化等方法.

3 可解釋性深度學(xué)習(xí)的應(yīng)用

當(dāng)前，深度學(xué)習(xí)應(yīng)用廣泛，但在某些特定領(lǐng)域，由于深度學(xué)習(xí)模型的不可解釋性限制了深度學(xué)習(xí)模型的應(yīng)用.隨著深度學(xué)習(xí)可解釋性研究的深入，特別是具有可解釋性深度學(xué)習(xí)模型的建立，越來越多的關(guān)系到重大生產(chǎn)活動、人類生命安全的關(guān)鍵領(lǐng)域也開始能夠放心接受深度學(xué)習(xí)所帶來的紅利.

在推薦系統(tǒng)方面，新加坡國立大學(xué)Catherine等人[55]提出知識感知路徑遞歸網(wǎng)絡(luò)(KPRN)，對用戶和物品之間的交互特征在知識圖譜中存在的關(guān)聯(lián)路徑進行建模，為用戶提供可解釋性推薦.在基于外部知識的基礎(chǔ)上，Wang等人[56]又提出基于翻譯的推薦模型，利用共同學(xué)習(xí)推薦系統(tǒng)和知識圖譜補全模型，提高推薦的解釋性.加州大學(xué)圣地亞哥分校Wang等人[57]借鑒混合專家模型(mixtures-of-experts)的思想提出了一種全新的深度學(xué)習(xí)推薦系統(tǒng)框架，利用用戶序列行為中相鄰物品間的關(guān)系來解釋用戶在特定時間點的行為原因，進而基于用戶的近期行為對其下一次行為進行預(yù)測，實現(xiàn)對用戶群體的精準(zhǔn)推送.

在社區(qū)安全方面，可解釋深度學(xué)習(xí)應(yīng)用于犯罪風(fēng)險評估，可根據(jù)罪犯的受教育程度、前科、年齡、種族等一系列參數(shù)判斷再次犯罪的概率，對社會管理起到協(xié)助作用.Bogomolov等人[58]采用圖形卷積神經(jīng)網(wǎng)絡(luò)來對毒品進行檢測，對輸入向量與網(wǎng)絡(luò)中的神經(jīng)元關(guān)系進行解釋，通過訓(xùn)練完成的圖形卷積神經(jīng)網(wǎng)絡(luò)的測試結(jié)果給出結(jié)論，并根據(jù)藥效團特征來證明他們的結(jié)論.

在醫(yī)療方面，Luo等人[59]從重癥監(jiān)護中的多參數(shù)智能監(jiān)測(MIMICII)數(shù)據(jù)集中提取了特征，使用局部可解釋的模型不可知解釋(LIME)技術(shù)，實現(xiàn)了對難以解釋的復(fù)雜RF模型決策過程中重要特征的簡單解釋.這些解釋符合當(dāng)前的醫(yī)學(xué)理解，并且推動了基于深度學(xué)習(xí)醫(yī)學(xué)診斷的發(fā)展進程.Zhang等人[60]提出了AuDNNsynergy深度學(xué)習(xí)模型來進行藥物組合克服耐藥性，通過整合多組樣本學(xué)習(xí)數(shù)據(jù)和化學(xué)結(jié)構(gòu)數(shù)據(jù)來預(yù)測藥物組合產(chǎn)生新藥物，并對其中的深度模型的學(xué)習(xí)過程進行解釋分析.

綜上，深度學(xué)習(xí)已廣泛應(yīng)用于推薦系統(tǒng)、醫(yī)療、安全等各個領(lǐng)域，而深度學(xué)習(xí)良好的表現(xiàn)也使其成為這些領(lǐng)域不可或缺的工具.可解釋性深度學(xué)習(xí)的出現(xiàn)，將顯著提高系統(tǒng)的可靠性，使其可知、可控、可被人們信任，在更多的領(lǐng)域發(fā)揮更大的作用.

4 總結(jié)與展望

以深度學(xué)習(xí)為代表的各種機器學(xué)習(xí)技術(shù)方興未艾，取得了舉世矚目的成功.機器和人類在很多復(fù)雜認(rèn)知任務(wù)上的表現(xiàn)已經(jīng)不分伯仲.然而，在解釋模型為什么奏效及如何運作方面，目前學(xué)界的研究還處于非常初級的階段.從當(dāng)前研究現(xiàn)狀看，研究者們普遍意識到深度學(xué)習(xí)可解釋性的重要性，并已展開了諸多十分有意義的研究.但目前對深度學(xué)習(xí)可解釋性的研究尚處于起步階段，對于可解釋性的本質(zhì)、研究手段認(rèn)識都還未能形成統(tǒng)一認(rèn)識和找到最佳方案，未來可解釋性深度學(xué)習(xí)領(lǐng)域的研究將會持續(xù)火熱下去.基于對當(dāng)前研究實踐的分析和理解，我們認(rèn)為未來深度學(xué)習(xí)的可解釋性研究將可從4個方面著手深入：

1) 嵌入外部人類知識.目前，大多數(shù)深度學(xué)習(xí)模型使用數(shù)據(jù)驅(qū)動的方法，而較少關(guān)注知識驅(qū)動的觀點.因此，將人類知識，如以知識圖譜形式與深度學(xué)習(xí)技術(shù)相結(jié)合構(gòu)建具有解釋性的深度學(xué)習(xí)模型，可以作為一個研究方向.此外，可以利用可視化分析直觀地驗證模型是否正確遵循人類嵌入的知識和規(guī)則，以確保深度學(xué)習(xí)按照人類的意愿進行工作.

2) 深度學(xué)習(xí)的漸進式視覺分析.大多數(shù)現(xiàn)有可解釋的深度學(xué)習(xí)方法主要側(cè)重于在模型訓(xùn)練完成后進行理解和分析模型預(yù)測，但由于許多深度學(xué)習(xí)模型的訓(xùn)練非常耗時，因此迫切需要使用漸進的可視化分析技術(shù)，在保證模型準(zhǔn)確率的情況下，同步進行可視化分析，保證模型的可解釋性.這樣不僅可以在模型訓(xùn)練過程中漸進式進行同步分析.專家可以利用交互式可視化來探檢查新傳入的結(jié)果并執(zhí)行新一輪的探索性分析，而無需等待整個培訓(xùn)過程完成，并且保證了模型每一層的可解釋性.

3) 提高深度學(xué)習(xí)的擾動可解釋性.深度學(xué)習(xí)模型通常容易受到對抗性擾動的影響導(dǎo)致輸出錯誤的預(yù)測.有時對抗性示例的修改非常輕微，以至于根本無法注意到修改，但模型仍然會出錯.這些對抗性示例通常用于攻擊深度學(xué)習(xí)模型.在這方面，保持深度學(xué)習(xí)模型的魯棒性在實際應(yīng)用中至關(guān)重要，當(dāng)模型具有可解釋性時，即使輕微的擾動人們也可以知道擾動變量對于模型的影響以及影響程度，并且可以在基于人類知識的情況下向人們進行解釋.因此，關(guān)于可解釋深度學(xué)習(xí)的一個研究機會是結(jié)合人類知識來提高深度學(xué)習(xí)模型的魯棒性.

4) 以人為中心進行模型解釋性升級.理想的深度學(xué)習(xí)可解釋模型，應(yīng)該能夠根據(jù)受眾背景知識的不同作出不同的解釋，即以人為中心進行解釋.同時，這種解釋應(yīng)是機器一邊解決問題，一邊給出答案背后的邏輯推理過程.面對這樣的需求，未來深度學(xué)習(xí)可解釋模型，其輸出的整體可解釋性將由各個多元的子可解釋性組合而成，這對目前的機器學(xué)習(xí)從理論到算法都將是一個極大的挑戰(zhàn).