張成洪，陳 剛，陸 天，黃麗華

1 復(fù)旦大學(xué) 管理學(xué)院，上海 200433 2 卡耐基梅隆大學(xué) 約翰·海因茨公共政策與管理學(xué)院，賓夕法尼亞 匹茲堡 15213

引言

近年來，人工智能(artificial intelligence,AI)技術(shù)的持續(xù)創(chuàng)新和廣泛應(yīng)用，為人們?cè)诟黝I(lǐng)域的生產(chǎn)實(shí)踐活動(dòng)提供了高效的智能化產(chǎn)品支持，極大地推動(dòng)了人們生活方式的智慧化進(jìn)程。而大數(shù)據(jù)時(shí)代豐富的數(shù)據(jù)資源更是催生了AI產(chǎn)業(yè)巨大的商業(yè)價(jià)值，據(jù)估算到2021年，全球范圍內(nèi)針對(duì)AI的投資額將從2017年的120億美元增長至522億美元。據(jù)數(shù)據(jù)統(tǒng)計(jì)網(wǎng)站Statista分析表明，到2025年，全球AI市場的創(chuàng)收額將從2017年的4 800億美元增長至25 900億美元。然而，近段時(shí)間以來，隨著以深度學(xué)習(xí)算法為代表的“黑箱模型”取得巨大成功，學(xué)術(shù)界和產(chǎn)業(yè)界對(duì)增加AI可解釋性的呼聲日益高漲[1]。由此，一個(gè)全新的研究領(lǐng)域——可解釋人工智能(explainable artificial intelligence,XAI)應(yīng)運(yùn)而生。

可解釋人工智能是一套針對(duì)AI系統(tǒng)應(yīng)用過程生成解釋性內(nèi)容的技術(shù)方案，致力于解決AI系統(tǒng)中由模型可解釋性不足產(chǎn)生的可靠性、透明性、因果性、公平性和安全性等一系列問題[2]?？山忉屝缘脑鰪?qiáng)為AI模型更加深入和廣泛的應(yīng)用創(chuàng)造了有利條件，為大數(shù)據(jù)時(shí)代推動(dòng)AI技術(shù)發(fā)展、深化AI技術(shù)應(yīng)用、實(shí)現(xiàn)良好的人機(jī)協(xié)同和人機(jī)共生提供有利契機(jī)。

目前，可解釋人工智能已經(jīng)受到來自學(xué)術(shù)界、產(chǎn)業(yè)界和相關(guān)政府部門的熱切關(guān)注，人們對(duì)發(fā)展可解釋人工智能的需求日益迫切。本研究從分析可解釋人工智能的興起入手，系統(tǒng)總結(jié)可解釋人工智能理論研究和方法研究現(xiàn)狀，追蹤可解釋人工智能在不同領(lǐng)域的應(yīng)用動(dòng)態(tài)；剖析目前可解釋人工智能方法層面和應(yīng)用層面存在的不足，重點(diǎn)探究可解釋人工智能發(fā)展對(duì)管理學(xué)領(lǐng)域帶來的挑戰(zhàn)；最后，結(jié)合管理決策研究，指出未來可解釋人工智能領(lǐng)域的若干關(guān)鍵研究問題。圖1給出本研究的總體研究框架。

圖1 研究框架Figure 1 Research Framework

1 可解釋人工智能的興起及其對(duì)AI發(fā)展的影響

當(dāng)前，可解釋人工智能概念已在社會(huì)各界引發(fā)巨大反響。在學(xué)術(shù)界，2017年國際人工智能聯(lián)合會(huì)議(international joint conference on artificial intelligence,IJCAI)舉辦了以可解釋人工智能為主題的研討[3]；2019年針對(duì)可解釋機(jī)器學(xué)習(xí)研究的書籍《Interpretable Machine Learning》出版[4]；2019年，人工智能領(lǐng)域期刊《Artificial Intelligence》發(fā)表了基于社會(huì)科學(xué)視角的可解釋人工智能理論研究成果[5]。在產(chǎn)業(yè)界，2016年美國國防高級(jí)研究計(jì)劃局(defense advanced research projects agency,DARPA)發(fā)布了可解釋人工智能項(xiàng)目計(jì)劃[2]；隨后，可解釋人工智能在醫(yī)療、金融、交通、軍事、法律和安全等領(lǐng)域的應(yīng)用陸續(xù)展開[6]。在政府方面，2017年1月美國公共政策委員會(huì)發(fā)布文件闡述了關(guān)于算法透明和可責(zé)性的7條原則，致力于解決算法帶來的偏見和歧視問題；同年2月，歐盟議會(huì)通過決議，就制定《機(jī)器人民事法律規(guī)則》提出具體建議；同年12月，紐約市議會(huì)通過了算法問責(zé)法案，以解決算法歧視性問題。然而，目前對(duì)可解釋人工智能的研究尚處于起步階段，一方面，研究者對(duì)可解釋人工智能缺乏統(tǒng)一的理解，就如何構(gòu)建可解釋人工智能方案缺乏全面、有效的理論和方法論指導(dǎo)；另一方面，智慧醫(yī)療等AI技術(shù)應(yīng)用的前沿業(yè)務(wù)應(yīng)用領(lǐng)域已經(jīng)展現(xiàn)出對(duì)可解釋人工智能的迫切需求，如重癥監(jiān)護(hù)病房膿毒癥的準(zhǔn)確預(yù)測[7]和不良藥物反應(yīng)預(yù)測[8]等。

AI的核心內(nèi)容是如何讓機(jī)器進(jìn)行人性化的、合理的思考，并合理執(zhí)行與人類思維相關(guān)的活動(dòng)，如決策、解決問題和學(xué)習(xí)等[9]。自然語言處理、知識(shí)表示、自動(dòng)推理、機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和人機(jī)交互等共同構(gòu)成了AI技術(shù)的核心。與這些技術(shù)相關(guān)的機(jī)器學(xué)習(xí)模型依靠其強(qiáng)大的學(xué)習(xí)能力為人們進(jìn)行復(fù)雜任務(wù)的決策提供了強(qiáng)大的智能化支持。與此同時(shí)，大部分機(jī)器學(xué)習(xí)模型由于自身決策過程無法被觀察和理解，預(yù)測結(jié)果的準(zhǔn)確性和可靠性也難以被判定和把握，因而在可信任性、透明性、安全性和公平性等方面深受AI系統(tǒng)應(yīng)用者的詬病。

AI模型的可解釋缺陷主要包括：①信任缺陷，模型的黑箱特性使其決策過程難以被調(diào)控，模型存在固有偏差和隨機(jī)偏差，使預(yù)測結(jié)果不穩(wěn)定，難以被信任；②透明性缺陷，模型復(fù)雜的學(xué)習(xí)機(jī)制使輸入數(shù)據(jù)與輸出結(jié)果之間的決策流程難以具體化和形象化，這種學(xué)習(xí)過程的不透明性導(dǎo)致用戶無法理解模型運(yùn)行狀態(tài)的好壞，從而無法對(duì)預(yù)測結(jié)果的準(zhǔn)確性做出判斷；③因果性缺陷，模型無法提供對(duì)輸入數(shù)據(jù)與輸出結(jié)果之間因果關(guān)系的解釋，如利用模型輔助醫(yī)療診斷時(shí)，當(dāng)模型的預(yù)測結(jié)果與領(lǐng)域?qū)＜业臎Q策結(jié)果發(fā)生沖突時(shí)，通常需要依靠模型內(nèi)在的因果邏輯對(duì)是否采納、采納何種決策結(jié)果做出判定；④公平性缺陷，由于模型對(duì)不同目標(biāo)的預(yù)測能力存在不均勻分布，使其在特定目標(biāo)上的決策結(jié)果產(chǎn)生偏移，進(jìn)而引發(fā)一系列公平性問題，如在AI系統(tǒng)的實(shí)際應(yīng)用中，曾經(jīng)出現(xiàn)過AI模型對(duì)人種和性別等造成歧視的案例；⑤可視化缺陷，現(xiàn)有深度學(xué)習(xí)模型復(fù)雜的學(xué)習(xí)機(jī)制使對(duì)模型決策過程進(jìn)行可視化變得異常困難，隨著AI技術(shù)應(yīng)用的推廣和普及，可視化成為幫助大眾用戶理解AI模型的最有效的手段之一，此外，AI技術(shù)研究者也需要通過借助可視化方式對(duì)模型的學(xué)習(xí)性能進(jìn)行調(diào)節(jié)和改善。伴隨著“無法被理解”的缺陷和隱患，機(jī)器學(xué)習(xí)模型為基于AI系統(tǒng)的決策、應(yīng)用以及管理AI系統(tǒng)帶來諸多挑戰(zhàn)，甚至造成網(wǎng)絡(luò)安全[10]、數(shù)據(jù)隱私[11]、數(shù)據(jù)安全[12]、醫(yī)療安全[13]和法律安全[14]等方面的損失。

對(duì)AI模型進(jìn)行解釋的現(xiàn)象背后，是人們對(duì)AI技術(shù)發(fā)展方向的思考，是對(duì)機(jī)器學(xué)習(xí)模型應(yīng)用價(jià)值的質(zhì)疑，是對(duì)理解機(jī)器模型決策過程的訴求[15]。具體來看，可解釋人工智能研究通過回答4個(gè)方面的問題，對(duì)AI系統(tǒng)可解釋性不足的缺陷進(jìn)行突破。①是否做(Whether)、誰需要做(Who)和何時(shí)做(When)。給定某個(gè)AI系統(tǒng)的應(yīng)用場景時(shí)，是否需要增強(qiáng)AI模型的可解釋性，AI模型的學(xué)習(xí)過程和預(yù)測機(jī)理是否可以理解，AI模型的預(yù)測結(jié)果是否可以信任和使用[16]；面向誰進(jìn)行AI模型的解釋，誰需要AI模型的可解釋性[17]；AI系統(tǒng)的應(yīng)用在什么時(shí)候需要可解釋，AI模型什么時(shí)候可以信任、什么時(shí)候需要調(diào)節(jié)、什么情況下會(huì)出錯(cuò)[5]。②為什么(Why)?？山忉屓斯ぶ悄芟到y(tǒng)的另一個(gè)目標(biāo)是要告訴用戶為什么是這個(gè)結(jié)果，為什么不是其他結(jié)果，結(jié)果為什么正確或?yàn)槭裁村e(cuò)誤等[2]。③怎么做(How)。AI模型的學(xué)習(xí)過程是如何進(jìn)行的，AI模型的預(yù)測結(jié)果是如何得到的[6]。④做什么(What)。MOLNAR[4]認(rèn)為，構(gòu)建可解釋人工智能系統(tǒng)的關(guān)鍵是告訴用戶預(yù)測結(jié)果是什么，即需要為用戶對(duì)AI模型的學(xué)習(xí)結(jié)果的理解提供解釋；哪些AI系統(tǒng)的應(yīng)用場景需要可解釋性，同一應(yīng)用場景下的預(yù)測結(jié)果中哪些是可以信任和使用的[18]。

綜合看，可解釋人工智能不僅對(duì)AI的可解釋性進(jìn)行了突破，也為AI的發(fā)展產(chǎn)生積極影響?？山忉屓斯ぶ悄艿呐d起催生了一系列可解釋人工智能方法和方案，為構(gòu)建兼具學(xué)習(xí)性和可解釋性的AI模型奠定了基礎(chǔ)。因此，有必要梳理可解釋人工智能的相關(guān)概念和理論，探究其發(fā)展脈絡(luò)和趨勢(shì)，厘清可解釋人工智能的研究現(xiàn)狀，從而為推動(dòng)可解釋人工智能的進(jìn)一步發(fā)展提供指引和借鑒。

本研究對(duì)已有研究進(jìn)行梳理，過程如下：首先，對(duì)可解釋人工智能的概念進(jìn)行基本檢索和理解。其次，以基本檢索結(jié)果中的重要文獻(xiàn)為支撐依據(jù)，確定準(zhǔn)確和全面的可解釋人工智能相關(guān)檢索關(guān)鍵詞。檢索關(guān)鍵詞的重要支撐文獻(xiàn)包括4類：①以機(jī)器學(xué)習(xí)透明性[19]和機(jī)器學(xué)習(xí)中的可解釋模型[20]等為主題的可解釋人工智能相關(guān)出版書籍；②可解釋人工智能相關(guān)綜述性期刊文獻(xiàn)[5]；③人工智能領(lǐng)域和深度學(xué)習(xí)領(lǐng)域重要的國際會(huì)議[21](如AAAI等)的論文集中與可解釋人工智能相關(guān)的文獻(xiàn)[22]；④以可解釋人工智能為主題的國際研討會(huì)，如ACM on Conference on Information and Knowledge Management[23]、Explainable Computational Intelligence(XCI)[24]、Workshop on ExplainAble Recommendation and Search(EARS)[25]等。最后，以Explainable Artificial Intelligence(XAI)、Interpretable Artificial Intelligence(IAI)、Explainable Machine Learning(XML)、Interpretable Machine Learning(IML)、Explainable Deep Learning(XDeep)和Interpretable Deep Learning(IDeep)等為搜索關(guān)鍵詞，在多個(gè)數(shù)據(jù)庫中進(jìn)行文獻(xiàn)檢索，最終保留249條結(jié)果作為核心文獻(xiàn)。

2 可解釋人工智能的研究現(xiàn)狀

本研究對(duì)可解釋人工智能研究現(xiàn)狀的分析圍繞理論、方法和應(yīng)用3個(gè)層面展開，基于大量已有研究總結(jié)了關(guān)于可解釋人工智能研究現(xiàn)狀的脈絡(luò)框架，見圖2。

圖2 可解釋人工智能研究現(xiàn)狀分析框架Figure 2 Analysis Framework of Research Status Regarding XAI

2.1 可解釋人工智能基礎(chǔ)理論研究

2.1.1 可解釋人工智能概念研究

可解釋人工智能概念的起源要追溯到2004年，VAN LENT et al.[26]首先運(yùn)用英文縮寫XAI表示可解釋人工智能，可解釋人工智能的概念由此誕生。然而，VAN LENT et al.[26]對(duì)可解釋人工智能的研究僅局限于探討全譜命令(full spectrum command,FSC)系統(tǒng)在軍事仿真和電腦游戲中的應(yīng)用，這與現(xiàn)在人們對(duì)可解釋人工智能的理解存在較大差異。在隨后的幾年里，零星出現(xiàn)了提及可解釋人工智能概念的文獻(xiàn)，研究內(nèi)容涉及軍事[12]和教育[25]。綜合看，早期的相關(guān)研究并未對(duì)可解釋人工智能理論和方法的發(fā)展提供實(shí)質(zhì)性見解。直至2016年，美國國防高級(jí)研究計(jì)劃局發(fā)布了可解釋人工智能研究計(jì)劃，正式拉開了可解釋人工智能快速發(fā)展的帷幕。之后的幾年中，可解釋人工智能在人工智能、計(jì)算機(jī)、人機(jī)交互、醫(yī)療和金融等多個(gè)領(lǐng)域掀起了研究熱潮。

圖3給出本研究收集的可解釋人工智能核心文獻(xiàn)數(shù)量隨時(shí)間(年份)變化的趨勢(shì)，可以看出，2016年是可解釋人工智能研究的“爆發(fā)之年”，可解釋人工智能相關(guān)文獻(xiàn)數(shù)量自2016年起大幅增長，并呈現(xiàn)出逐年增長的態(tài)勢(shì)，該趨勢(shì)從一定程度上反映了可解釋人工智能正逐漸成為AI領(lǐng)域的新主題。同時(shí)，本研究通過對(duì)收集的文獻(xiàn)進(jìn)行總結(jié)后發(fā)現(xiàn)，DARPA發(fā)布的可解釋人工智能研究計(jì)劃是被引用的熱點(diǎn)文獻(xiàn)，由此可見，“DARPA事件”是引發(fā)可解釋人工智能研究熱潮的重要原因之一。

圖3 可解釋人工智能核心文獻(xiàn)收集數(shù)量的時(shí)間變化趨勢(shì)Figure 3 Quantity Changing Trend of Collected Core Literature Concerning XAI Over Time

本研究對(duì)收集的文獻(xiàn)進(jìn)行統(tǒng)計(jì)分析發(fā)現(xiàn)，已有的大部分可解釋人工智能文獻(xiàn)為會(huì)議論文，期刊論文的數(shù)量較少，說明目前針對(duì)可解釋人工智能的研究尚處于起步階段。分析結(jié)果還表明，大部分文獻(xiàn)都集中于可解釋人工智能的理論和應(yīng)用研究，說明當(dāng)前對(duì)可解釋人工智能方法的研究正處于探索階段。綜合看，目前針對(duì)可解釋人工智能的研究方興未艾，研究者對(duì)可解釋人工智能的定義也尚未形成統(tǒng)一認(rèn)識(shí)。2016年，DARPA在其可解釋人工智能研究計(jì)劃中首次較為完整和明確地闡述了關(guān)于AI可解釋性的概念，即一整套能夠產(chǎn)生更多可解釋模型，能夠維持高水平學(xué)習(xí)性能，能夠使用戶理解、信任和有效管理AI的機(jī)器學(xué)習(xí)技術(shù)[2]。在IJCAI出版的可解釋人工智能研討會(huì)報(bào)告中提到，可解釋人工智能旨在應(yīng)對(duì)來自不透明機(jī)器學(xué)習(xí)模型的挑戰(zhàn)，使這些模型更好地用于解決分析(如分類)或合成(如規(guī)劃和設(shè)計(jì))等任務(wù)[3]。MILLER[5]將可解釋人工智能定位為AI、人機(jī)交互、社會(huì)科學(xué)三者的交叉，并將其描述為一種為自身或其他系統(tǒng)決策過程的潛在原因提供解釋性因素的可解釋代理。在可解釋人工智能的研究中，還出現(xiàn)了一些與可解釋人工智能含義相近的概念，如可解釋機(jī)器學(xué)習(xí)[4]、可解釋深度學(xué)習(xí)[27]、可解釋推薦系統(tǒng)[17]、可解釋的計(jì)算智能[24](explainable computational intelligence,XCI)和可解釋人機(jī)交互[19]等?？v觀這些概念，其核心要義都是在給定決策目標(biāo)的AI系統(tǒng)的應(yīng)用中，面向用戶生成對(duì)機(jī)器學(xué)習(xí)模型的解釋性描述。

可解釋人工智能的目標(biāo)是對(duì)AI系統(tǒng)進(jìn)行解釋，其構(gòu)成可以理解為一個(gè)由包含AI系統(tǒng)要素在內(nèi)的多個(gè)要素構(gòu)成的有機(jī)整體。GUNNING et al.[2]提出的可解釋人工智能系統(tǒng)包含用戶、學(xué)習(xí)任務(wù)、可解釋模型、可解釋接口和決策結(jié)果等模塊；ZHANG et al.[17]基于個(gè)性化推薦提出的可解釋人工智能系統(tǒng)包含社會(huì)化信息、特征提取、推薦模型構(gòu)建和推薦結(jié)果的解釋等模塊；ESCALANTE et al.[20]提出基于視覺計(jì)算的可解釋人工智能系統(tǒng)，包括用戶、模型、可解釋性學(xué)習(xí)、模型的集成和事后推理等功能模塊；MILLER[5]則從社會(huì)科學(xué)的角度給出可解釋人工智能的理論框架，即理論、模型、數(shù)據(jù)、對(duì)象實(shí)體和各要素之間的解釋性連接關(guān)系。

總的來看，①解釋性描述的生成是可解釋人工智能系統(tǒng)的核心模塊，涉及可解釋模型、可解釋性評(píng)估和人機(jī)交互過程等內(nèi)容。②機(jī)器學(xué)習(xí)模型是可解釋人工智能的主要解釋目標(biāo)，其包含從數(shù)據(jù)處理、特征提取、模型構(gòu)建到預(yù)測結(jié)果輸出等多個(gè)環(huán)節(jié)。③AI系統(tǒng)用戶是可解釋人工智能系統(tǒng)面向的對(duì)象，包含AI系統(tǒng)的構(gòu)建者、測試者和終端用戶等。④可解釋人工智能研究是AI研究在可解釋性方面的重要拓展，對(duì)于改善AI技術(shù)的應(yīng)用效果、提升人機(jī)協(xié)同效率和增強(qiáng)人機(jī)互信有著重要意義。⑤雖然AI系統(tǒng)與可解釋人工智能系統(tǒng)在構(gòu)成上都包含數(shù)據(jù)、模型和決策任務(wù)等要素，但AI研究與可解釋人工智能研究有本質(zhì)區(qū)別。從研究目標(biāo)看，傳統(tǒng)的AI研究注重模型學(xué)習(xí)性能和預(yù)測效果的提升，而可解釋人工智能的核心目標(biāo)是對(duì)AI系統(tǒng)的學(xué)習(xí)過程和預(yù)測結(jié)果進(jìn)行解釋。從研究內(nèi)容看，AI研究的核心是機(jī)器，致力于實(shí)現(xiàn)對(duì)復(fù)雜任務(wù)的智能化決策，如自然語言處理、模式識(shí)別和機(jī)器學(xué)習(xí)等；而可解釋人工智能以AI系統(tǒng)用戶為主，通過提升算法透明性、因果性、穩(wěn)定性、安全性和公平性等，實(shí)現(xiàn)對(duì)傳統(tǒng)AI模型學(xué)習(xí)過程難理解、預(yù)測結(jié)果難解釋等缺陷的突破，為用戶更好地信任、理解、管理和應(yīng)用AI系統(tǒng)開辟全新的視野。由此可見，二者是定義在不同目標(biāo)和內(nèi)容框架下的兩種研究范式。

2.1.2 可解釋人工智能中的可解釋類型研究

常見的可解釋人工智能分類依據(jù)是可解釋性程度和范圍不同。SHEH et al.[28]將可解釋人工智能劃分為源、深度、范圍3個(gè)維度，①源維度是指可解釋性的來源不唯一，有可能來自模型自身的決策過程，也有可能是來自其他的外部模型；②深度維度描述可解釋目標(biāo)的不同層次，其解釋對(duì)象可以是特征，即解釋特征在模型決策中的作用，也可以是模型，即解釋模型如何訓(xùn)練以及如何生成預(yù)測結(jié)果；③范圍維度包含兩種，當(dāng)可解釋目標(biāo)集中在某個(gè)特定的決策過程時(shí)，稱之為證明型解釋，否則稱為教學(xué)型解釋。LUNDBERG et al.[29]著眼于從機(jī)器學(xué)習(xí)系統(tǒng)中提取有用的語義信息這個(gè)學(xué)習(xí)目標(biāo)，為可解釋性定義了深度(或程度)和類別兩個(gè)維度，深度(或程度)維度考慮模型必須在多大程度上完成決策過程才能生成解釋或滿足可解釋性要求，具體包含對(duì)輸入特征的解釋、對(duì)特征使用的解釋和對(duì)模型的解釋3個(gè)方面。類別維度包含多種類型的可解釋，例如，①教學(xué)型解釋，將人所掌握的概念和知識(shí)遷移到機(jī)器，可用的方式包括利用代理生成假設(shè)、邏輯規(guī)則、對(duì)話框和狀態(tài)空間的可視化等；②基于反省性信息的解釋，當(dāng)機(jī)器的決定與領(lǐng)域?qū)＜业钠谕g存在差異時(shí)，提供少量的信息，使用戶能夠確認(rèn)機(jī)器決策是否正確，并知道錯(cuò)誤可能發(fā)生的地方；③事后型解釋，引入可解釋模型生成對(duì)“黑箱模型”的解釋，而不對(duì)“黑箱模型”自身基本的決策過程進(jìn)行展示等。

針對(duì)有些模型自身具備一定可解釋性的情況，研究者將可解釋人工智能的可解釋類型劃分為內(nèi)部(直接)可解釋和外部(間接)可解釋。模型自身的可解釋性被稱為內(nèi)部可解釋，如MOLNAR[4]列舉了多種具備自身可解釋性的模型，包括正則化稀疏模型、線性回歸模型、邏輯回歸模型、廣義線性回歸模型、決策樹模型、樸素貝葉斯模型和K近鄰(KNN)模型等；間接可解釋是引入外部代理模型為決策過程提供解釋力，如機(jī)器輔助診療決策中引入領(lǐng)域?qū)＜?，通過運(yùn)用專家掌握的領(lǐng)域知識(shí)對(duì)模型的學(xué)習(xí)過程進(jìn)行解釋，同時(shí)對(duì)模型學(xué)習(xí)結(jié)果的合理性進(jìn)行評(píng)判[30]。也有研究者根據(jù)可解釋目標(biāo)和效果的不同將可解釋人工智能劃分為全局可解釋型和局部可解釋型兩類[6]，全局可解釋型強(qiáng)調(diào)從整體視角出發(fā)，對(duì)模型的框架和參數(shù)進(jìn)行分析調(diào)整，以提高其學(xué)習(xí)性能[27]，如引入透明性算法作為可解釋代理算法，但無法對(duì)模型特定和局部的預(yù)測結(jié)果做出合理解釋；局部可解釋型更專注于單個(gè)或局部樣本和特征的預(yù)測效果，致力于提供對(duì)某個(gè)特定預(yù)測結(jié)果的解釋，如特征重要性評(píng)估[31]等。此外，還可根據(jù)學(xué)習(xí)任務(wù)的不同將可解釋人工智能理解為基于個(gè)性化推薦的解釋、基于特征的解釋、基于文本分析的解釋、基于圖像分類的解釋和基于社交媒體信息等不同場景下的可解釋性生成[17]。表1總結(jié)了可解釋人工智能可解釋性的不同類型。

表1 可解釋人工智能可解釋性類型Table 1 Types of XAI′s Interpretability

2.1.3 可解釋人工智能中的可解釋性評(píng)價(jià)研究

對(duì)可解釋人工智能可解釋性的評(píng)價(jià)，即如何判定一個(gè)模型的可解釋性程度大小，可解釋人工智能方案的構(gòu)建和可解釋性的生成包含哪些具體內(nèi)容，是當(dāng)前可解釋人工智能研究關(guān)注和探討的熱點(diǎn)。

可解釋性評(píng)價(jià)指標(biāo)的作用可歸結(jié)為對(duì)模型(算法)可解釋性能的評(píng)價(jià)和對(duì)模型應(yīng)用效果的評(píng)價(jià)兩個(gè)層面。在模型可解釋性評(píng)價(jià)方面，MOLNAR[4]為機(jī)器學(xué)習(xí)模型學(xué)習(xí)性能和可解釋性的測量定義了5種指標(biāo)，①公平性，預(yù)測過程和預(yù)測結(jié)果是否刻意偏向于某組對(duì)象；②安全性或隱私性，模型是否能夠保障敏感信息的安全；③可靠性或魯棒性，輸入數(shù)據(jù)的微小變化是否引起模型預(yù)測結(jié)果穩(wěn)定性的變化；④因果性，模型學(xué)習(xí)過程中的因果關(guān)系是否易于理解；⑤可信任程度，模型學(xué)習(xí)結(jié)果是否可以信賴。模型應(yīng)用效果的評(píng)價(jià)主要是對(duì)安全性和公平性進(jìn)行考量，即模型的應(yīng)用是否給用戶帶來安全隱患和公平性挑戰(zhàn)[32]。

研究者對(duì)模型可解釋性的評(píng)價(jià)涉及多個(gè)維度，HAGRAS[18]從人機(jī)交互的角度，將AI的可解釋性定義為準(zhǔn)確性、因果性、透明性、公平性和安全性，準(zhǔn)確性為定量指標(biāo)，因果性、透明性、公平性和安全性為定性指標(biāo)。MILLER[5]從社會(huì)心理學(xué)角度定義了5種定性的可解釋性指標(biāo)，包括：①因果關(guān)系，即兩個(gè)事件互為因果，并且可以通過干預(yù)原因事件實(shí)現(xiàn)對(duì)結(jié)果事件的變動(dòng)；②解釋，即認(rèn)知過程中對(duì)事件原因的識(shí)別和對(duì)所得結(jié)果的解釋，以及社交過程中解釋者與被解釋者之間的知識(shí)遷移；③對(duì)疑問的回答結(jié)果，如是什么、為什么、怎樣、是否等問題；④推理的解釋，觀察事件、做出假設(shè)、判斷假設(shè)的合理性、選擇最優(yōu)的假設(shè)作為最終的解釋(因果模型)；⑤解釋力和合理性，解釋力負(fù)責(zé)對(duì)決策過程進(jìn)行解釋，合理性提供對(duì)決策好壞的說明。此外，可視化也被認(rèn)為是評(píng)價(jià)可解釋性的重要方面，通過可視化方法將深度學(xué)習(xí)的網(wǎng)絡(luò)學(xué)習(xí)過程和學(xué)習(xí)結(jié)果的解釋和分析形象化。例如，建立可視化分析范式，從而有效評(píng)估模型驅(qū)動(dòng)分析系統(tǒng)中人為干預(yù)的潛在后果[33]；探究視覺分析對(duì)深度學(xué)習(xí)方法研究的影響[34]；基于可視化分析和信息可視化視角分析機(jī)器學(xué)習(xí)的可解釋性[35]。

綜合已有的可解釋人工智能理論研究可知，①從定義角度，可解釋人工智能的核心內(nèi)容是在保持機(jī)器學(xué)習(xí)優(yōu)良性能的基礎(chǔ)上，進(jìn)一步為用戶提供更高程度的對(duì)機(jī)器決策過程和決策結(jié)果的解釋，進(jìn)而為人類信任和管理AI系統(tǒng)提供決策支持。②從可解釋人工智能系統(tǒng)的構(gòu)成方面，一個(gè)完整的可解釋人工智能系統(tǒng)應(yīng)包含用戶、數(shù)據(jù)、模型、決策任務(wù)和可解釋性生成模塊，其中對(duì)可解釋性的生成和描述是可解釋人工智能系統(tǒng)區(qū)別于AI系統(tǒng)的顯著特征。③針對(duì)可解釋人工智能中可解釋性的評(píng)價(jià)，本研究提出一般性指標(biāo)框架，見表2。同時(shí)，從各評(píng)價(jià)指標(biāo)相關(guān)的統(tǒng)計(jì)分析研究中可以明顯看出，在可解釋人工智能領(lǐng)域，人們關(guān)注的核心已不僅是模型的準(zhǔn)確性，模型的可靠性、因果性和透明性等指標(biāo)正在發(fā)展成為衡量AI系統(tǒng)性能優(yōu)劣的新的重要指標(biāo)。

表2 可解釋人工智能可解釋性評(píng)價(jià)指標(biāo)Table 2 Evaluation Indicators of XAI′s Interpretability

2.2 可解釋人工智能基本方法研究

可解釋人工智能方法研究是提高模型穩(wěn)定性和透明性的根本途徑之一，是保障模型在應(yīng)用中的安全性和公平性的重要手段，只有借助可解釋人工智能方法，用戶才能更好地理解和判斷模型的內(nèi)在運(yùn)行邏輯，進(jìn)而管控和信任模型的表現(xiàn)。AI模型可解釋性的生成途徑并不唯一，可以通過引入理論模型，對(duì)機(jī)器行為的因果關(guān)系進(jìn)行理解和認(rèn)知；可以改進(jìn)機(jī)器學(xué)習(xí)模型本身，提高算法的透明性；也可以使用外部知識(shí)推理模型，以特定的歸納或演繹策略對(duì)模型的復(fù)雜過程進(jìn)行推斷，使其形象化和可觀測。因此，本研究將對(duì)可解釋人工智能方法的分析劃分為理論模型、機(jī)器學(xué)習(xí)和知識(shí)推理3個(gè)方面。

2.2.1 基于理論模型的可解釋人工智能方法研究

基于理論模型的可解釋人工智能方法是在行為和認(rèn)知等理論的驅(qū)動(dòng)下，基于一系列用戶行為假設(shè)，對(duì)模型內(nèi)部存在的因果邏輯關(guān)系進(jìn)行抽象，使模型的關(guān)鍵概念、屬性和結(jié)構(gòu)等顯性化，從而更易被用戶感知和理解。該類可解釋人工智能方法主要目標(biāo)是提高模型可解釋性指標(biāo)中的因果性，本研究對(duì)已有研究中常見的基于理論模型的可解釋人工智能方案進(jìn)行梳理，總結(jié)如下：

(1)可解釋系統(tǒng)和框架

可解釋系統(tǒng)和框架的目標(biāo)并不是提出某個(gè)可解釋模型，而是通過建立一個(gè)由多種模塊或組件構(gòu)成的統(tǒng)一的理論框架或系統(tǒng)來滿足用戶對(duì)模型可解釋性的需求，這樣的可解釋人工智能系統(tǒng)中通常包含系統(tǒng)發(fā)布者、終端系統(tǒng)用戶、領(lǐng)域知識(shí)、學(xué)習(xí)模型、人機(jī)交互接口和解釋性推理等模塊[37]。

(2)基于概念模型的可解釋人工智能方案

通過對(duì)機(jī)器的學(xué)習(xí)目標(biāo)、學(xué)習(xí)過程和學(xué)習(xí)結(jié)果等進(jìn)行抽象，繪制出概念模型圖，進(jìn)而對(duì)模型中的關(guān)鍵概念、重要屬性以及學(xué)習(xí)過程與預(yù)測結(jié)果的關(guān)聯(lián)關(guān)系等提供解釋。例如，DORAN et al.[38]構(gòu)建基于概念模型的可解釋人工智能方案對(duì)可理解性、可解釋性和透明性的屬性以及三者之間的連接關(guān)系進(jìn)行抽象。

(3)基于認(rèn)知模型的可解釋人工智能方案

描繪模型對(duì)輸入特征的感知過程，以及用戶對(duì)模型學(xué)習(xí)經(jīng)過和輸出結(jié)果的感知過程，該方案的核心在于回答為什么、是什么、如何等問題。例如，NEERINCX et al.[39]構(gòu)建基于感知模型的可解釋人工智能系統(tǒng)，基于反事實(shí)衡量人機(jī)交互中AI系統(tǒng)對(duì)用戶行為感知的可信程度。

(4)基于因果模型的可解釋人工智能方案

通過在模型的輸入數(shù)據(jù)與輸出結(jié)果之間建立對(duì)應(yīng)關(guān)系，進(jìn)而對(duì)模型內(nèi)在的因果邏輯作出解釋。例如，ESCALANTE et al.[20]構(gòu)建因果生成式神經(jīng)網(wǎng)絡(luò)模型，該方法通過對(duì)生成樣本與觀測樣本之間的最大平均誤差進(jìn)行建模，以二者的聯(lián)合分布概率最大化為目標(biāo)學(xué)習(xí)得到生成式模型，為用戶從“原因到結(jié)果”的推斷提供了可解釋性決策支持；KLEIN[16]運(yùn)用因果模型，通過原因因素的影響力得分和可逆性得分(反映消除這一原因的容易程度)，判斷其對(duì)學(xué)習(xí)結(jié)果的影響程度，從而簡化了對(duì)復(fù)雜模型學(xué)習(xí)過程的理解。

(5)基于心智模型的可解釋人工智能方案

通過應(yīng)用領(lǐng)域?qū)＜业闹饔^經(jīng)驗(yàn)或知識(shí)，對(duì)用戶如何進(jìn)行功能性推理(理解機(jī)器做什么)和結(jié)構(gòu)性推理(理解機(jī)器是如何工作的)做出解釋。例如，GARCIA et al.[40]在不同決策場景下運(yùn)用Likert 7點(diǎn)評(píng)分法測量用戶內(nèi)在的推理過程，以此作為生成模型可解釋性的依據(jù)。

2.2.2 基于機(jī)器學(xué)習(xí)的可解釋人工智能方法研究

基于機(jī)器學(xué)習(xí)的可解釋人工智能方法的主要思想是引入具備一定可解釋性的外部模型，或通過二次建模(學(xué)習(xí))的方式生成對(duì)模型的解釋性內(nèi)容，其核心目標(biāo)是提高算法的透明性，使其能夠被用戶理解。顯然，該類可解釋人工智能方法與機(jī)器學(xué)習(xí)方法之間存在對(duì)應(yīng)關(guān)系。目前，研究者對(duì)機(jī)器學(xué)習(xí)模型的可解釋性研究主要集中在深度學(xué)習(xí)模型[41]。對(duì)深度學(xué)習(xí)模型可解釋性的研究涵蓋了卷積神經(jīng)網(wǎng)絡(luò)(CNN)[42]、多層感知網(wǎng)絡(luò)(MLP)[43]、循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[44]、深度信念網(wǎng)絡(luò)(DBN)和自編碼機(jī)網(wǎng)絡(luò)(AE)[45]等多種網(wǎng)絡(luò)。本研究將基于深度學(xué)習(xí)的可解釋人工智能方法總結(jié)為3類。

(1)基于定性解釋的方法

以定性描述或定性探測的方式解釋網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)，如參數(shù)傳播路徑、數(shù)據(jù)的輸入、隱含層的激活狀態(tài)和結(jié)果的輸出等。ZHANG et al.[25]認(rèn)為，對(duì)深度神經(jīng)網(wǎng)絡(luò)的解釋應(yīng)當(dāng)是一種由用戶驅(qū)動(dòng)生成的解釋路徑，即用戶對(duì)深層網(wǎng)絡(luò)如何工作進(jìn)行解釋，無需打開整個(gè)底層網(wǎng)絡(luò)，對(duì)連接權(quán)重、隱含層和特征矩陣等進(jìn)行解釋。具體的解釋方案包括：①伴隨變動(dòng)。通過改變某個(gè)輸入變量確定其對(duì)結(jié)果產(chǎn)生的影響，并以此探究二者之間潛在的因果關(guān)系，如用戶將圖片的某個(gè)區(qū)域輸入到卷積神經(jīng)網(wǎng)絡(luò)特定的卷積過濾中，觀察分類結(jié)果的變化，由此可以判斷出該區(qū)域是否為網(wǎng)絡(luò)提供判別信息。②基于一致性的方法。結(jié)合用戶知識(shí)，對(duì)深度網(wǎng)絡(luò)進(jìn)行自上而下的檢查，如某個(gè)圖片在輸出層的類別被預(yù)測為鳥，則可以人為判定由中間過程產(chǎn)生的裁剪特征中是否有人類可理解的關(guān)于鳥的信息，如喙、翅膀、眼睛和腳等。③基于分歧的方法。對(duì)深度網(wǎng)絡(luò)進(jìn)行自下而上的檢查，用戶可以將某個(gè)網(wǎng)絡(luò)已能正確分類的圖片(設(shè)類別為1)與其他某個(gè)圖片(設(shè)類別為2)進(jìn)行拼接，形成一張新的圖片后輸入網(wǎng)絡(luò)，如果該網(wǎng)絡(luò)仍將新圖片分類為1，則考慮其對(duì)何種信息進(jìn)行忽略，如果將新圖片分類為2，則考慮其對(duì)何種信息進(jìn)行利用。④基于調(diào)節(jié)的方法。對(duì)網(wǎng)絡(luò)進(jìn)行投射測試，如對(duì)圖片數(shù)據(jù)進(jìn)行變形、添加噪聲和平滑等，使網(wǎng)絡(luò)具備對(duì)未學(xué)習(xí)目標(biāo)的分類能力。

(2)基于定量解釋的方法

對(duì)網(wǎng)絡(luò)中的輸入、隱含層、輸出和傳播關(guān)系進(jìn)行定量測評(píng)，以理解網(wǎng)絡(luò)學(xué)習(xí)過程與輸出結(jié)果的關(guān)系。層相關(guān)性傳播(layer-wise relevance propagation,LRP)算法是此類可解釋方法的重要代表[46]，該方法對(duì)深度網(wǎng)絡(luò)在樣本上的預(yù)測結(jié)果進(jìn)行逆向分解，得到其與單個(gè)輸入維度(如圖像的子像素)的相關(guān)度分?jǐn)?shù)。通過這種方式，用戶能夠借助輸入的相關(guān)度分?jǐn)?shù)判斷網(wǎng)絡(luò)分類過程的合理性，即判斷網(wǎng)絡(luò)是依據(jù)哪些輸入(區(qū)域)做出的決策，以圖像輸入為例，其輸入像素的相關(guān)度分?jǐn)?shù)常以熱力圖的形式呈現(xiàn)。在MONTAVON et al.[47]提出的可解釋CNN模型中，從輸出層開始，將輸出類別通過激活函數(shù)進(jìn)行反向映射，將卷積特征逆向映射到輸入空間，進(jìn)而得到每一個(gè)類別的主導(dǎo)反射路徑及其在輸入空間中對(duì)應(yīng)的專注性響應(yīng)區(qū)域，以此實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)預(yù)測機(jī)制的理解。

(3)基于可視化解釋的方法

可視化是一種簡單通俗的深度學(xué)習(xí)可解釋方法。CHOO et al.[35]總結(jié)了可視化技術(shù)在深度學(xué)習(xí)中的應(yīng)用，并提出基于可視化的可解釋深度學(xué)習(xí)方案，包括外部知識(shí)的注入，應(yīng)用基于外部專家的交互式逐步可視化方法調(diào)節(jié)深度學(xué)習(xí)訓(xùn)練過程中出現(xiàn)的偏差，基于專家知識(shí)對(duì)深度學(xué)習(xí)的輸出結(jié)果進(jìn)行交互式指導(dǎo)(用戶驅(qū)動(dòng)的生成模型)等。在利用循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測患者狀態(tài)時(shí)，KWON et al.[44]基于可視化提出交互式深度學(xué)習(xí)模型，實(shí)現(xiàn)了模型與領(lǐng)域?qū)＜业慕换?，為預(yù)測過程提供了合理的解釋和指導(dǎo)；HOHMAN et al.[34]以用戶為中心，提出基于可視化的深度學(xué)習(xí)問詢框架，即以深度學(xué)習(xí)可視化為核心的“6W”框架。具體包括：①Why：為什么使用深度學(xué)習(xí)可視化，用于對(duì)模型的調(diào)試和改進(jìn)、模型的對(duì)比和選擇、深度學(xué)習(xí)的概念教學(xué)等提供可解釋性。②What：深度網(wǎng)絡(luò)中什么樣的數(shù)據(jù)、特征和關(guān)系能夠被可視化，計(jì)算路徑、網(wǎng)絡(luò)結(jié)構(gòu)、模型參數(shù)和神經(jīng)元等元素的可視化。③When：何時(shí)需要用到深度學(xué)習(xí)可視化，訓(xùn)練過程中和訓(xùn)練完后。④Who：誰能夠使用或得益于深度學(xué)習(xí)可視化，模型的構(gòu)建者、模型的使用者和非領(lǐng)域?qū)＜矣脩?。⑤How：如何對(duì)深度學(xué)習(xí)進(jìn)行可視化，通過節(jié)點(diǎn)連接、散點(diǎn)圖、特征降維方法、折線圖、交互式實(shí)驗(yàn)和特征的可視化算法等。⑥Where：深度學(xué)習(xí)可視化用在什么地方，學(xué)術(shù)研究領(lǐng)域和業(yè)務(wù)應(yīng)用領(lǐng)域。

2.2.3 基于知識(shí)推理的可解釋人工智能方法研究

基于知識(shí)推理的可解釋人工智能方法是面向AI系統(tǒng)應(yīng)用，基于擬人化的推理方式，借助已有的概念化知識(shí)，以特定的歸納或演繹策略對(duì)機(jī)器模型復(fù)雜的訓(xùn)練和預(yù)測過程進(jìn)行理解，使原本不可解釋的模型變得可觀測。該類方法主要的可解釋目標(biāo)是實(shí)現(xiàn)對(duì)模型過程的可視化。在可解釋人工智能方法的構(gòu)建中，常被用到的知識(shí)推理模型有知識(shí)圖譜、案例推理和模糊推斷等。SILVA et al.[21]在由自然語言詞典定義組成的圖知識(shí)庫中引入一種基于詞嵌入方法的導(dǎo)航算法，對(duì)圖知識(shí)庫中概念之間的連接關(guān)系進(jìn)行搜尋，以此為用戶提供可解釋的語義關(guān)系識(shí)別結(jié)果；FUJI et al.[48]將深度張量與知識(shí)圖譜相結(jié)合，以此識(shí)別和觀測深度結(jié)構(gòu)中的可推斷性因素；LAMY et al.[49]的研究結(jié)合定量可視化和定性可視化兩個(gè)視角，提出一種基于案例推理(case-based reasoning,CBR)的可解釋方法，該方法利用可視化接口對(duì)相似案例的查詢結(jié)果以及結(jié)果之間的相似度在用戶界面中進(jìn)行顯示，為用戶的查詢和推理提供可解釋依據(jù)；FERNANDEZ et al.[50]根據(jù)Why、When、What for和Where to提出基于進(jìn)化模糊系統(tǒng)的可解釋人工智能方案，并論證了模糊邏輯方法對(duì)于構(gòu)建可解釋人工智能系統(tǒng)的意義，即能夠有效解釋復(fù)雜模型中的不確定問題，雖然解釋可能是模糊(不夠精確)的，但足以被用戶采納和接受。

2.2.4 可解釋人工智能方法研究現(xiàn)狀總結(jié)

圖4給出對(duì)已有可解釋人工智能方法研究進(jìn)行分類的分析。由圖4(a)可知，目前研究者對(duì)可解釋人工智能方案的構(gòu)建主要基于機(jī)器學(xué)習(xí)、理論模型和知識(shí)推理3類方法，基于機(jī)器學(xué)習(xí)的可解釋人工智能方法占據(jù)主導(dǎo)地位，占被調(diào)查的可解釋人工智能方法研究類數(shù)量的68%。這3類方法針對(duì)AI模型生成的可解釋性具有不同特點(diǎn)，基于機(jī)器學(xué)習(xí)的可解釋人工智能方案通過定量分析和精準(zhǔn)(二次)學(xué)習(xí)的方式增強(qiáng)原始模型決策過程的透明性，基于理論模型的可解釋人工智能方案更加注重用戶對(duì)模型內(nèi)在因果關(guān)系的感知、體驗(yàn)和理解，基于知識(shí)推理的可解釋人工智能方案強(qiáng)調(diào)依靠知識(shí)(經(jīng)驗(yàn))的歸納和演繹使復(fù)雜的模型邏輯顯性化。3種類型的可解釋方案相互協(xié)調(diào)，滿足不同用戶對(duì)可解釋性差異化的需求，共同促進(jìn)人機(jī)協(xié)同，增進(jìn)人機(jī)互信。

由圖4(b)可知，在基于機(jī)器學(xué)習(xí)的可解釋人工智能方法中，分類模型的應(yīng)用最為廣泛，占比為88%，這與分類模型在AI系統(tǒng)中的廣泛應(yīng)用密切相關(guān)。由圖4(c)可知，在基于分類模型的可解釋人工智能方法研究中，近半數(shù)研究都聚焦于深度學(xué)習(xí)模型的可解釋性，在對(duì)已有的可解釋深度學(xué)習(xí)的研究進(jìn)行分析和總結(jié)后發(fā)現(xiàn)，研究者提出的深度學(xué)習(xí)可解釋方案主要是針對(duì)卷積神經(jīng)網(wǎng)絡(luò)(圖像識(shí)別的可解釋)。以本研究調(diào)查的可解釋性深度學(xué)習(xí)相關(guān)研究為例，與可解釋性卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的研究數(shù)量占比達(dá)到43.55%。此外，由于規(guī)則模型和概率模型自身具備良好的可解釋性能，在可解釋人工智能方法的構(gòu)建中也有廣泛應(yīng)用。由圖4(d)可知，在基于知識(shí)推理的可解釋人工智能方法中，知識(shí)圖譜受到研究者的廣泛青睞，占被調(diào)查研究的44%，其與機(jī)器學(xué)習(xí)的結(jié)合在可解釋人工智能的發(fā)展中呈現(xiàn)出良好的發(fā)展前景。表3對(duì)可解釋人工智能方法的研究進(jìn)行總結(jié)，其中列舉了最為核心的4種可解釋指標(biāo)。

表3 可解釋人工智能方法研究Table 3 Research of XAI′s Methodology

圖4 可解釋人工智能方法研究分類分析Figure 4 Category Analysis on XAI′s Methodology

2.3 可解釋人工智能應(yīng)用研究

目前，學(xué)術(shù)界和產(chǎn)業(yè)界對(duì)可解釋人工智能的應(yīng)用需求日益增長。學(xué)術(shù)研究領(lǐng)域?qū)τ诳山忉屓斯ぶ悄艿男枨笾饕性谀Ｐ偷臏?zhǔn)確性和穩(wěn)定性方面，研究者希望通過可解釋方案的探索和運(yùn)用，對(duì)模型性能的了解更加明確、清晰，進(jìn)而獲得更加準(zhǔn)確和穩(wěn)定可靠的模型表現(xiàn)?？山忉屓斯ぶ悄茉跇I(yè)務(wù)應(yīng)用領(lǐng)域的需求主要體現(xiàn)在安全性和公平性兩個(gè)方面，AI系統(tǒng)用戶希望借助可解釋人工智能，實(shí)現(xiàn)對(duì)模型更加精準(zhǔn)的操控和管理，從而消除其在使用過程中存在的隱患，降低可能造成的損失。本研究對(duì)可解釋人工智能在學(xué)術(shù)研究領(lǐng)域和業(yè)務(wù)應(yīng)用領(lǐng)域的應(yīng)用分別進(jìn)行分析，結(jié)果見圖5。

(a)XAI在學(xué)術(shù)研究領(lǐng)域中的應(yīng)用 (b)XAI在業(yè)務(wù)應(yīng)用領(lǐng)域中的應(yīng)用

由圖5(a)可知，可解釋人工智能在視覺計(jì)算領(lǐng)域的研究和應(yīng)用較為廣泛，這與模式識(shí)別已經(jīng)成為當(dāng)前AI發(fā)展的核心和前沿技術(shù)的事實(shí)是分不開的。在已有研究中，大部分深度學(xué)習(xí)模型的可解釋方法都是針對(duì)卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建的，研究者對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行解釋最直接的目標(biāo)便是獲得準(zhǔn)確性和穩(wěn)定性，準(zhǔn)確性保證了模型在圖像識(shí)別中的有用性，穩(wěn)定性保證了模型在實(shí)際動(dòng)態(tài)變換的決策任務(wù)面前依然是可用的，可以發(fā)揮其準(zhǔn)確的預(yù)測和識(shí)別功能。例如，層相關(guān)性傳播[46]、網(wǎng)絡(luò)測試和網(wǎng)絡(luò)調(diào)節(jié)[25]等可解釋方法的應(yīng)用，其核心目標(biāo)并不是測量模型對(duì)圖片分類的準(zhǔn)確程度，而是通過在已具備預(yù)測能力的網(wǎng)絡(luò)上進(jìn)行二次學(xué)習(xí)，確認(rèn)網(wǎng)絡(luò)對(duì)圖片的分類過程是真正合理、可靠的，這樣經(jīng)過用戶理解和判斷之后的網(wǎng)絡(luò)，其精確的分類性能才能被用戶信任。另一類可解釋人工智能領(lǐng)域的研究熱點(diǎn)為自然語言處理，因?yàn)槲谋咎幚砗驼Z義分析等學(xué)習(xí)任務(wù)天然面臨不確定性較大、模糊性較強(qiáng)等挑戰(zhàn)，因此它們對(duì)可解釋性的需求也較為明顯。不僅如此，可解釋人工智能在推薦系統(tǒng)領(lǐng)域也受到相當(dāng)程度的重視，互聯(lián)網(wǎng)時(shí)代，各類社交平臺(tái)(社交媒體)和網(wǎng)絡(luò)零售平臺(tái)的繁榮在一定程度上推動(dòng)了基于個(gè)性化推薦的可解釋人工智能研究的發(fā)展。此外，視覺計(jì)算、NLP、推薦系統(tǒng)、情感分析、異常檢測和語音識(shí)別等學(xué)術(shù)研究領(lǐng)域也陸續(xù)開始對(duì)可解釋人工智能的研究。

由圖5(b)可知，從業(yè)務(wù)應(yīng)用的角度看，雖然人機(jī)交互、教育、交通、金融、法律和軍事等領(lǐng)域都已經(jīng)開始對(duì)可解釋人工智能系統(tǒng)的應(yīng)用和探索，但醫(yī)療健康領(lǐng)域?qū)山忉屓斯ぶ悄艿男枨笞顬槠惹校山忉屓斯ぶ悄芟到y(tǒng)的應(yīng)用對(duì)于醫(yī)患雙方都有重要意義。一方面，因AI診療系統(tǒng)犯錯(cuò)而造成的損失對(duì)于患者而言是難以承受的，患者必須依靠可解釋人工智能系統(tǒng)提供的可解釋性依據(jù)來判斷醫(yī)療專家或輔助診療設(shè)備的診斷結(jié)果是否準(zhǔn)確、可信[7]；另一方面，醫(yī)生需要應(yīng)用可解釋人工智能系統(tǒng)為其診斷過程和診斷結(jié)果提供充足的解釋力，以此防范錯(cuò)診和誤診帶來的道德或法律風(fēng)險(xiǎn)[13]。研究者為可解釋人工智能在醫(yī)療領(lǐng)域中的應(yīng)用提供了大量方案，比較典型的有兩類：①以領(lǐng)域?qū)＜医槿霝橹鞯目山忉屓斯ぶ悄芊桨?，如通過醫(yī)學(xué)領(lǐng)域?qū)＜矣?xùn)練可視化工具，以此幫助用戶探索數(shù)據(jù)隱含的基本解釋因素[30]；②以機(jī)器學(xué)習(xí)為主的可解釋人工智能方法，如SHICKEL et al.[61]提出，結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)流數(shù)據(jù)的挖掘優(yōu)勢(shì)以及序貫器官衰竭評(píng)估分?jǐn)?shù)框架對(duì)患者心血管、呼吸、神經(jīng)、肝臟、凝血和腎臟等指標(biāo)的可解釋優(yōu)勢(shì)，基于重癥監(jiān)護(hù)室電子健康記錄數(shù)據(jù)，共同預(yù)測患者的疾病嚴(yán)重程度和住院死亡率，從而高效地獲得準(zhǔn)確、可信的預(yù)測結(jié)果，為診斷提供決策支持。

表4總結(jié)了可解釋人工智能在各領(lǐng)域的應(yīng)用。

表4 可解釋人工智能在各領(lǐng)域的應(yīng)用總結(jié)Table 4 Summary of XAI Applications from Various Fields

3 管理視角下可解釋人工智能面臨的挑戰(zhàn)分析

雖然可解釋人工智能作為一個(gè)新興領(lǐng)域正在吸引越來越多研究者的目光，但是可解釋人工智能的發(fā)展還面臨諸多挑戰(zhàn)，尤其是作為管理學(xué)領(lǐng)域的研究者，更需要清楚可解釋人工智能的發(fā)展給管理研究帶來怎樣的挑戰(zhàn)，以及隨著研究的深入可解釋人工智能又引發(fā)哪些新的管理問題?；趯?duì)已有研究的梳理和分析，本研究從管理學(xué)視角對(duì)可解釋人工智能研究面臨的挑戰(zhàn)進(jìn)行分析。

3.1 可解釋人工智能方法研究面臨的挑戰(zhàn)

(1)聚焦于事后可解釋

當(dāng)研究者的目光都集中于深度學(xué)習(xí)模型的“黑箱”特性時(shí)，幾乎所有的可解釋人工智能研究者都將目光投向“深度學(xué)習(xí)模型的預(yù)測結(jié)果是如何得到的”這一最緊迫的可解釋目標(biāo)。于是，大量的可解釋人工智能方法研究致力于探討如何根據(jù)預(yù)測結(jié)果對(duì)預(yù)測過程進(jìn)行推理，進(jìn)而解決預(yù)測結(jié)果與輸入數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系這一問題[46]。這類方法顯然屬于事后可解釋型方法，即對(duì)模型輸出結(jié)果的準(zhǔn)確性進(jìn)行理解和判定。雖然事后型解釋為用戶對(duì)預(yù)測結(jié)果的使用提供了可信任依據(jù)，但是很多模型在數(shù)據(jù)的輸入階段和訓(xùn)練過程中同樣面臨可解釋性不足的缺陷。遺憾的是，目前事前可解釋和事中可解釋問題并未引起研究者的重視，如利用機(jī)器學(xué)習(xí)模型輔助風(fēng)險(xiǎn)管理時(shí)，在解釋決策結(jié)果的同時(shí)，還需要解釋針對(duì)風(fēng)險(xiǎn)決策構(gòu)建的模型其邏輯是否合理。

(2)同質(zhì)化的解釋

已有可解釋人工智能方法大都側(cè)重于對(duì)模型因果關(guān)系、透明性和可視化的解釋，而針對(duì)其他重要的可解釋性指標(biāo)的研究尚無太大進(jìn)展。這些指標(biāo)趨于同質(zhì)化，因?yàn)槠淠繕?biāo)都是明確模型內(nèi)在的因果聯(lián)系，從而為用戶信任和采納模型的輸出結(jié)果提供依據(jù)。例如，模式識(shí)別領(lǐng)域傾向于將可視化作為構(gòu)建可解釋人工智能系統(tǒng)的核心手段[46]，人機(jī)交互領(lǐng)域傾向于將可解釋性歸結(jié)為人或外部知識(shí)的參與[68]，醫(yī)學(xué)領(lǐng)域構(gòu)建的可解釋人工智能方案更關(guān)注對(duì)因果關(guān)系的解釋[66]，這些可解釋方案對(duì)模型自身性能的改進(jìn)和增強(qiáng)并無直接影響。異質(zhì)化的可解釋方案不僅要幫助增強(qiáng)人機(jī)互信，還要能夠促進(jìn)人機(jī)協(xié)同，允許用戶與模型在不斷的“解釋-被解釋”交互中得到增強(qiáng)。例如，如何利用可解釋性提升模型的準(zhǔn)確率和穩(wěn)定性，以增加模型的可信任程度，進(jìn)而緩解其不可解釋的缺陷[60]。

(3)輸入的可解釋性被忽略

從機(jī)器學(xué)習(xí)理論看，數(shù)據(jù)的獲取和特征的構(gòu)建直接決定了模型假設(shè)空間和版本空間的分布，模型輸入的可解釋性缺陷不可避免地造成模型預(yù)測的偏差[72]。因此，對(duì)輸入模型的數(shù)據(jù)和特征進(jìn)行解釋，如數(shù)據(jù)的描述統(tǒng)計(jì)和可視化、特征重要性評(píng)估、特征之間的相關(guān)性處理等，是保證模型訓(xùn)練和預(yù)測過程可解釋的前提和基礎(chǔ)。然而，在已有可解釋人工智能方法研究中，輸入的可解釋性與模型的可解釋性并未實(shí)現(xiàn)良好的貫穿和統(tǒng)一。當(dāng)研究者都聚焦于解釋模型的決策結(jié)果時(shí)，對(duì)用于刻畫決策目標(biāo)的指標(biāo)(輸入)合理性的解釋卻被忽略。

(4)準(zhǔn)確性與可解釋性之間的平衡問題

該問題本質(zhì)上是可解釋人工智能的興起為管理領(lǐng)域帶來的一個(gè)新的挑戰(zhàn)。已有的AI研究圍繞機(jī)器的學(xué)習(xí)性能展開，而可解釋人工智能研究首次將用戶作為AI系統(tǒng)的核心，致力于為用戶提供高質(zhì)量的可解釋性，提升用戶對(duì)模型應(yīng)用的滿意度。然而，這并不意味著可解釋人工智能系統(tǒng)不關(guān)注模型的學(xué)習(xí)效果，可解釋人工智能的發(fā)展恰恰需要以機(jī)器強(qiáng)大的學(xué)習(xí)性能為基礎(chǔ)。離開機(jī)器的學(xué)習(xí)性能談可解釋性，或者拋開用戶的理解和體驗(yàn)談機(jī)器的學(xué)習(xí)性能，都是不可取的。因此，可解釋方案的構(gòu)建需要兼顧模型性能和用戶對(duì)模型的使用行為。

3.2 可解釋人工智能應(yīng)用面臨的挑戰(zhàn)

(1)可解釋人工智能行業(yè)應(yīng)用范圍的拓展

目前，可解釋人工智能的發(fā)展只在醫(yī)療等需求較為迫切的領(lǐng)域引發(fā)了熱烈反響，研究者對(duì)可解釋方法的探索也比較集中地面向醫(yī)療健康行業(yè)。然而，AI發(fā)展涉及的行業(yè)范圍很廣，這些行業(yè)對(duì)于AI技術(shù)的應(yīng)用都面臨不同程度的可解釋性的需求。隨著可解釋人工智能的發(fā)展，更多領(lǐng)域?qū)@現(xiàn)出對(duì)可解釋性的需求，可解釋人工智能的應(yīng)用范圍也將由醫(yī)療、計(jì)算機(jī)視覺和人機(jī)交互等熱點(diǎn)領(lǐng)域向其他領(lǐng)域擴(kuò)展。

(2)可解釋人工智能行業(yè)應(yīng)用程度的深化

已有可解釋人工智能研究對(duì)可解釋性的界定比較模糊，對(duì)可解釋性的評(píng)判也非?；\統(tǒng)，用戶應(yīng)當(dāng)如何理解透明性、因果性和可靠性這些可解釋指標(biāo)，這些指標(biāo)代表了多大程度的可解釋性，是否能夠滿足用戶實(shí)際的可解釋性需求，多個(gè)可解釋方案之間應(yīng)該如何取舍，這些問題不僅阻礙了可解釋人工智能在方法層面的深入發(fā)展，也影響了可解釋人工智能在行業(yè)的深入應(yīng)用，使可解釋人工智能始終停留在概念意義上。因此，對(duì)可解釋性的需求和評(píng)價(jià)有待進(jìn)一步量化或具體化，只有當(dāng)用戶能夠直接捕捉和利用可解釋性信息時(shí)，可解釋人工智能才能真正為AI技術(shù)在行業(yè)中的應(yīng)用發(fā)揮作用。

(3)可解釋人工智能與AI系統(tǒng)的融合

AI技術(shù)的應(yīng)用和推廣催生了一大批智能化產(chǎn)品，作為專門為AI系統(tǒng)提供解釋的可解釋人工智能系統(tǒng)，其在行業(yè)中的應(yīng)用需要與具體的AI產(chǎn)品或AI場景相融合、相適應(yīng)。就目前的可解釋人工智能研究看，其建立的多種可解釋方法相互之間是孤立的，方法的設(shè)計(jì)對(duì)模型的針對(duì)性太強(qiáng)，反而沒有很好地針對(duì)具體的AI系統(tǒng)或AI產(chǎn)品的應(yīng)用。

3.3 可解釋人工智能對(duì)于管理研究的挑戰(zhàn)

(1)可解釋方案的效率低、成本高

已有研究中，可解釋人工智能方案的構(gòu)建過度依賴外部模型或?qū)＜业膮⑴c，忽略了模型自身具備的可解釋性，使對(duì)模型的解釋成本升高。例如，對(duì)于K近鄰、決策樹和線性回歸等透明性較高的模型，可以通過內(nèi)部可解釋的方式理解。需要指出的是，可解釋性較強(qiáng)的模型其學(xué)習(xí)性能通常也會(huì)遭遇更大的局限性。例如，當(dāng)決策樹模型面臨高維特征時(shí)，當(dāng)線性回歸模型的統(tǒng)計(jì)假設(shè)(線性關(guān)系、變量獨(dú)立性和正態(tài)分布等)不被滿足時(shí)，當(dāng)貝葉斯分類器中的特征相關(guān)性較強(qiáng)時(shí)，這些模型的預(yù)測效果大幅下降，甚至不再具有可用性，因而可解釋也就失去了必要性。深度學(xué)習(xí)模型比傳統(tǒng)的淺層機(jī)器學(xué)習(xí)模型具備更強(qiáng)大的學(xué)習(xí)性能，雖然其可解釋性不高，但并不意味著需要不計(jì)代價(jià)地對(duì)其進(jìn)行解釋，已有的可視化、外部知識(shí)和可解釋代理的引入以及模型的二次訓(xùn)練等方法對(duì)深度網(wǎng)絡(luò)的解釋過程比較復(fù)雜，效率也并不高。因此，如何對(duì)可解釋人工智能系統(tǒng)要素和流程進(jìn)行優(yōu)化和控制以提高可解釋效率是一大挑戰(zhàn)。

(2)可解釋人工智能需要更加友好和普適

目前的可解釋方法雖然在一定程度上為模型的學(xué)習(xí)過程和預(yù)測結(jié)果提供了解釋，但是要理解這種解釋需要具備一定的領(lǐng)域知識(shí)。例如，當(dāng)可解釋人工智能系統(tǒng)對(duì)模型的錯(cuò)誤作出反饋時(shí)，用戶要更改錯(cuò)誤仍需要一定的模型知識(shí)作為基礎(chǔ)，要求不具備領(lǐng)域知識(shí)的用戶理解模型的內(nèi)部邏輯顯得不切實(shí)際。因此，如何為可解釋人工智能系統(tǒng)與用戶之間的交互構(gòu)建友好的界面或接口是管理研究面臨的一大挑戰(zhàn)。

(3)構(gòu)建可解釋人工智能系統(tǒng)的可行性和需求分析

雖然，對(duì)模型進(jìn)行解釋可以在一定程度上避免其犯錯(cuò)，減少安全性和公平性等方面的隱患，但對(duì)模型進(jìn)行解釋的成本較高，解釋過程也比較復(fù)雜，勢(shì)必降低模型的使用效率。因此，在構(gòu)建可解釋人工智能系統(tǒng)之前，需要對(duì)其經(jīng)濟(jì)效益進(jìn)行評(píng)估，需要進(jìn)行可行性和需求分析。需要說明的是，可解釋是相對(duì)的，不同領(lǐng)域、不同模型或同一模型的不同應(yīng)用場景對(duì)可解釋性的需求都是不同的，也并非所有的模型應(yīng)用都需要可解釋。

(4)可解釋人工智能對(duì)人機(jī)交互模式的影響

可解釋人工智能的發(fā)展為促進(jìn)人機(jī)協(xié)同提供了有利條件，其為用戶對(duì)機(jī)器的使用和管理行為創(chuàng)造了更加人性化的決策支持。而在可解釋人工智能環(huán)境下，人與機(jī)器的關(guān)系將發(fā)生什么樣的變化，智能決策模式將如何改變，這種變化對(duì)于人機(jī)共生有何影響，這些問題關(guān)乎可解釋人工智能的長遠(yuǎn)發(fā)展，然而目前的管理研究并未對(duì)這些問題進(jìn)行探討和回答。

4 面向管理決策的可解釋人工智能研究展望

經(jīng)過對(duì)可解釋人工智能研究現(xiàn)狀進(jìn)行梳理并對(duì)其面臨的挑戰(zhàn)進(jìn)行分析后，本研究深入總結(jié)了可解釋人工智能發(fā)展為管理領(lǐng)域帶來的一系列新的重要研究問題。一方面，可解釋人工智能對(duì)管理決策理論和方法的發(fā)展帶來新的變革，可解釋人工智能賦能下的管理決策模式、智能增強(qiáng)模式、知識(shí)管理模式和信息管理模式等都呈現(xiàn)出新的特點(diǎn)和發(fā)展機(jī)遇。另一方面，管理決策理論和方法以及管理實(shí)踐應(yīng)用為可解釋人工智能的發(fā)展起到積極的牽引作用，為可解釋人工智能技術(shù)發(fā)揮作用提供了具體的需求指引，也為推動(dòng)可解釋人工智能技術(shù)的進(jìn)步創(chuàng)造了有利條件。

4.1 可解釋人工智能對(duì)管理決策的支持和使能作用

(1)可解釋人工智能背景下的管理決策模式探究

目前，金融科技、智慧醫(yī)療、新零售和現(xiàn)代物流等熱點(diǎn)領(lǐng)域中的決策問題吸引了大量的管理研究者，這些領(lǐng)域的共同特點(diǎn)是以大數(shù)據(jù)和AI技術(shù)為依托，隨著可解釋人工智能技術(shù)的應(yīng)用和推廣，管理研究將面臨新的機(jī)遇。根據(jù)西蒙的決策理論，可以將決策過程理解為信息收集、方案設(shè)計(jì)、方案選擇、方案的實(shí)施和評(píng)價(jià)4個(gè)階段。一個(gè)完整的基于AI系統(tǒng)的決策流程包含數(shù)據(jù)收集、模型設(shè)計(jì)、模型建立和模型評(píng)估等步驟，而基于可解釋人工智能系統(tǒng)決策的不同之處在于增加了對(duì)AI系統(tǒng)每個(gè)決策環(huán)節(jié)的解釋，導(dǎo)致原有的決策過程發(fā)生變化。例如，在可解釋人工智能背景下，信息收集的目標(biāo)和范圍將更加明確，方案設(shè)計(jì)將遵從新的可解釋邏輯，方案的選擇有了新的可解釋依據(jù)，方案的實(shí)施和評(píng)價(jià)也將變得更加透明。因此，可解釋人工智能影響下的人機(jī)交互模式中蘊(yùn)含著怎樣的決策規(guī)律，這種決策模式將為用戶對(duì)AI技術(shù)的使用帶來何種影響，與上述領(lǐng)域相關(guān)的管理決策問題又將發(fā)生什么樣的變化，這些問題亟待解決。

(2)可解釋人工智能背景下的智能增強(qiáng)模式探究

智能增強(qiáng)(intelligence augmentation)是推動(dòng)AI技術(shù)發(fā)展和AI應(yīng)用轉(zhuǎn)化的重要突破方向，在理想的智能增強(qiáng)模式下，機(jī)器能夠依靠不斷獲取的數(shù)據(jù)、經(jīng)驗(yàn)和知識(shí)，實(shí)現(xiàn)自我學(xué)習(xí)、自我更新、自我增強(qiáng)以及自適應(yīng)地改善自身學(xué)習(xí)效率。在可解釋人工智能的影響下，用戶逐步將自身的理解能力與機(jī)器強(qiáng)大的學(xué)習(xí)能力進(jìn)行優(yōu)勢(shì)互補(bǔ)，這對(duì)智能增強(qiáng)模式的進(jìn)化有何影響，對(duì)實(shí)現(xiàn)用戶與機(jī)器的深度互動(dòng)和融合有何意義，這些問題值得深入探究。

(3)可解釋人工智能對(duì)知識(shí)管理的影響探究

知識(shí)管理作為知識(shí)經(jīng)濟(jì)時(shí)代一種新的管理思想和管理方法，為企業(yè)的知識(shí)創(chuàng)造和應(yīng)用提供了決策支持，為企業(yè)的智慧化成長和提升競爭優(yōu)勢(shì)發(fā)揮了關(guān)鍵作用。在看到可解釋人工智能增進(jìn)人機(jī)協(xié)同效率的同時(shí)，探討可解釋人工智能是否同樣促進(jìn)知識(shí)在企業(yè)內(nèi)部的收集、評(píng)估、流動(dòng)、共享和應(yīng)用等活動(dòng)，對(duì)提升知識(shí)管理效率有重要意義。

(4)可解釋人工智能對(duì)信息管理的影響探究

大數(shù)據(jù)時(shí)代信息管理的核心任務(wù)是以AI技術(shù)為手段，對(duì)豐富的數(shù)據(jù)資源進(jìn)行計(jì)劃、組織、領(lǐng)導(dǎo)和控制，從而達(dá)到對(duì)信息資源的開發(fā)和利用目標(biāo)?；诳山忉屓斯ぶ悄芊椒?，信息管理的效率將得以改善，信息管理的流程也被優(yōu)化。因此，可解釋人工智能如何優(yōu)化信息管理流程、如何提升信息管理的質(zhì)量，這些問題值得深入研究。

4.2 管理決策牽引下可解釋人工智能的發(fā)展機(jī)遇

(1)面向業(yè)務(wù)應(yīng)用領(lǐng)域的可解釋方案構(gòu)建

從AI系統(tǒng)的管理實(shí)踐看，不同業(yè)務(wù)應(yīng)用領(lǐng)域的AI用戶通常面臨不同程度、不同類型的可解釋需求。例如，醫(yī)生在使用AI輔助診療系統(tǒng)對(duì)患者的病情進(jìn)行診斷時(shí)，其是否采納或在多大程度上采納輔助診療系統(tǒng)的診斷結(jié)果取決于系統(tǒng)的決策過程是否符合專業(yè)的醫(yī)學(xué)邏輯。換言之，醫(yī)生需要判斷輔助診療系統(tǒng)是如何做出診斷決策的，即需要決策過程的可解釋。在人臉支付系統(tǒng)和人臉識(shí)別安檢系統(tǒng)等人臉識(shí)別系統(tǒng)的管理場景中，用戶更加關(guān)注系統(tǒng)出錯(cuò)的情況，包括錯(cuò)誤發(fā)生在哪里、什么樣的場景下識(shí)別會(huì)發(fā)生錯(cuò)誤等，即用戶需要面向決策結(jié)果的可解釋。此外，在金融和法律等領(lǐng)域的管理實(shí)踐中，用戶也呈現(xiàn)出對(duì)與具體業(yè)務(wù)邏輯相適應(yīng)的可解釋方案的需求。因此，未來的可解釋人工智能研究應(yīng)當(dāng)考慮結(jié)合領(lǐng)域知識(shí)構(gòu)建符合特定業(yè)務(wù)邏輯需求的可解釋方案。

(2)適應(yīng)用戶特點(diǎn)的個(gè)性化可解釋方案構(gòu)建

從可解釋人工智能技術(shù)的管理和應(yīng)用角度看，可解釋人工智能發(fā)展需要面向具體的用戶需求，只有可解釋方案被用戶理解和接受，可解釋人工智能才能真正發(fā)揮價(jià)值，才能實(shí)現(xiàn)對(duì)AI系統(tǒng)進(jìn)行解釋的目標(biāo)。然而，在實(shí)際可解釋人工智能系統(tǒng)的管理應(yīng)用中，不同用戶由于性格和習(xí)慣等存在差異，其對(duì)可解釋方案的接受程度也不盡相同。例如，對(duì)AI醫(yī)療影像輔助診斷系統(tǒng)的決策過程進(jìn)行解釋后，同一專業(yè)不同醫(yī)生面對(duì)同樣的可解釋結(jié)果時(shí)會(huì)產(chǎn)生差異化的認(rèn)知，采納者與非采納者的認(rèn)識(shí)之間可能存在差異，不同采納者采納的原因也可能不同。因此，未來的研究需要就不同用戶對(duì)可解釋方案的接受和采納機(jī)制進(jìn)行深入探討，并基于此構(gòu)建面向用戶個(gè)性化需求的可解釋人工智能方案。

(3)基于可解釋人工智能實(shí)現(xiàn)人機(jī)協(xié)同共生的決策提升模式

從管理決策模式看，隨著決策任務(wù)的工作量越來越大、復(fù)雜性越來越高、時(shí)效性和精確度要求越來越嚴(yán)格，決策主體逐漸由用戶向AI系統(tǒng)過渡。然而，在管理決策任務(wù)中，人與AI系統(tǒng)之間并非簡單的角色替代關(guān)系，人機(jī)協(xié)同的決策模式要求在人與AI系統(tǒng)之間實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)、合作共贏，最終達(dá)到人機(jī)共生的狀態(tài)[73]。立足于人機(jī)共生的管理決策需求，可解釋人工智能的發(fā)展應(yīng)當(dāng)起到促進(jìn)人機(jī)共同成長的作用，可解釋人工智能方案的構(gòu)建則需要以實(shí)現(xiàn)用戶與AI系統(tǒng)的良好協(xié)同、有機(jī)互動(dòng)為目標(biāo)。因此，如何使可解釋人工智能方案滿足提升人機(jī)協(xié)同決策質(zhì)量、構(gòu)建人機(jī)相容共生的管理生態(tài)模式的管理需求，是未來值得研究的問題。

(4)基于元決策管理理論的可解釋方案構(gòu)建

可解釋人工智能的興起為管理理論、方法和實(shí)踐帶來了新的發(fā)展機(jī)遇，然而，要想使可解釋人工智能真正為管理決策創(chuàng)造價(jià)值，還需要以具體的管理理論作為引導(dǎo)，以支持可解釋人工智能技術(shù)的發(fā)展。例如，元決策理論表明，決策方案的構(gòu)建需要考慮和選擇多個(gè)決策步驟[74]，這為可解釋人工智能具體技術(shù)方案的構(gòu)建提供了指引和依據(jù)，即可解釋方案的構(gòu)建應(yīng)當(dāng)面向決策的全過程。因此，一個(gè)完整的可解釋方案應(yīng)該是包含事前、事中、事后可解釋的全生命周期型可解釋人工智能方案。具體地，一個(gè)有效的可解釋方案應(yīng)當(dāng)輔助AI系統(tǒng)用戶理解模型輸入的合理性、模型過程的因果性和模型結(jié)果的可用性。因此，如何構(gòu)建兼具事前、事中、事后可解釋的全生命周期型可解釋人工智能方案值得未來研究者深入探究。

5 結(jié)論

5.1 研究結(jié)果

可解釋人工智能已經(jīng)受到學(xué)術(shù)界、產(chǎn)業(yè)界和政府部門的廣泛關(guān)注，研究可解釋人工智能對(duì)于促進(jìn)AI發(fā)展和應(yīng)用至關(guān)重要。本研究從可解釋人工智能的興起入手，分析其對(duì)AI發(fā)展帶來的影響和價(jià)值；從基礎(chǔ)理論、基本方法和應(yīng)用3個(gè)方面對(duì)已有可解釋人工智能研究進(jìn)行全面的梳理和分析；基于管理學(xué)視角，深入探討可解釋人工智能面臨的挑戰(zhàn)，總結(jié)了值得管理決策領(lǐng)域研究者深入探討的關(guān)于可解釋人工智能的未來重點(diǎn)研究方向。通過研究得到以下結(jié)果：

(1)就可解釋人工智能的影響而言，在學(xué)術(shù)界，可解釋人工智能已成為多個(gè)領(lǐng)域的研究熱點(diǎn)，但可解釋人工智能研究總體尚處于起步階段；在產(chǎn)業(yè)界，人們對(duì)發(fā)展可解釋人工智能表現(xiàn)出日益迫切的需求；各國政府也開始關(guān)注可解釋人工智能產(chǎn)生的積極效果，并配套出臺(tái)了一系列與可解釋人工智能相關(guān)的政策?？山忉屓斯ぶ悄茏顬槊黠@的價(jià)值在于它為AI的發(fā)展帶來了積極影響，一系列可解釋人工智能方法和方案被提出，有效回應(yīng)了人們對(duì)AI可解釋性的關(guān)切和質(zhì)疑，也為深化AI技術(shù)應(yīng)用、實(shí)現(xiàn)人機(jī)良好協(xié)同和互動(dòng)提供了契機(jī)。

(2)從可解釋人工智能研究現(xiàn)狀看，可解釋人工智能的核心主要包含模型的準(zhǔn)確性、可靠性、因果性、透明性、安全性和公平性等指標(biāo)，研究者針對(duì)可解釋人工智能方案的研究主要基于機(jī)器學(xué)習(xí)、理論模型和知識(shí)推理展開，其中以基于深度學(xué)習(xí)模型的可解釋方案研究最為常見。從可解釋人工智能應(yīng)用研究看，學(xué)術(shù)研究對(duì)于可解釋性的需求主要集中在模型的準(zhǔn)確性和穩(wěn)定性方面，而業(yè)務(wù)應(yīng)用領(lǐng)域?qū)山忉屓斯ぶ悄艿膽?yīng)用需求主要體現(xiàn)在安全性和公平性等方面。

(3)從可解釋人工智能發(fā)展面臨的挑戰(zhàn)看，已有可解釋人工智能的方法研究局限于事后和同質(zhì)化的可解釋，模型輸入的可解釋性被忽略，準(zhǔn)確性與可解釋性之間的平衡問題尚未得到有效解決；可解釋人工智能在各行業(yè)的應(yīng)用范圍需要進(jìn)一步拓展，應(yīng)用程度有待進(jìn)一步深化，將AI系統(tǒng)的應(yīng)用與可解釋人工智能相結(jié)合是亟待解決的問題；從管理研究的角度看，已有可解釋方案的效率低、成本高，有待進(jìn)一步優(yōu)化，需更加友好和普適，可解釋人工智能對(duì)于管理決策的影響值得深入探討。

(4)分別從可解釋人工智能對(duì)管理決策的使能作用角度和管理決策牽引下的可解釋人工智能角度，對(duì)可解釋人工智能研究進(jìn)行深入探討并得出一系列關(guān)鍵研究問題。有必要探索可解釋人工智能背景下新的管理決策模式和新的智能增強(qiáng)模式，探究可解釋人工智能對(duì)信息管理和知識(shí)管理的影響對(duì)于管理決策研究有重要意義。同時(shí)，需要構(gòu)建面向業(yè)務(wù)應(yīng)用領(lǐng)域的可解釋方案，需要構(gòu)建適應(yīng)用戶特點(diǎn)的個(gè)性化可解釋方案，有必要探究基于可解釋人工智能實(shí)現(xiàn)人機(jī)協(xié)同共生的決策提升模式。進(jìn)一步地，在元決策理論的牽引下，構(gòu)建基于事前、事中、事后的全生命周期型可解釋人工智能方案。

5.2 研究貢獻(xiàn)

本研究分析和總結(jié)了大量可解釋人工智能研究，梳理了可解釋人工智能發(fā)展的脈絡(luò)，探討了可解釋人工智能的概念和類型，為后續(xù)可解釋人工智能研究奠定了理論基礎(chǔ)；本研究總結(jié)并提出了可解釋人工智能可解釋性評(píng)價(jià)指標(biāo)的一般性框架，為理解可解釋人工智能、評(píng)價(jià)可解釋人工智能提供了依據(jù)；本研究系統(tǒng)整理了可解釋人工智能方法研究，并提出可解釋人工智能方法的綜合體系和框架，為后續(xù)的可解釋人工智能方法研究提供了清晰的借鑒和參考；本研究深入剖析了目前可解釋人工智能研究面臨的諸多挑戰(zhàn)，為推動(dòng)可解釋人工智能研究深入發(fā)展提供了有力的依據(jù)；本研究總結(jié)和指出了若干可解釋人工智能未來的重點(diǎn)研究方向，為后續(xù)開展有價(jià)值的可解釋人工智能研究提供啟發(fā)。

5.3 研究局限和展望

目前，可解釋人工智能研究尚處于起步階段，本研究所能獲取和分析的已有相關(guān)研究數(shù)量和范圍有限，隨著可解釋人工智能研究的不斷發(fā)展和深入，后續(xù)研究有必要基于更多已有研究對(duì)可解釋人工智能的發(fā)展、理論、方法和應(yīng)用做更加全面的分析和梳理。同時(shí)，本研究重點(diǎn)對(duì)可解釋人工智能的概念、方法和應(yīng)用進(jìn)行總結(jié)，受篇幅限制，本研究未能逐一詳述可解釋人工智能某個(gè)特定維度的具體內(nèi)容，僅針對(duì)可解釋人工智能的不同方面選擇最具代表性的研究成果對(duì)其進(jìn)行具體分析，后續(xù)研究需要對(duì)可解釋人工智能概念、方法和應(yīng)用做更為細(xì)致和深入的研究。