李發(fā)伸，李廉，殷建平，張勇，周慶國，況琨

a Department of Physics, Lanzhou University, Lanzhou 430000, China

b Department of Computer Science, HeFei University of Technology, Hefei 230009, China

c Department of Computer Science, Dongguan University of Technology, Dongguan 523808, China

d Department of Physics, Xiamen University, Xiamen 361005, China

e Department of Computer Science, Lanzhou University, Lanzhou 430000, China

f College of Computer Science and Technology, Zhejiang University, Hangzhou 310058, China

機(jī)器知識指的是人工智能所蘊(yùn)含的知識。本文討論了如何獲取機(jī)器知識，特別是獲取機(jī)器知識中的因果知識，而后者是解讀機(jī)器知識的過程。通過對物理學(xué)和人工智能領(lǐng)域的一些研究方法進(jìn)行分析，我們提出了解讀機(jī)器知識的一些原則和模式，同時對一些具體方法，如解讀過程自動化和局部線性化進(jìn)行了討論。

當(dāng)前人類已經(jīng)進(jìn)入了一個由自然世界、人類世界、信息世界、智能體世界組成的四元社會。智能體已經(jīng)成為我們這個世界的一種客觀存在。智能體能夠做出預(yù)測、進(jìn)行判斷、表達(dá)情感，甚至可以主動調(diào)整自己的行為以適應(yīng)環(huán)境的變化[1,2]。因此，我們可以認(rèn)為智能體是一個具有知識結(jié)構(gòu)和功能的知識系統(tǒng)，即機(jī)器知識。本文就如何解讀隱藏在智能體中的機(jī)器知識進(jìn)行討論。本文所指的智能體是指基于硅工藝技術(shù)和圖靈算法的人工智能機(jī)器，如各種學(xué)習(xí)模型、計(jì)算模型、仿真模型等，不包括利用生物或遺傳技術(shù)構(gòu)建的智能體。

對于什么是知識，要做出一個令人普遍接受的定義還有待繼續(xù)深入的研究。這里我們先借用一般的說法，即知識是現(xiàn)象變化的規(guī)律。一個智能體能夠通過變換將輸入轉(zhuǎn)變?yōu)檩敵?，或者根?jù)前一個輸出調(diào)整下一個輸出。這種輸入和輸出以及輸出和輸出之間的變化規(guī)律就是現(xiàn)象的變化規(guī)律，所以它屬于知識。這種知識被稱為初級知識（primary knowledge）。例如，將現(xiàn)象中所有的變化放到一個表格中就是一種知識的表達(dá)（如窮舉表達(dá)）。然而，人們所需要的知識往往不是這種初級形式的知識，而是要在更高層次上經(jīng)過抽象的知識，即反映現(xiàn)象變化的普遍規(guī)律的知識。這種知識被稱為高級知識（advanced knowledge）。我們可以根據(jù)抽象程度對高級知識繼續(xù)分層。以Tycho Brahe和Johannes Kepler的工作為例，Tycho Brahe通過詳盡的觀測，列出了大量行星運(yùn)行的軌跡數(shù)據(jù)，這些數(shù)據(jù)只反映了現(xiàn)象（如行星運(yùn)行）之間的一種關(guān)聯(lián)。直到Kepler成功地總結(jié)出三大規(guī)律，并揭示出這些現(xiàn)象之間的因果關(guān)系，這些知識才真正成為高級知識。另外，牛頓第二定律是一種更高層次的知識表達(dá)。關(guān)聯(lián)關(guān)系和因果關(guān)系都屬于知識，但它們卻處于不同的層次。就人類獲取知識的過程而言，通過觀測獲取現(xiàn)象之間的關(guān)聯(lián)關(guān)系是最基本的科學(xué)活動，而要獲取現(xiàn)象之間的因果關(guān)系，則需要我們對所觀測到的數(shù)據(jù)背后的現(xiàn)象進(jìn)行分析和歸納。由于人類總是喜歡且執(zhí)著地追求現(xiàn)象變化背后的“為什么”，因此因果關(guān)系在人類科學(xué)體系中占有重要的位置。

在本文中，我們主要對人們是否能夠以及怎樣從智能體獲取因果知識這一問題進(jìn)行了關(guān)注。這一過程就是解讀機(jī)器知識。經(jīng)過訓(xùn)練的智能體可以完成十分復(fù)雜的工作，而且其中一些成果已經(jīng)超越了人類上千年的文化積累。然而，我們?nèi)匀徊磺宄@些智能體究竟是如何成功的。例如，像神經(jīng)網(wǎng)絡(luò)那樣的智能體，過度的擬合訓(xùn)練并不能使之具有更好的泛化能力。我們不清楚神經(jīng)網(wǎng)絡(luò)成功的邊界在哪里。我們不知道如何設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)去完成預(yù)定的任務(wù)。我們不知道是否可以更換訓(xùn)練集使神經(jīng)網(wǎng)絡(luò)的表現(xiàn)更加出色。我們甚至不知道神經(jīng)網(wǎng)絡(luò)是根據(jù)什么來做預(yù)測，即它是基于數(shù)據(jù)還是基于特征。一句話，我們不知道如何信任一個智能體。

到目前為止，因果關(guān)系仍然是人類理解自然世界的根本基石，而用概率思維描述的關(guān)聯(lián)關(guān)系則是推動我們理解世界因果機(jī)制的表層現(xiàn)象。Pearl [3]曾說過：“回顧過去，我所遇到的最大挑戰(zhàn)是擺脫概率思維，并且我接受兩種觀點(diǎn)：第一，人們并不是從概率角度思考，而是從因果效應(yīng)的角度思考；第二，因果思維很難通過概率語言來描述，它需要一種屬于它自己的新語言?！钡谝环N觀點(diǎn)講的是事實(shí)，即科學(xué)知識不是用概率思維的形式來表達(dá)的，而是通過因果思維進(jìn)行表達(dá)的。第二種觀點(diǎn)講的是如何解讀因果思維。Pearl認(rèn)為人類現(xiàn)在還沒有發(fā)明出解讀因果思維的數(shù)學(xué)工具。遺憾的是，當(dāng)前最受青睞的智能體大都是以概率方式運(yùn)行的，其所表達(dá)的現(xiàn)象之間的關(guān)系都屬于關(guān)聯(lián)關(guān)系。我們能從這些關(guān)聯(lián)關(guān)系中解讀出蘊(yùn)藏在其中的因果關(guān)系嗎？這是一個很有挑戰(zhàn)性的問題。如果人類和智能體之間無法相互交流和理解，或者如果人類不能將智能體的知識翻譯為因果形式，那么人工智能的發(fā)展將會遇到極大的障礙，甚至隱藏著風(fēng)險[4]。

物理學(xué)是一種典型的利用因果關(guān)系來解讀自然世界的科學(xué)。自然世界也可以被看作是一個巨大的智能體，其中的現(xiàn)象每時每刻都發(fā)生著變化。人類在認(rèn)識自然世界這些變化及其規(guī)律時，采取了因果關(guān)系的解讀形式。他們希望對現(xiàn)象變化背后的規(guī)律給出清晰而準(zhǔn)確的表達(dá)。這種解讀形式主要是通過正則表達(dá)式和數(shù)學(xué)表達(dá)式來實(shí)現(xiàn)的，從而使得人們不僅可以描述已經(jīng)發(fā)生的現(xiàn)象，而且可以預(yù)測未來可能發(fā)生的現(xiàn)象，其中后者尤為重要。由于對自然世界的實(shí)際運(yùn)行規(guī)律無法直接獲取，所以人們只能通過現(xiàn)象觀測來“猜測”其所蘊(yùn)含的規(guī)律。即使有大量的與現(xiàn)象相關(guān)的數(shù)據(jù)，我們也很難準(zhǔn)確、完整地從這些數(shù)據(jù)中總結(jié)出相應(yīng)的規(guī)律。因此人們在解讀自然世界時采用了兩條原則（或者信仰），這在牛頓的Mathematical Principles of Natural Philosophy, Volume III:On the System of the Universe[5]書中有明確闡述。以下是四條“哲學(xué)中的推理規(guī)則”中的前兩條：

（1）最簡描述原則（如Occam's razor）：沒有什么比既真實(shí)又足以解釋其現(xiàn)象的原因更能說明自然事物的原因；

（2）功能相似原則：對于相同的自然現(xiàn)象，我們必須盡可能地找到相同的原因。

對于物理學(xué)來說，一些具有基礎(chǔ)意義的定律和原理，不僅是對自然世界中現(xiàn)象變化規(guī)律的高度抽象和因果描述，而且也遵循了上述兩條基本原理，從而形成了當(dāng)前人們對于自然世界基本規(guī)律的認(rèn)知和構(gòu)建了人類自然科學(xué)知識的結(jié)構(gòu)。例如，既然任何一次測量都不能精準(zhǔn)驗(yàn)證牛頓第二定律，那么我們?yōu)槭裁催€要接受它呢？這里面就隱藏了一種公認(rèn)的原則。

讓我們回到對智能體的解讀上來。在絕大多數(shù)情況下，雖然我們可以知道智能體的結(jié)構(gòu)，但我們無法預(yù)測智能體的行為，這就像我們不能根據(jù)大腦的神經(jīng)連接結(jié)構(gòu)來判斷它會做怎樣的思考一樣。我們能觀測的只是大腦輸入和輸出之間的關(guān)系，即數(shù)據(jù)。對于任何一個智能體，只要有足夠充分的觀測和大量的觀測數(shù)據(jù)，理論上我們都可以通過歸納計(jì)算來獲取其中的因果關(guān)系，而無需考慮智能體內(nèi)部的結(jié)構(gòu)和運(yùn)行模式。也就是說，只要與智能體的外部性能（如功能）高度吻合，我們就可以認(rèn)為該因果關(guān)系成立。這就是“功能相似原則”。這種方法在物理學(xué)中得到了充分的體現(xiàn)。例如，宇宙就像一個巨大的時鐘，我們只能從它的外部運(yùn)行來猜測內(nèi)部的結(jié)構(gòu)。通過連續(xù)不斷的觀測及其精度的提高，我們的猜測與觀測到的現(xiàn)象越來越一致，但是我們可能永遠(yuǎn)也無法知道宇宙內(nèi)部的實(shí)際結(jié)構(gòu)。盡管如此，物理學(xué)仍然推動了人類的社會發(fā)展和科學(xué)進(jìn)步。

雖然人類對于因果關(guān)系的探索已經(jīng)有幾千年的歷史，但長期以來，人們對因果關(guān)系的描述還一直停留在定性的和經(jīng)驗(yàn)主義的階段。直到20世紀(jì)70年代以后，C.Granger、J. Pearl和D. Rubin陸續(xù)提出基于數(shù)學(xué)表達(dá)的因果關(guān)系定義后，人類才真正開始在數(shù)據(jù)基礎(chǔ)上對因果關(guān)系進(jìn)行定量化研究。Pearl關(guān)于因果關(guān)系的描述方法比較系統(tǒng)化，該方法能夠處理變量之間的混雜干擾、發(fā)現(xiàn)隱性變量的存在、解決反事實(shí)等歸因問題?；赑earl因果關(guān)系的研究在許多實(shí)際應(yīng)用中取得了很好的效果，該研究可以被用于解決因果悖論問題。因此Pearl因果關(guān)系已成為人工智能理論和應(yīng)用的重要方法。從原則上說，Pearl的因果關(guān)系與Fisher的實(shí)驗(yàn)設(shè)計(jì)具有相同的科學(xué)假設(shè)和數(shù)學(xué)基礎(chǔ)，因此Pearl的因果關(guān)系的數(shù)學(xué)基礎(chǔ)是牢固的。

然而，Pearl的因果關(guān)系仍然存在一些問題，以至于其在稍微復(fù)雜的問題上表現(xiàn)得不盡如人意。例如，Pearl的因果算法對于數(shù)據(jù)的分布和數(shù)量要求較高，這在很多實(shí)際應(yīng)用中是很難滿足的。再則，Pearl的因果關(guān)系對于隱藏變量比較敏感，因此，觀測數(shù)據(jù)的不充分或者不準(zhǔn)確會對計(jì)算結(jié)果產(chǎn)生很大影響。用于構(gòu)建Pearl因果關(guān)系及其算法的結(jié)構(gòu)方程模型或者因果結(jié)構(gòu)圖模型也還存在諸多的不確定性。

統(tǒng)計(jì)學(xué)家Imbens和Rubin [6]提出了另一種因果模型，該模型被稱為潛在結(jié)果模型，利用該模型通過研究數(shù)據(jù)中所反映的潛在結(jié)果和現(xiàn)象關(guān)聯(lián)，可以挖掘其內(nèi)在的因果知識。Rubin的因果模型已被廣泛應(yīng)用于實(shí)際問題，尤其是那些需要因果知識去幫助決策的領(lǐng)域，如醫(yī)療診斷、公共政策制定等。但是Rubin的因果模型同樣存在一些問題，例如，它對數(shù)據(jù)的假設(shè)過于強(qiáng)大，而且其中一些假設(shè)在實(shí)際問題中是不可測試的。

除了繼續(xù)深入研究Pearl和Rubin的因果關(guān)系及其算法外，當(dāng)前我們也研究了一些其他方法。雖然因果關(guān)系無法被這些方法直接計(jì)算出來，但它仍然可以從智能體的知識中揭示出一些深刻的關(guān)系。這些方法來源于對物理學(xué)和人工智能的一些研究。當(dāng)物理學(xué)家在采用因果關(guān)系去理解自然世界覺得有困難時，他們也會借助機(jī)器學(xué)習(xí)方法。例如，他們使用機(jī)器學(xué)習(xí)方法去理解多體系統(tǒng)的Langevin方程以及Liouville方程的Boltzmann描述（BBKGY 截斷）。解釋算法也被用于人工智能領(lǐng)域，用以理解復(fù)雜數(shù)據(jù)或特征之間的內(nèi)在關(guān)系。使用智能體來解讀智能體是一個絕妙的想法。實(shí)際上，當(dāng)前各種各樣的智能體（或者學(xué)習(xí)模型）在透明程度上是分層次的。有些智能體對于人類就比較透明，如線性模型、決策樹模型，而有些智能體對于人類就比較模糊，如神經(jīng)網(wǎng)絡(luò)、Monte Carlo搜索樹模型。令人遺憾但卻很有趣的是，越是模糊的智能體，其學(xué)習(xí)能力就越強(qiáng)，而且它所蘊(yùn)含的知識也越豐富。如果直接解讀智能體有困難，我們可以考慮通過一個較為透明的智能體來解讀不太透明的智能體。這個過程是可遞歸的，使得解讀內(nèi)容越來越容易被人類理解[7]。

通過計(jì)算影響函數(shù)，我們可以分析智能體中數(shù)據(jù)或者特征的重要性，從而盡可能地分析出哪些因素（原因）會導(dǎo)致智能體表現(xiàn)出這樣的行為。我們也可以通過分析數(shù)據(jù)的質(zhì)量和分布來尋找更好的觀測數(shù)據(jù)，這對醫(yī)學(xué)診斷和物理觀測都有非常重要的意義。

對于給定的輸入數(shù)據(jù)，智能體會給出相應(yīng)的輸出結(jié)果（或者下一步動作）。通過計(jì)算各個輸入數(shù)據(jù)特征的Shapley值，我們可以估計(jì)出不同特征對于該輸出結(jié)果的貢獻(xiàn)值。那些貢獻(xiàn)大的特征有可能是智能體行為的原因[8]。

根據(jù)一般的數(shù)學(xué)原理，復(fù)雜智能體的局部行為應(yīng)該類似于一個線性系統(tǒng)。因此，根據(jù)功能相似性，我們可以考慮在局部范圍內(nèi)采用線性模型（如線性回歸）來替代原來的智能體[9]。線性模型對于因果關(guān)系有很好的透明性，通過對其回歸系數(shù)進(jìn)行適當(dāng)?shù)奶幚砭涂梢缘玫较鄳?yīng)的因果關(guān)系。與此同時，通過殘差分析，我們還可以確定這種近似處理的精度，以及其他因素對于主要變量的敏感程度。

另一種簡單的方法是，利用較為透明的模型T來學(xué)習(xí)模糊的模型V，進(jìn)而通過輸入數(shù)據(jù)x得到被[x, V(x)]，標(biāo)注的數(shù)據(jù)，其中，V(x)表示V關(guān)于x的輸出。然后，我們使用這些數(shù)據(jù)對T進(jìn)行再學(xué)習(xí)。如果T和V有基本相同的行為，那么根據(jù)功能相似性原則，我們可以認(rèn)為T和V有相同的因果知識。這一方法在分析智能體內(nèi)部缺陷以及黑盒攻擊時取得了良好的效果。

人工智能的出現(xiàn)為人類發(fā)現(xiàn)新知識開拓了更多的途徑。通過解讀智能體的知識，我們可以豐富自身的知識體系，從而更好地服務(wù)于人類的發(fā)展。目前有關(guān)智能體的解讀研究還有待進(jìn)一步深入。隨著研究理論和方法的不斷完善，人類與智能體之間的關(guān)系也會達(dá)到一種高度和諧，他們相互之間將實(shí)現(xiàn)更好的交流與溝通。這在人類進(jìn)化史上將具有里程碑意義。

致謝

本文是根據(jù)2019年7月在蘭州大學(xué)舉行的“機(jī)器知識和人類認(rèn)知沙龍”上參會人員的發(fā)言內(nèi)容整理而成。所有參會人員都對本文做出了貢獻(xiàn)，我們對其他參與者表示感謝。他們是物理學(xué)和計(jì)算機(jī)科學(xué)的專家，具體包括黃亮（物理學(xué)，蘭州大學(xué)）、安寧（計(jì)算機(jī)科學(xué)，合肥工業(yè)大學(xué)）、楊磊（物理學(xué)，中國科學(xué)院近代物理研究所）、吳枝喜（物理學(xué)，蘭州大學(xué)）、劉禮（計(jì)算機(jī)科學(xué)，重慶大學(xué)）、張家琳（計(jì)算機(jī)科學(xué)，中國科學(xué)院計(jì)算技術(shù)研究所）、俞連春（物理學(xué)，蘭州大學(xué)）。

Compliance with ethics guidelines

Fashen Li, Lian Li, Jianping Yin, Yong Zhang,Qingguo Zhou, and Kun Kuang declare that they have no conflict of interest or financial conflicts to disclose.