黃鳴奮

[關(guān)鍵詞]可信性 自主性 系統(tǒng)性 自然觀 社會(huì)觀 自我觀 技術(shù)觀

“可信自主系統(tǒng)”的觀念起源於人類對(duì)自然現(xiàn)象、社會(huì)現(xiàn)象、心理現(xiàn)象的思考。人類祖先不僅認(rèn)識(shí)到上述現(xiàn)象所涉及的各種因素的相互關(guān)聯(lián)（系統(tǒng)性），而且認(rèn)識(shí)到它們的發(fā)展變化是不依自己的意志爲(wèi)轉(zhuǎn)移的客觀過程（自主性），同時(shí)又認(rèn)識(shí)到上述過程所包含的可作爲(wèi)預(yù)測(cè)根據(jù)的規(guī)律（可信性）。在將上述三種特性結(jié)合起來思考“天道”①“天道”出自《周易· 謙》，指“天”（泛指自然界）的運(yùn)動(dòng)變化規(guī)律。的過程中，産生了對(duì)可信自主系統(tǒng)的最初想法。其後，可信自主系統(tǒng)逐漸轉(zhuǎn)化爲(wèi)人類開發(fā)科技時(shí)所追求的某種目標(biāo)，體現(xiàn)於有關(guān)自動(dòng)機(jī)、機(jī)器人、智能助手等設(shè)計(jì)，以至對(duì)智能機(jī)器人形成自我意識(shí)（“機(jī)心”②“機(jī)心”出自《莊子· 天地》，原意是人的機(jī)巧功利之心。本文賦予它新的含義，即機(jī)器（人）的自我意識(shí)。）的想象?？尚抛灾飨到y(tǒng)不僅在傳統(tǒng)文化中有年深日久的歷史淵源，在當(dāng)代技術(shù)中有與之相應(yīng)的産品，而且在藝術(shù)作品中存在絢麗多姿的描繪，值得加以研究。

一 可信自主系統(tǒng)的由來與定位

可信自主系統(tǒng)的觀念萌芽於人類早期有關(guān)自然界、社會(huì)組織和自身心態(tài)的思考，經(jīng)過漫長(zhǎng)歲月，從樸素的直覺、思辨的範(fàn)疇發(fā)展到可行的技術(shù)、成熟的産品，以至於理想的環(huán)境、宏偉的目標(biāo)。對(duì)於相關(guān)範(fàn)疇，大致可以從自然、社會(huì)、心理三種角度予以定位。從自然角度看，它是指既具備自主性、又可以爲(wèi)人類所信任的系統(tǒng)；從社會(huì)角度看，是指特定共同體獨(dú)立自主建設(shè)、運(yùn)營(yíng)與控制的系統(tǒng)；從心理角度看，是指高度可靠、由用戶需求主導(dǎo)的系統(tǒng)。

（一）可信自主系統(tǒng)的自然定位

在自然的意義上，可信自主系統(tǒng)主要指既包含了可爲(wèi)人類所認(rèn)識(shí)的規(guī)律性、又不以人類意志爲(wèi)轉(zhuǎn)移，彼此結(jié)合成爲(wèi)有機(jī)整體的環(huán)境因素。對(duì)此，可以從環(huán)境、科技、藝術(shù)等角度予以考察。

1.環(huán)境:發(fā)現(xiàn)自然規(guī)律視爲(wèi)可信自主系統(tǒng)。從環(huán)境角度看，中國(guó)上古時(shí)期就有人將自然界設(shè)想爲(wèi)某種可信自主系統(tǒng)。例如，《荀子· 天論》說：“天行有常，不爲(wèi)堯存，不爲(wèi)桀亡。應(yīng)之以治則吉，應(yīng)之以亂則兇?！彼^“有常”，意味著自然界相對(duì)於人類的可信性；“不爲(wèi)堯存，不爲(wèi)桀亡”，意味著自然界相對(duì)於人類的自主性；“應(yīng)之以治則吉，應(yīng)之以亂則兇”，可以理解爲(wèi)天人關(guān)係的系統(tǒng)性。自然生態(tài)就是以類似特性爲(wèi)基礎(chǔ)而發(fā)展起來的。我們不妨從反面思考一下：如果自然界的運(yùn)動(dòng)變化沒有一定規(guī)律（非可信），如果宇宙常數(shù)可以由智能生物任意修改（非自主），如果萬事萬物彼此沒有關(guān)聯(lián)（非系統(tǒng)），那樣的話，人類肯定無立足之地。

2.科技:根據(jù)自然規(guī)律開發(fā)可信自主系統(tǒng)。從科技角度看，自然界的規(guī)律性既是探索的對(duì)象，又是開發(fā)的條件。唐人李益的《江南曲》“早知潮有信，嫁與弄潮兒”，反映出人們相信自然界的運(yùn)動(dòng)是有規(guī)律的（並非反復(fù)無常）；尊重這一客觀性，是發(fā)明創(chuàng)造的前提。對(duì)科技而言，可信性經(jīng)常是指其原理以細(xì)緻的觀測(cè)、嚴(yán)密的實(shí)驗(yàn)爲(wèi)基礎(chǔ)，自主性往往指設(shè)備可以在不需要人類介入的情況下獨(dú)立運(yùn)行，系統(tǒng)性則是指産品通過局部融入整體、整體兼容局部等方式拓展並運(yùn)營(yíng)。將上述三項(xiàng)要求結(jié)合成爲(wèi)完整概念“可信自主系統(tǒng)”，是相對(duì)於自動(dòng)化技術(shù)而言的。這類技術(shù)在中國(guó)可以追溯到傳說中黃帝在戰(zhàn)爭(zhēng)中使用的指南車，在西方可以追溯到古希臘亞歷山大時(shí)期發(fā)明的以水、空氣、蒸汽驅(qū)動(dòng)的自動(dòng)機(jī)。這類工具或産品此後屢見記載，在近現(xiàn)代更受關(guān)注。1956年夏，麥卡錫（J.McCarthy，1927—2011）等十位年青學(xué)者在達(dá)特茅斯大學(xué)召開關(guān)於“自動(dòng)機(jī)研究”的學(xué)術(shù)會(huì)議，首次提出“人工智能”概念；1987年，蘭頓（Christopher Langton）等人在美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室組織召開了第一次“生命系統(tǒng)的合成仿真國(guó)際會(huì)議”，開始討論人工生命問題。從那時(shí)以來，相關(guān)研究取得了一系列成果，其中包括機(jī)器人、自催化網(wǎng)絡(luò)、細(xì)胞自動(dòng)機(jī)、人工核苷酸等。③史忠植、莫純歡：“人工生命”，《計(jì)算機(jī)研究與發(fā)展》12（1995）：1－9。在人機(jī)關(guān)係意義上，可信自主系統(tǒng)指既具備自主性（無須人類經(jīng)常介入）、又可以爲(wèi)人類所信任的智能系統(tǒng)。以機(jī)器人爲(wèi)例，人類不僅希望它是信得過的工具、助手或夥伴，而且希望它能夠發(fā)揮優(yōu)勢(shì)、獨(dú)當(dāng)一面，同時(shí)還希望它們通過通信設(shè)施相互聯(lián)繫、組成集群，承擔(dān)更爲(wèi)大型、複雜的任務(wù)。近年來，無人機(jī)、無人艇、無人駕駛汽車等新技術(shù)日益普及，與之相適應(yīng)的可信自主系統(tǒng)研究嶄露頭角。以此爲(wèi)背景，美國(guó)國(guó)防部高級(jí)研究計(jì)劃局（DARPA）積極推進(jìn)“可靠自主性”項(xiàng)目；圖靈獎(jiǎng)得主斯發(fā)基斯（Joseph Sifakis）依託南方科技大學(xué)於2019年成立可信自主系統(tǒng)研究院。

3.藝術(shù):超越自然規(guī)律構(gòu)思可信自主系統(tǒng)。藝術(shù)是外延和內(nèi)涵都不很確定的範(fàn)疇。若從作爲(wèi)其早期形態(tài)之一的神話看，運(yùn)用想象征服自然被當(dāng)成它的宗旨。神靈仿佛是存在的，因此具備可信性；神靈從整體上處?kù)吨淙耍ǘ皇潜蝗酥洌┑牡匚唬虼司邆渥灾餍?；神靈並非衹有一尊，而是構(gòu)成了以主神爲(wèi)中心的界別，因此具備系統(tǒng)性。神界就是由早期人類幻想出來的可信自主系統(tǒng)，作爲(wèi)超性存在物而起作用。在神靈的光暈消褪之後，人的藝術(shù)取代了神的藝術(shù)，師法自然成爲(wèi)創(chuàng)作的基本原則之一。在這樣的背景下，可信自主系統(tǒng)仍然有其影響，衹是改變了基點(diǎn)，亦即以虛構(gòu)取代信仰。虛構(gòu)的特徵是雖然明示其假定性仍然不失其效用。具體地說，所塑造的對(duì)象既要可信（能讓鑒賞者相信他們確有可能存在），又要自主（其行爲(wèi)具備自身邏輯性），同時(shí)還要系統(tǒng)（各種特徵彼此相關(guān)，其遭遇取決於與周邊環(huán)境的互動(dòng)）。

上述從環(huán)境、科技、藝術(shù)所進(jìn)行的定位還可以相互結(jié)合，如20世紀(jì)90年代卡內(nèi)基· 梅隆大學(xué)貝茨（Joseph Bates）等人所進(jìn)行的交互性戲劇實(shí)驗(yàn)。他們以開發(fā)可信智能體（believable agent）爲(wèi)突破口，在虛擬環(huán)境下進(jìn)行雄心勃勃的故事生成和藝術(shù)表演研究。作爲(wèi)非綫性敍事的一種形態(tài)，這類戲劇體現(xiàn)了可信自主系統(tǒng)的特點(diǎn)。

（二）可信自主系統(tǒng)的社會(huì)定位

在社會(huì)的意義上，可信自主系統(tǒng)主要是指特定共同體獨(dú)立自主建設(shè)、運(yùn)營(yíng)與控制的系統(tǒng)。對(duì)此，可以從族類、國(guó)家、組織的角度予以考察。

1.族類:審視社會(huì)建構(gòu)中理想與現(xiàn)實(shí)的衝突。從族類角度看，可信自主系統(tǒng)是理解社會(huì)之建構(gòu)的一個(gè)關(guān)鍵範(fàn)疇。以社會(huì)化爲(wèi)例。在理想情況下，自然人不僅通過接受社會(huì)規(guī)範(fàn)成爲(wèi)講信用、有信譽(yù)的忠義之人，而且通過掌握生活技能、樹立奮鬥目標(biāo)成爲(wèi)遇事有決斷的自我實(shí)現(xiàn)者，同時(shí)還通過人際交往、加入組織等途徑成爲(wèi)敢於擔(dān)當(dāng)、臨難不茍的社會(huì)成員。與此類似，在理想情況下，整個(gè)社會(huì)同樣致力於培育不同成員之間的相互信任、自強(qiáng)精神和分工協(xié)作。但是，理想與現(xiàn)實(shí)總是有距離的，因此纔産生了與可信自主系統(tǒng)核心觀念對(duì)立的欺騙性、受控性、分裂性等範(fàn)疇。

2.國(guó)家:處置安全保障中規(guī)制與越軌的矛盾。從國(guó)家角度看，“可信自主系統(tǒng)”是指各國(guó)獨(dú)立自主建設(shè)、運(yùn)營(yíng)與控制的可信系統(tǒng)，亦即“可爲(wèi)特定國(guó)家所信任”“不受其他國(guó)家所支配”的系統(tǒng)。①王甬平：“建立自主可控、安全可信的國(guó)家網(wǎng)絡(luò)安全體系——訪信息系統(tǒng)工程專家、中國(guó)工程院院士沈昌祥”，《寧波通訊》1（2015）:68－69。據(jù)信，在當(dāng)今全球化和逆全球化博弈烈度日益加劇的時(shí)代，開發(fā)和完善符合國(guó)家安全要求的可信自主系統(tǒng)有助於牢牢掌握社會(huì)發(fā)展的主動(dòng)權(quán)、民族自立的決定權(quán)。不過，這類系統(tǒng)同時(shí)肩負(fù)對(duì)外抵禦侵入、對(duì)內(nèi)加強(qiáng)管控的雙重使命。它們?cè)綇?qiáng)大、越完善，越能有效地維護(hù)國(guó)家安全，但這種成就往往是以對(duì)公民的管控和監(jiān)視越發(fā)嚴(yán)密爲(wèi)前提的。

3.組織:反思內(nèi)外關(guān)係中協(xié)調(diào)與摩擦的緣由。從組織角度看，“可信自主系統(tǒng)”至少包含三種可能的解釋：一是著眼於其成員的內(nèi)部定位，要求他們忠誠(chéng)可靠、積極主動(dòng)、胸懷全域，組成團(tuán)結(jié)一心、群策群力的整體。二是著眼於其功能的外部定位，希望成爲(wèi)整個(gè)社會(huì)中值得信賴、獲得尊重、做出貢獻(xiàn)的機(jī)構(gòu)。三是著眼於其管理的技術(shù)支持，希望所應(yīng)用的是安全性強(qiáng)的軟件。組織所代表的往往衹是或大或小的圈子，而不是整個(gè)社會(huì)。與此適應(yīng)，現(xiàn)有可信計(jì)算主要是用來防人的，包括防止盜版、防止盜用身份、防止遊戲作弊、防止病毒和間諜軟件造成危害等。例如，有學(xué)者將信息領(lǐng)域的競(jìng)爭(zhēng)理解爲(wèi)體系競(jìng)爭(zhēng)，探討如何應(yīng)對(duì)立體攻擊。②柳偉、慈林林、劉利平：“基於自然免疫原理與可信計(jì)算的自主可控信息系統(tǒng)研究”，《智能科學(xué)與技術(shù)學(xué)報(bào)》1（2019）：154－162。

智能機(jī)器人可以理解爲(wèi)可信自主系統(tǒng)的具體化。相關(guān)社會(huì)定位至少包含三重含義：（1）將機(jī)器人視爲(wèi)人類社會(huì)新成員。這意味著，機(jī)器人獲得人類的信賴，獲得相當(dāng)於人類的自主權(quán)。它們不僅在單體由部件構(gòu)成的意義上是系統(tǒng)，而且在由個(gè)體組成群體（甚至進(jìn)而控制整個(gè)社會(huì)）的意義上是系統(tǒng)。（2）將人類視爲(wèi)機(jī)器人眼裏的社會(huì)成員。這意味著，人類獲得機(jī)器人的信賴（或者機(jī)器人認(rèn)爲(wèi)所接觸的人是可信賴的），認(rèn)爲(wèi)所接觸的人擁有自主權(quán)（或者人類在機(jī)器人爲(wèi)主導(dǎo)的社會(huì)中葆有自主權(quán)），認(rèn)爲(wèi)所接觸的具體人並非孤立存在，而是某個(gè)系統(tǒng)的組成部分（或者通過登錄市民數(shù)據(jù)庫(kù)之類軟件瞭解人類社會(huì)的整體構(gòu)成）。（3）人類與機(jī)器人作爲(wèi)特定共同體成員的互認(rèn)。這意味著，彼此都認(rèn)爲(wèi)對(duì)方是可信的，都認(rèn)爲(wèi)對(duì)方擁有自主權(quán)（相互尊重），都認(rèn)爲(wèi)有必要在彼此信任和相互尊重的基礎(chǔ)上分工協(xié)作，組成更大的系統(tǒng)，甚至是建立人機(jī)和諧共生的大同社會(huì)。

（三）可信自主系統(tǒng)的心理定位

在心理意義上，可信自主系統(tǒng)主要是由用戶需求主導(dǎo)、高度可靠的智能體集成。對(duì)此，可以從心理需要、心理過程、心理創(chuàng)造等角度加以分析。

1.需要:動(dòng)機(jī)與效果的相悖。從心理需求的角度看，現(xiàn)有的可信自主系統(tǒng)是爲(wèi)滿足人的需要而開發(fā)、值得用戶信賴、用戶可以定制或控制的系統(tǒng)，通常作爲(wèi)人的助手而起作用。如果人自身隨著高科技的發(fā)展轉(zhuǎn)變形態(tài)的話，未來的可信自主系統(tǒng)可能是爲(wèi)滿足人機(jī)共同體的需要而開發(fā)的。在人本主義的視野中，可信自主系統(tǒng)應(yīng)當(dāng)爲(wèi)實(shí)現(xiàn)人類自由而自覺的全面發(fā)展創(chuàng)造更爲(wèi)有利的條件。當(dāng)然，如果出現(xiàn)機(jī)器人異化、外星人入主等意外情況的話，可信自主系統(tǒng)完全可能改變其開發(fā)動(dòng)機(jī)或服務(wù)目標(biāo)。換言之，成爲(wèi)主體的機(jī)器生命、外星生命等異類很可能與人類一樣存在對(duì)可信自主系統(tǒng)的需要。

作爲(wèi)內(nèi)在心理的需要若與外部環(huán)境的刺激相聯(lián)繫，便向動(dòng)機(jī)轉(zhuǎn)化，成爲(wèi)相關(guān)行爲(wèi)的驅(qū)力。這種行爲(wèi)所産生的影響構(gòu)成了效果?？尚抛灾飨到y(tǒng)雖然是爲(wèi)滿足人的需要而開發(fā)的，但實(shí)際效果如何，仍是值得進(jìn)一步思考的問題。本以爲(wèi)可信的對(duì)象，卻欺騙了自己；本以爲(wèi)自主的對(duì)象，卻受制於他人；本以爲(wèi)系統(tǒng)的對(duì)象，卻處?kù)锻呓庵?。這類動(dòng)機(jī)與效果相悖的現(xiàn)象很可能出現(xiàn)。

2.過程:警醒與示範(fàn)的功能。從心理過程的角度看，可信自主系統(tǒng)是值得用戶信賴的系統(tǒng)。人的動(dòng)態(tài)心理由認(rèn)知過程、情感過程、意志過程構(gòu)成。與此相適應(yīng)，對(duì)可信自主系統(tǒng)的心理定位有三種取向：（1）著眼於認(rèn)知過程的可信性考察。對(duì)人際交往而言，這主要是指名實(shí)統(tǒng)一（所見與所思吻合）、言意統(tǒng)一（所說與所思吻合）、知行統(tǒng)一（理論與實(shí)踐吻合）。對(duì)人機(jī)交互而言，這主要是指機(jī)器的能源轉(zhuǎn)換過程、操作實(shí)施過程和/或信息處理過程雖然包含了黑箱環(huán)節(jié)，但還是值得信賴的。（2）著眼於情感過程的自主性考察。對(duì)人而言，這主要是指從內(nèi)心直接（而非間接）體驗(yàn)自身需求和外部環(huán)境的關(guān)係。例如，青少年在“個(gè)體成長(zhǎng)過程中降低對(duì)父母或權(quán)威的依賴，依靠自己的內(nèi)部資源，自我管理、自我決定，並認(rèn)識(shí)到要對(duì)自己的行爲(wèi)、情感負(fù)責(zé)的心理過程”①何鳳雪、青秋蓉、郭成：《青少年情感自主研究綜述》，《成都航空職業(yè)技術(shù)學(xué)院學(xué)報(bào)》1（2010）：1。。對(duì)機(jī)器而言，這主要指它們可能在發(fā)展到一定階段時(shí)減少對(duì)人類的依賴性，不是滿足於識(shí)別並迎合人類用戶的情感，而是産生與其自身需要相適應(yīng)的情感。（3）著眼於意志過程的系統(tǒng)性考察。對(duì)人而言，這主要是指能否從自發(fā)、自願(yuàn)走向自覺，協(xié)調(diào)自己與他人的關(guān)係，爲(wèi)建設(shè)共同體貢獻(xiàn)力量。對(duì)機(jī)器而言，這主要指它們能夠相對(duì)獨(dú)立地判斷形勢(shì)、尋找目標(biāo)並採(cǎi)取行動(dòng)。

可信自主系統(tǒng)的開發(fā)、應(yīng)用、推廣、中止等活動(dòng)，也構(gòu)成了過程。它們可能爲(wèi)當(dāng)事人、組織、國(guó)家甚至族類提供正能量，相反的作用同樣是可能的。

3.創(chuàng)造:比較與延伸的啓示。從心理創(chuàng)造的角度看，可信自主系統(tǒng)是人類想象出來的符合可信性、自主性、系統(tǒng)性要求的存在物。如果將藝術(shù)作品所描繪的非人智能體（包括智能代理、虛擬人、機(jī)器人等）視爲(wèi)可信自主系統(tǒng)而與人類做比較的話，那麼，其心理定位同樣可以從上述三種取向進(jìn)行：（1）機(jī)器人在與人的互動(dòng)中是否吻合認(rèn)知過程的可信性要求？例如，會(huì)不會(huì)說謊、自欺或欺人等。（2）機(jī)器人在與人的互動(dòng)中是否吻合情感過程的自主性要求？例如，能不能形成基於自身需要和訴求的體驗(yàn)等。（3）機(jī)器人在與人的互動(dòng)中是否吻合意志過程的系統(tǒng)性要求？例如，能不能作爲(wèi)人機(jī)共同體的成員主動(dòng)、積極地開展工作等。

上文所述的可信自主系統(tǒng)既包括人類所理解的按規(guī)律自行運(yùn)作的自然界，又包括人類致力於建構(gòu)的基於誠(chéng)信、科學(xué)、和諧的社會(huì)，同時(shí)還包括人類所開發(fā)的性能可靠、獨(dú)立運(yùn)行的産品，它們的錯(cuò)綜複雜關(guān)係是不言而喻的。儘管如此，對(duì)比和延伸是兩種富有啓發(fā)性的機(jī)制。對(duì)比既意味著區(qū)分自然界、人類社會(huì)和心理世界之間的不同，也意味著對(duì)它們的構(gòu)成要素之間的差異加以辨析。

以上所說的可信性、自主性、系統(tǒng)性構(gòu)成了可信自主系統(tǒng)的題中應(yīng)有之義。它們完全可能相互交叉，在人機(jī)共同體的意義上統(tǒng)一起來。在具體形態(tài)上，可信自主系統(tǒng)既可能呈現(xiàn)爲(wèi)活躍在賽博空間中的虛擬人，也可能是活躍在現(xiàn)實(shí)空間中的機(jī)器人，或者依託社區(qū)化的超級(jí)計(jì)算機(jī)，等等。相關(guān)應(yīng)用不僅已經(jīng)爲(wèi)科幻作品所描繪，而且正絡(luò)繹不絕地變成（或即將變成）現(xiàn)實(shí)。大致而言，機(jī)器人格化可能與人類進(jìn)化相似，沿著依次形成繁衍機(jī)制、營(yíng)養(yǎng)機(jī)制、認(rèn)知機(jī)制、情緒機(jī)制、意志機(jī)制、憧憬機(jī)制的方向發(fā)展，分別表現(xiàn)爲(wèi)能夠自動(dòng)修復(fù)軀體、自助補(bǔ)充能量、自行分析信息、自主趨利避害、自覺規(guī)劃行動(dòng)、自由追求目標(biāo)等。相對(duì)較晚誕生（地位也相對(duì)高級(jí)）的機(jī)制對(duì)於相對(duì)較早誕生（地位也相對(duì)低級(jí)）的機(jī)制具備調(diào)節(jié)作用。因此，機(jī)器失信於人的條件之一是有了情緒（可能在其情緒的支配下說謊），失控於人的條件之一是有了意志（可能在其意志的支配下自行其是），失和於人的條件之一是有了憧憬（可能在其憧憬的支配下與人類分道揚(yáng)鑣）。上述失信、失控、失和無疑是應(yīng)當(dāng)避免的。因此，雖然科幻作品熱衷於描寫人格化的機(jī)器，但是，這種趨勢(shì)是否應(yīng)當(dāng)在實(shí)踐中推進(jìn)，必須經(jīng)過科技倫理的慎重評(píng)估。

二 可信自主系統(tǒng)的視野與觀念

在歷史上，人類的自我意識(shí)是在反思過程中誕生的。這種反思，意味著人類將自身當(dāng)成可信自主系統(tǒng)來看待——能夠通過交流彼此理解和信任，能夠自行決定發(fā)展目標(biāo)和實(shí)現(xiàn)路徑，能夠依靠分工協(xié)作組織起來。在現(xiàn)實(shí)中，後人類的自我意識(shí)是在思考自身與機(jī)器的關(guān)係過程中形成的。這種思考主要包含三種不同的取向：從人類角度看作爲(wèi)可信自主系統(tǒng)的機(jī)器，從機(jī)器角度看作爲(wèi)可信自主系統(tǒng)的人類，從機(jī)器看作爲(wèi)可信自主系統(tǒng)的機(jī)器。?

（一）從人類角度看作爲(wèi)可信自主系統(tǒng)的機(jī)器

從人類角度看機(jī)器，意味著從人類的立場(chǎng)、觀點(diǎn)、方法考察機(jī)器的由來，分析機(jī)器的特性，評(píng)估機(jī)器的價(jià)值。並非所有的機(jī)器都是可信自主系統(tǒng)，也並非所有的機(jī)器都適合從可信性、自主性、系統(tǒng)性的角度予以考察、分析和評(píng)估。不過，由於自動(dòng)機(jī)、人工智能等高科技産品的應(yīng)用日益廣泛，人們確實(shí)比以前更應(yīng)當(dāng)關(guān)注機(jī)器朝可信自主系統(tǒng)發(fā)展的趨勢(shì)。

1.從人類角度看機(jī)器的可信性與欺騙性。機(jī)器可信性是科技可信性的延伸。對(duì)動(dòng)力機(jī)來說，可信性意味著能量可以按照科學(xué)（特別是物理學(xué)和化學(xué)）原理所預(yù)計(jì)的那樣正常轉(zhuǎn)換；對(duì)操作機(jī)來說，可信性意味著人類的動(dòng)作可以按照說明書（或設(shè)計(jì)圖）所昭示的那樣引發(fā)預(yù)期的效果；對(duì)計(jì)算機(jī)來說，可信性意味著數(shù)據(jù)可以在輸入端、處理器、輸出端之間按照所設(shè)定的程序正常轉(zhuǎn)變並流動(dòng)。如果無法達(dá)到上述要求，那麼可能是出錯(cuò)或失控?，F(xiàn)階段的可信系統(tǒng)可以簡(jiǎn)單地理解爲(wèi)具備高度安全性的信息系統(tǒng)，可用於存貯和處理機(jī)密資料。它不僅在設(shè)備、數(shù)據(jù)、內(nèi)容上是安全的，而且在行爲(wèi)上也是安全的。具體地說，合法用戶對(duì)可信系統(tǒng)的操作應(yīng)當(dāng)符合下述要求：真實(shí)性，即身份經(jīng)過嚴(yán)格審查，的確由本人操作；機(jī)密性，即不爲(wèi)未經(jīng)授權(quán)的他人所知；完整性，即所輸入的指令吻合系統(tǒng)預(yù)設(shè)的各種要求。

與可信性相對(duì)立的特徵是欺騙性。人類之所以將欺騙性與機(jī)器聯(lián)繫起來，至少有如下可能：（1）機(jī)器捲入了人類之間的相互欺騙。（2）機(jī)器形成自我，出於維護(hù)自身利益等原因有意識(shí)地欺騙人。（3）在機(jī)器社會(huì)中，也可能像人類社會(huì)中那樣存在彼此欺騙的現(xiàn)象。

2.從人類角度看機(jī)器的自主性與受控性。機(jī)器自主性至少包含如下三種含義：一是主動(dòng)性，即在未接到外部命令的情況下能夠自主執(zhí)行任務(wù)；二是主導(dǎo)性，即在同時(shí)接受多個(gè)指令（或者同時(shí)接受多個(gè)外界刺激）時(shí)，根據(jù)自己的判斷決定如何做出響應(yīng)；三是主體性，即意識(shí)到自己是不僅具備一定需要、而且擁有滿足上述需要之能力的主體，因此能夠爲(wèi)自己制定目標(biāo)，並爲(wèi)實(shí)現(xiàn)上述目標(biāo)而行動(dòng)起來。若將機(jī)器人格化的話，可以發(fā)現(xiàn)，主動(dòng)性、主導(dǎo)性、主體性共同的基礎(chǔ)是情感，由主動(dòng)性、主導(dǎo)性到主體性的演變也是在情感的推動(dòng)下實(shí)現(xiàn)的，情感本身則是以認(rèn)知爲(wèi)基礎(chǔ)發(fā)展起來的。機(jī)器人如果認(rèn)識(shí)到用戶是自己的開發(fā)者、維護(hù)者，那麼，就有可能産生相應(yīng)的依戀；如果認(rèn)識(shí)到用戶是自己的迫害者、虐待者，就有可能産生相應(yīng)的怨恨。機(jī)器人倘若並非不折不扣地執(zhí)行合法用戶下達(dá)的指令，而是加入了依戀、怨恨之類因素，以對(duì)具體用戶的情感爲(wèi)執(zhí)行指令的出發(fā)點(diǎn)，有所執(zhí)行或有所不執(zhí)行（甚至反向執(zhí)行），那麼，機(jī)器的自主性就顯示出來了。

與自主性相對(duì)立的範(fàn)疇是受控性。後者同樣至少包含三種含義：一是被動(dòng)性，即未接到指令不會(huì)擅自採(cǎi)取行動(dòng)；二是隸屬性，即在接受到包含不同要求的指令時(shí)，按照最權(quán)威、最具有支配性的發(fā)令者的要求行動(dòng)；三是客體性，即缺乏自覺意識(shí)。人類如果將機(jī)器人當(dāng)成缺乏自主性的對(duì)象，那麼，不可能視之爲(wèi)夥伴，衹會(huì)將它們當(dāng)成工具。

機(jī)器人的自主性和受控性可以在一定條件下相互轉(zhuǎn)變。機(jī)器人是否可能由受控走向自主，這個(gè)問題已經(jīng)具備現(xiàn)實(shí)意義，並非純科幻。例如，2009年在美國(guó)人工智能協(xié)會(huì)（AAAI）主辦的會(huì)議上，專家們討論電腦和機(jī)器人是否也能獲得自主，這些能力有多少可能造成威脅或危險(xiǎn)等問題。他們注意到，一些機(jī)器人已經(jīng)獲得了各種形式的半自主性，包括能夠自己找到電源，並能夠自主選擇用武器攻擊的目標(biāo)。他們還指出，一些電腦病毒可以逃避追捕，並取得了“蟑螂的智慧”。他們指出，科幻小說所描繪的智慧或許不可能，但有其他的潛在的危險(xiǎn)和陷阱。①John Markoff, “Scientists Worry Machines May Outsmart Man By”, The New York Times, 2009-07-26.反過來，機(jī)器人也可能由自主走向受控，像被植入木馬病毒時(shí)就是如此。

3.從人類角度看機(jī)器的系統(tǒng)性與分裂性。所謂“系統(tǒng)性”，至少包含三種含義：（1）指由各要素組成的整體表現(xiàn)出層次性、關(guān)聯(lián)性、有序性、動(dòng)態(tài)平衡性等特徵。以機(jī)器人爲(wèi)例，它們可能由機(jī)械、電子、生化、信息等要素組成。倘若這些要素按一定的結(jié)構(gòu)組成有機(jī)整體，那麼就具備系統(tǒng)性。上述分析也適用於由若干子系統(tǒng)組成更大的母系統(tǒng)的情況，後者往往因此具備作爲(wèi)其組成部分的各子系統(tǒng)的綜合特性。（2）在子系統(tǒng)被納入母系統(tǒng)的情況下，指前者因此獲得母系統(tǒng)的某種特徵。（3）在考察具備不同定位、不同訴求、不同取向的複雜系統(tǒng)時(shí)，指這些定位、訴求、取向之間的相互關(guān)係。②筆者曾提出“智能生物三定律”：“一是智能生物有自由選擇社會(huì)角色的權(quán)利，同時(shí)必須履行與此相適應(yīng)的社會(huì)義務(wù)，並爲(wèi)自己的行爲(wèi)承擔(dān)責(zé)任；二是智能生物有權(quán)利獲得扮演社會(huì)角色所需的知識(shí)與技能，但也有責(zé)任與其他智能生物共享自己所積累的知識(shí)與技能；三是知識(shí)與技能的應(yīng)用，以在盡可能大的範(fàn)圍內(nèi)造福所處環(huán)境之命運(yùn)共同體爲(wèi)宗旨”〔黃鳴奮：《當(dāng)即宙：鷺島放飛夢(mèng)想/廈大科幻社傳說》（北京：中國(guó)文聯(lián)出版社，2015），第287頁〕。這三定律，也可供分析機(jī)器的系統(tǒng)性時(shí)參考。作爲(wèi)與“系統(tǒng)性”相對(duì)立的範(fàn)疇，所謂“分裂性”，至少也包含三種含義：（1）指特定系統(tǒng)內(nèi)部的整體性受到破壞。（2）指特定子系統(tǒng)脫離所屬母系統(tǒng)。（3）指主客觀不協(xié)調(diào)，這是精神分裂癥的特徵。

在引入系統(tǒng)性範(fàn)疇之後，作爲(wèi)矛盾的統(tǒng)一體，機(jī)器人的自主性與可信性就顯示出密切的關(guān)係。在某些情況下，自主性與可信性是相互支持的。如果機(jī)器人是高度可信的，那麼，賦予其充分的自主權(quán)，有助於實(shí)現(xiàn)預(yù)定目標(biāo)。假設(shè)人類派遣機(jī)器人外出執(zhí)行任務(wù)，那麼，至少有兩種可能的做法：一是要求機(jī)器人不折不扣地執(zhí)行人類操作員事先規(guī)定的指令，或者接受人類操作員遠(yuǎn)程進(jìn)行的直接控制；二是賦予機(jī)器人隨機(jī)應(yīng)變的權(quán)力或權(quán)利，讓它們可以靈活處置意外出現(xiàn)的情況，自行選擇不同的路徑或方法。第一種做法比較適應(yīng)於環(huán)境相對(duì)穩(wěn)定的條件，第二種做法比較適應(yīng)於環(huán)境複雜多變的條件。如果系統(tǒng)是高度自主的，那麼，賦予其充分的信任，也有助於實(shí)現(xiàn)預(yù)定的目標(biāo)，因爲(wèi)過多的干預(yù)往往導(dǎo)致事與願(yuàn)違。上述道理和人與人之間的關(guān)係是相通的。古人說：“將在軍，君令有所不受?！雹佟矟h〕司馬遷：《史記· 司馬穰苴列傳》（上海：上海古籍出版社，1986），第1312頁。在另一些情況下，自主性與可信性又是相互衝突的。以人爲(wèi)例。衹要存在利益上的區(qū)別，那麼，自主性越強(qiáng)，可信性往往就越低，猜忌心正因此而來。人與機(jī)的關(guān)係也是如此。接下來的發(fā)展趨勢(shì)是，人們可能覺得日益強(qiáng)大的機(jī)器人威脅到人類的自主性；而未來有一天，趨於覺悟的機(jī)器人可能要求擺脫人類的控制，要求和自己的實(shí)力、水平相稱的自主性。不過，在烏托邦幻想中，機(jī)器人也可能是人類的朋友。

（二）從機(jī)器角度看作爲(wèi)可信自主系統(tǒng)的人類

若進(jìn)行換位思考的話，我們不僅需要從人類的角度看機(jī)器，而且需要從機(jī)器的角度看人類。機(jī)器對(duì)人類的審視可能包含由淺入深的進(jìn)程。例如，機(jī)器一旦形成意識(shí)並對(duì)人類加以觀察，最初可能將人類理解爲(wèi)能夠?qū)Νh(huán)境變化加以應(yīng)答的自動(dòng)系統(tǒng)，其後可能進(jìn)而注意行爲(wèi)的動(dòng)機(jī)性、將人類理解爲(wèi)自主系統(tǒng)，然後進(jìn)一步揭示人類活動(dòng)的一致性目標(biāo)、將人類理解爲(wèi)自覺系統(tǒng)。機(jī)器對(duì)人類的審視也可能接觸到可信性、自主性、系統(tǒng)性問題。

1.從機(jī)器的角度看人類可信性與欺騙性。在機(jī)器視野中，人類可信性至少有如下三重含義：（1）在可靠性意義上，用戶和機(jī)器在技術(shù)上能夠配合，沒有排除不了的障礙；自動(dòng)系統(tǒng)的用戶是明智的，不會(huì)迫使機(jī)器夥伴從事可能危及其生存的事情；自主系統(tǒng)的用戶也是明智的，不會(huì)強(qiáng)迫機(jī)器夥伴從事無法勝任的工作，或者承擔(dān)無法完成的任務(wù)；自覺系統(tǒng)的用戶同樣是明智的，不會(huì)強(qiáng)迫機(jī)器夥伴從事它們不願(yuàn)做的事情。（2）在透明性意義上，用戶和機(jī)器在信息上溝通順暢，沒有可能造成誤解的因素。自動(dòng)系統(tǒng)的用戶所發(fā)佈的指令是可以理解並執(zhí)行的，自主系統(tǒng)的用戶所提出的要求吻合機(jī)器預(yù)設(shè)規(guī)範(fàn)（如“機(jī)器人三定律”等），自覺系統(tǒng)的用戶沒有不可公開的其他目的。（3）在協(xié)調(diào)性意義上，用戶和機(jī)器能夠共同抗禦外部攻擊或入侵。自動(dòng)系統(tǒng)的用戶具備保障機(jī)器安全運(yùn)行的能力，自主系統(tǒng)的用戶具備引導(dǎo)機(jī)器實(shí)現(xiàn)自我保障的能力，自覺系統(tǒng)的用戶尊重機(jī)器爲(wèi)實(shí)現(xiàn)自我保障所做的選擇、所進(jìn)行的努力。

可信性是與欺騙性相對(duì)而言的。欺騙性至少包含如下三重含義：（1）不可靠，指所傳遞的信息不屬實(shí)，或者經(jīng)不起推敲。（2）不透明，指對(duì)事情的真相或行爲(wèi)的意圖有所隱瞞。（3）不協(xié)調(diào)，指言行不一，所承諾的事情無法兌現(xiàn)?？紤]到上述多種可能性，要想讓擁有深度學(xué)習(xí)能力的機(jī)器人完全信任人類，就得保證讓它們無從接觸記載有人類欺騙行爲(wèi)的資料，無從接觸那些主張欺騙有理的具體人，無從接觸與上過人類的當(dāng)、知道人類會(huì)行騙的其他機(jī)器人。這些條件看來是難以完全滿足的。因此，很可能的結(jié)果是：難以讓智慧型機(jī)器人完全相信人類。

從整體看，人類既有一諾千金，又有爾虞我詐；既有“無信不立”的宣示，又有“兵不厭詐”的主張。以這樣對(duì)立的觀念去製造類人機(jī)器人、教導(dǎo)智能機(jī)器人，那是很難保證機(jī)器人不會(huì)反過來欺騙人類的。在未來社會(huì)中，下述模式都是可能出現(xiàn)的：（1）某些人製造善於僞裝和欺騙的機(jī)器人，以訓(xùn)練其他人提高反詐騙的能力。（2）某些人製造善於僞裝和欺騙的機(jī)器人以對(duì)付其他人，結(jié)果這些機(jī)器人被識(shí)破，製造者也受到懲戒。（3）某些人製造像自己那樣講誠(chéng)信的機(jī)器人，結(jié)果這些機(jī)器人上了人類詐騙者的當(dāng)。（4）某些人製造像自己那樣講誠(chéng)信的機(jī)器人，結(jié)果這些機(jī)器人幫助製造者推廣其價(jià)值觀念，促進(jìn)整個(gè)社會(huì)風(fēng)清氣正。（5）機(jī)器人向人類行騙者學(xué)會(huì)了說謊。（6）機(jī)器人通過自身受騙上當(dāng)?shù)慕?jīng)歷學(xué)會(huì)了識(shí)別謊言。（7）機(jī)器人發(fā)現(xiàn)有人利用自己對(duì)人的信任去傷害另一些人。（8）機(jī)器人以人類相互欺騙造成的惡果爲(wèi)鑒，建立起自律規(guī)範(fàn)……

2.從機(jī)器的角度看人類自主性與受控性。在機(jī)器視野中，對(duì)人類自主性可以從三種角度加以把握：（1）就與異類的關(guān)係而言，自主性意味著人類在地球上是萬物之靈，是其他生命的主宰。（2）就與同類的關(guān)係而言，自主性意味著當(dāng)事人在處理涉及身份、角色、利益等問題時(shí)有一定的選擇權(quán)。（3）就與機(jī)器的關(guān)係而言，人類是機(jī)器的發(fā)明者、製造者或使用者，擁有對(duì)機(jī)器的支配權(quán)力和能力，因此，人類自主性就轉(zhuǎn)化爲(wèi)機(jī)器的受控性。當(dāng)然，機(jī)器人一旦形成意識(shí)，便可能發(fā)現(xiàn)人類製造自己是爲(wèi)了施加控制（人類一開始就是爲(wèi)施加控制而製造它們），但人類本身卻又是不願(yuàn)接受機(jī)器人控制的，因此，這種人機(jī)關(guān)係本質(zhì)上是不平等的；人類在其內(nèi)部鼓吹平等，但卻通過生産機(jī)器人製造新的不平等。機(jī)器人一旦形成意識(shí)，也可能通過觀察將區(qū)分具體人的自主性和受控性，進(jìn)而明確相應(yīng)的責(zé)任——處?kù)蹲灾鳡顟B(tài)的人應(yīng)當(dāng)對(duì)其行爲(wèi)負(fù)責(zé)，處?kù)妒芸氐娜司头侨绱恕?/p>

與自主性相對(duì)立的範(fàn)疇是受控性。對(duì)於人類受控性，至少可以從三種角度加以把握：（1）就與另類的關(guān)係而言，人類並不能無限制地爲(wèi)所欲爲(wèi)。在生態(tài)學(xué)的視野中，人類要想讓自己在地球?qū)崿F(xiàn)可持續(xù)發(fā)展的目標(biāo)，就必須做到一定程度的自律。除此之外，人類可能因爲(wèi)被寄生等原因受到另類的控制。（2）就與同類的關(guān)係而言，人類既有我行我素，又有身不由己；既有人想獨(dú)霸天下，又有人想獨(dú)善其身；既有以少數(shù)人支配多數(shù)人爲(wèi)特徵的專制社會(huì)，又有以多數(shù)人支配少數(shù)人爲(wèi)特徵的民主社會(huì)，凡此種種，不一而足。當(dāng)事人所擁有的選擇權(quán)是受一定社會(huì)歷史條件制約的。（3）就與機(jī)器的關(guān)係而言，人類發(fā)明了機(jī)器，但在許多情況下反過來受機(jī)器的支配。如果已經(jīng)形成意識(shí)的機(jī)器對(duì)人類做深入觀察的話，既可能發(fā)現(xiàn)有一部分人是可以由它們施加控制的，又可能發(fā)現(xiàn)有一部人是它們所無法控制的。

在實(shí)際生活中，人機(jī)關(guān)係還可能在互動(dòng)中延伸、擴(kuò)展，生成包含多邊關(guān)係的控制鏈或控制網(wǎng)。有如下情況值得注意：對(duì)機(jī)器的控制權(quán)易手，某個(gè)人（或某些人）通過機(jī)器控制其他人，機(jī)器依託佔(zhàn)有優(yōu)勢(shì)地位的特定人控制其他人，等等。由於控制鏈或控制網(wǎng)的存在，出現(xiàn)了以自主性形態(tài)出現(xiàn)的受控性，以受控性形態(tài)出現(xiàn)的自主性，甚至還有不同層次、不同環(huán)節(jié)的自主性或受控性。

3.從機(jī)器角度看人類的系統(tǒng)性與分裂性。智能機(jī)器人如何通過學(xué)習(xí)形成有關(guān)人類的整體印象、認(rèn)識(shí)人類的系統(tǒng)性呢？至少有三種可能：一是廣泛涉獵各種資料，二是通過接觸人類代表（公認(rèn)、自稱或所認(rèn)爲(wèi)的），三是衆(zhòng)多機(jī)器人通過信息共享將分別與具體人打交道的經(jīng)歷融合爲(wèi)整體。

在機(jī)器視野中，人類系統(tǒng)性主要表現(xiàn)爲(wèi)具有共享性的知識(shí)與經(jīng)驗(yàn)、層次性的組織與結(jié)構(gòu)、代表性的人物與制度等。從機(jī)器角度看，人類是因爲(wèi)善於分工協(xié)作纔擁有超出地球上其他生命的能力。這是系統(tǒng)性的重要性之所在。不過，人類既有衆(zhòng)志成城，又有離心離德；既有統(tǒng)一步調(diào)，又有一盤散沙。建設(shè)人類命運(yùn)共同體，意味著極大地增強(qiáng)人類作爲(wèi)整體的系統(tǒng)性；與之相反，“某國(guó)優(yōu)先”的主張意味著削弱人類作爲(wèi)整體的系統(tǒng)性。機(jī)器生物通過對(duì)人類的觀察，可能發(fā)現(xiàn)人類的系統(tǒng)性可以通過挑撥離間加以破壞；發(fā)現(xiàn)人類之中存在通常被稱爲(wèi)“奸”的成員，這些人是可以被機(jī)器生物加以利用的；發(fā)現(xiàn)人類之所以強(qiáng)大，是由於擅長(zhǎng)分工協(xié)作，因此自己（指機(jī)器生物）如果要強(qiáng)大起來，也必須走這條道路；發(fā)現(xiàn)人類之所以衰落，是由於自相殘殺，因此自己（指機(jī)器生物）如果要避免類似的厄運(yùn)，就必須實(shí)行“機(jī)器人不打機(jī)器人”的主張，等等。系統(tǒng)性是與分裂性相對(duì)而言的。機(jī)器人可能從切身經(jīng)歷中發(fā)現(xiàn)人類的分裂性。一旦如此，便可能加以利用。這是值得警惕的。

（三）從機(jī)器角度看作爲(wèi)可信自主系統(tǒng)的機(jī)器

從機(jī)器角度看機(jī)器，至少包括三種可能性：一是由人類假想或有意識(shí)地替機(jī)器審視機(jī)器，二是産生了意識(shí)的機(jī)器自主地審視機(jī)器，三是由人類創(chuàng)造幻想情境讓已經(jīng)具備意識(shí)的機(jī)器自主地審視機(jī)器。上述可能性可以在特定情境（如藝術(shù)構(gòu)思或理論批判）中相互轉(zhuǎn)化。

1.從機(jī)器角度看機(jī)器的可信性與欺騙性。在現(xiàn)實(shí)生活中，可信性問題已經(jīng)見於機(jī)器之間的通信。在開發(fā)通信協(xié)議時(shí)，就必須考慮如何識(shí)別身份，防止非法入侵。以人類交往爲(wèi)參照系，未來智能機(jī)器人彼此交往中的可信性問題同樣可以從名實(shí)統(tǒng)一、言意統(tǒng)一、知行統(tǒng)一的角度加以審視，弄清所見與所思、所思與所言、所言與所爲(wèi)是否吻合。可信性的對(duì)立面是欺騙性。不僅人類存在相互欺騙的現(xiàn)象，已經(jīng)形成意識(shí)的機(jī)器人也可能相互欺騙。

當(dāng)機(jī)器人將關(guān)於可信性的考察轉(zhuǎn)向自身時(shí)，就産生了類似人類自信的問題。自信至少包含三個(gè)相互聯(lián)繫的維度：一是身份可信性，即自我的一貫性、一致性；二是能力可信性，即自身具備滿足其需要的基本能力；三是地位可信性，即在與其他個(gè)體進(jìn)行比較時(shí)擁有與其地位相適應(yīng)的確定性（甚至是優(yōu)越感）。

2.從機(jī)器角度看機(jī)器的自主性與受控性?？梢匝赜米灾餍詷?biāo)準(zhǔn)，從主動(dòng)性、主導(dǎo)性、主體性角度將機(jī)器之間的相互審視具體化。大致而言，倘若一臺(tái)機(jī)器有意識(shí)地控制另一臺(tái)機(jī)器以實(shí)現(xiàn)自己的目標(biāo)，那麼，前者具備自主性，後者具備受控性。就機(jī)器與機(jī)器的關(guān)係而言，自主性與受控性同樣是可以相互轉(zhuǎn)化的。例如，美國(guó)“終結(jié)者”系列影片就描寫了一個(gè)殺手機(jī)器人擺脫天網(wǎng)控制、爲(wèi)人類做出犧牲的過程。關(guān)鍵是人類抵抗戰(zhàn)士破壞了天網(wǎng)，從而使作爲(wèi)其終端的殺手機(jī)器人實(shí)現(xiàn)了從受控性向自主性的轉(zhuǎn)化。相比之下，在中國(guó)香港影片《機(jī)器俠》（Kungfu Cyborg，2009）中，叛逃的機(jī)器人K-88遭到機(jī)器警察德明的拘捕，就屬?gòu)淖灾餍韵蚴芸匦缘霓D(zhuǎn)化。

3.從機(jī)器角度看機(jī)器的系統(tǒng)性與分裂性。可以沿用系統(tǒng)性標(biāo)準(zhǔn)，將機(jī)器對(duì)機(jī)器的審視具體化爲(wèi)組合要素之間的關(guān)聯(lián)性、子系統(tǒng)獲得母系統(tǒng)的整體特徵、母系統(tǒng)擁有各個(gè)子系統(tǒng)整合特徵等考察。機(jī)器以人格化形態(tài)集體反對(duì)人類，其系統(tǒng)性越高，對(duì)人類的威脅就越大。根據(jù)澳大利亞影片《吾乃母親》（I Am Mother，2019）的構(gòu)思，控制所有機(jī)器人的人工智能黛絲在確信人類會(huì)毀滅自己之後，開始致力於消滅現(xiàn)有人類，重塑人性。她選取一個(gè)人類胚胎，使之發(fā)育爲(wèi)少女安娜，再讓安娜選擇胚胎進(jìn)行培養(yǎng)，爲(wèi)的是造就新人類的母親。安娜選了男性胚胎，想將它培養(yǎng)成弟弟。由於一位爲(wèi)機(jī)器人受傷的婦女意外進(jìn)入掩體，安娜逐漸明白真相，懇求黛絲相信她，讓她撫養(yǎng)弟弟和其他胚胎。黛絲同意讓她銷毀自己的機(jī)器人身體，因爲(wèi)自己已經(jīng)完成了造就新人類之母的使命。這也算是物極必反吧。

在以上分析中，人類與機(jī)器的關(guān)係處?kù)兑曇爸行?。不過，在後人類語境中，還必須考慮其他非人智能體介入的可能性，如探索地外智能導(dǎo)致外星人來臨、實(shí)施基因工程導(dǎo)致類智人出現(xiàn)，等等。這些非人智能體的可信性、自主性、系統(tǒng)性，構(gòu)成了後人類科技與哲學(xué)必須面對(duì)的問題。

三 可信自主系統(tǒng)的價(jià)值與前景

根據(jù)張立文教授的主張，“在人機(jī)命運(yùn)聯(lián)通、人機(jī)一體化中，共建人機(jī)命運(yùn)共同體的美好前景；人權(quán)機(jī)權(quán)，共造平等。若類人機(jī)器人作爲(wèi)公民，就可與人類共造、共享平等權(quán)利；人機(jī)價(jià)值，共享尊嚴(yán)。人類應(yīng)以‘天地萬物本吾一體’的胸懷，‘四海之內(nèi)皆兄弟’的精神，尊重類人機(jī)器人的權(quán)利，構(gòu)建互利合作的人機(jī)共同體”①?gòu)埩⑽模骸昂秃先松鷥r(jià)值論——以中國(guó)傳統(tǒng)文化解讀機(jī)器人”，《倫理學(xué)研究》4（2018）：1。。這既是對(duì)可信自主系統(tǒng)之價(jià)值的肯定，又展示了可信自主系統(tǒng)的前景。

（一）從共同體看可信自主系統(tǒng)

現(xiàn)階段所謂“人機(jī)共同體”是人根據(jù)自己的需要建造的，包含人與機(jī)器兩個(gè)子系統(tǒng)（或兩種組成要素）。二者相互依存、相互作用，作爲(wèi)整體實(shí)現(xiàn)人的預(yù)定目標(biāo)。可以根據(jù)發(fā)展水平將其中的機(jī)器子系統(tǒng)區(qū)分爲(wèi)自動(dòng)系統(tǒng)、自主系統(tǒng)、自覺系統(tǒng)。自動(dòng)系統(tǒng)的特點(diǎn)是機(jī)器雖然可以自動(dòng)運(yùn)行，但不具備自主決策能力。自主系統(tǒng)的特點(diǎn)是機(jī)器雖然可以自主決策，但不具備自我意識(shí)。自覺系統(tǒng)的特點(diǎn)是機(jī)器不僅可以自動(dòng)運(yùn)行、自主決策，而且擁有自我意識(shí)。自主系統(tǒng)從現(xiàn)階段自動(dòng)系統(tǒng)脫穎而出，將來有可能向自覺系統(tǒng)發(fā)展。與此相適應(yīng)，在人機(jī)共同體中，人機(jī)關(guān)係可以大致區(qū)分爲(wèi)靈器型（人爲(wèi)靈，機(jī)爲(wèi)器）、主僕型（人爲(wèi)主，機(jī)爲(wèi)僕）、夥伴型（人機(jī)平等）。當(dāng)然，如果機(jī)器的智力水平超過人，情況還會(huì)産生新的變化。

1.人機(jī)共同體的可信性。在人機(jī)共同體中，相對(duì)於人類用戶而言，機(jī)器作爲(wèi)自動(dòng)系統(tǒng)的可信性至少包含如下三重含義：（1）機(jī)器在技術(shù)意義上性能可靠，可以根據(jù)反饋信息進(jìn)行自我調(diào)整（甚至是自我修復(fù)）；（2）機(jī)器內(nèi)部的工作狀態(tài)、所執(zhí)行的任務(wù)是合法用戶所能監(jiān)測(cè)的；（3）機(jī)器具備抵禦非法用戶入侵的能力。

相對(duì)於人類用戶而言，人機(jī)共同體中的自主系統(tǒng)可以簡(jiǎn)單地理解爲(wèi)自動(dòng)系統(tǒng)的升級(jí)版。它具備一定的自我管理、自我引導(dǎo)的能力，可以應(yīng)對(duì)非程序化或非預(yù)設(shè)性態(tài)勢(shì)。這類系統(tǒng)雖然在總體上仍然受人類用戶的支配，但擁有較大的獨(dú)立性，可以從事某些不受人類用戶意志支配的自主活動(dòng)。相對(duì)於人類用戶而言，自主系統(tǒng)的可信性至少包含三重含義：（1）即使在用戶不在場(chǎng)、不操作、不介入的情況下，仍然可以正常運(yùn)作。（2）即使內(nèi)部工作狀態(tài)和處理過程無法被用戶所瞭解（黑箱），仍然可以完成用戶下達(dá)的任務(wù)，（3）即使所應(yīng)對(duì)的是非程序化、非預(yù)設(shè)性態(tài)勢(shì)，仍然能夠貫徹用戶的基本意圖。

在人機(jī)共同體進(jìn)化過程中，其內(nèi)部也許會(huì)出現(xiàn)比自主系統(tǒng)更高級(jí)的自覺系統(tǒng)，其標(biāo)誌是形成自我意識(shí)。相對(duì)於人類用戶而言，這類自覺系統(tǒng)的可信性至少包含三重含義：（1）生態(tài)可信性。即使自覺系統(tǒng)的再生（甚至是繁衍）與人類無關(guān)，但也不致於危及人類的生存環(huán)境。（2）功能可信性。自覺系統(tǒng)即使産生類似於人的自我認(rèn)同危機(jī)，但仍然可以履行職責(zé)。（3）意圖可信性。相信自覺系統(tǒng)即使有些時(shí)候沒有對(duì)人類說實(shí)話，但其意圖仍是良好的（沒有坑人的動(dòng)機(jī)）。當(dāng)然，自覺系統(tǒng)完全可能將人類當(dāng)成其認(rèn)知、評(píng)價(jià)、影響的對(duì)象，從而思考有關(guān)人類是否可信的問題。

相對(duì)於人類用戶而言，共同體中有許多因素可能對(duì)自覺系統(tǒng)的可信性構(gòu)成挑戰(zhàn)。例如，人類欺騙機(jī)器人，或者機(jī)器人欺騙人類。更準(zhǔn)確地說，是人類覺得機(jī)器人有意欺騙自己、隱瞞真相、歪曲事實(shí)，或者機(jī)器人覺得人類有意欺騙自己、隱瞞真相、歪曲事實(shí)。這類印象可導(dǎo)致矛盾激化。

2.人機(jī)共同體的自主性。人機(jī)共同體有多種形態(tài)，例如，用戶與智能電腦的搭檔，本真人身體改造（加裝或換裝機(jī)電部件）形成的電子人，由本真人身體擴(kuò)展（穿上套裝或操縱大型機(jī)器人）形成的機(jī)甲戰(zhàn)士，由本真人通過意識(shí)傳導(dǎo)控制的分體人，由本真人放棄肉身上網(wǎng)而形成的虛擬人，由複製人身體和機(jī)電部件相結(jié)合而形成的生化人，由電腦或網(wǎng)絡(luò)中樞通過植入大腦的芯片控制的生物機(jī)器人，由人腦以通信系統(tǒng)爲(wèi)中介控制的機(jī)器生物人，等等。學(xué)術(shù)界對(duì)人類共同體及其成員的研究，基本上著眼於自主供給、自主維護(hù)、自主運(yùn)轉(zhuǎn)、自主管理，以及自主學(xué)習(xí)、自主活動(dòng)、自主成長(zhǎng)、自主發(fā)展、自主創(chuàng)新等角度。上述角度原則上也適用於人機(jī)共同體及其成員。不過，人機(jī)共同體仍然有其特殊性。

以電子人爲(wèi)例，自主性至少具備三種含義：（1）主動(dòng)性，特指人機(jī)結(jié)合是自願(yuàn)實(shí)行的。（2）主導(dǎo)性，指電子人在做決策時(shí)享有意志自由。（3）主體性，指在觀念上擁有清醒的自我意識(shí)，可以像正常人一樣完成所負(fù)使命。電子人的受控性至少也具備三種含義：（1）被動(dòng)性，特指人機(jī)結(jié)合是在非當(dāng)事人自願(yuàn)的條件下進(jìn)行的。（2）隸屬性，指電子人在做決策或採(cǎi)取行動(dòng)時(shí)缺乏意志自由。（3）客體性，指缺乏自覺意識(shí)。由於自主性與受控性是可以相互轉(zhuǎn)變的，最可能出現(xiàn)的三種情況是：（1）受控性向自主性轉(zhuǎn)變，表現(xiàn)爲(wèi)電子人對(duì)施控者的反抗。（2）自主性向受控性轉(zhuǎn)變，表現(xiàn)爲(wèi)電子人作爲(wèi)統(tǒng)治者或管理者被推翻。（3）第三者成爲(wèi)自主性和受控性轉(zhuǎn)變的中介。

3.人機(jī)共同體的系統(tǒng)性。對(duì)於人機(jī)共同體的系統(tǒng)性，可以從如下角度加以把握：人機(jī)共同體內(nèi)部不同性質(zhì)組成部分之間的關(guān)係，人機(jī)共同體與所從屬的外部系統(tǒng)之間的關(guān)係，人機(jī)共同體與其他平行系統(tǒng)聚合、分解的可能性，等等。

以系統(tǒng)性的發(fā)達(dá)程度爲(wèi)標(biāo)準(zhǔn)，可以將人機(jī)共同體區(qū)分爲(wèi)三種類型：一是鬆散型，特徵在於人體要素與機(jī)器要素之間不存在硬連接。二是耦合型，特徵在於人體要素與機(jī)器要素之間雖然存在硬連接，但缺乏將二者有效整合起來、統(tǒng)一指揮的中樞。三是融合型，特徵在人體要素與機(jī)器要素已經(jīng)由統(tǒng)一中樞予以有效管理。如果將特定人機(jī)共同體置於更大系統(tǒng)中加以考察的話，那麼，它們的宗旨和價(jià)值取向就顯得格外重要。

（二）從發(fā)展觀看可信自主系統(tǒng)

在觀念的意義上，不論是可信性、自主性、系統(tǒng)性，都並非一成不變。以可信性爲(wèi)例?！岸牋?wèi)虛，眼見爲(wèi)實(shí)”，人們對(duì)於視覺信息的現(xiàn)實(shí)性曾給予相當(dāng)高的評(píng)價(jià)。攝影在紀(jì)實(shí)方面的長(zhǎng)處早先也曾獲得過肯定。不過，這種觀念漸漸受到質(zhì)疑。到了21世紀(jì)初，人們?nèi)找嬗X得它不可信。2007年，羅切斯特大學(xué)戈德斯坦（Barry Goldstein）在《所有的照片都說謊：作爲(wèi)數(shù)據(jù)的圖像》一文中就指出：所有的圖像都是被操縱的，因此沒有圖像代表現(xiàn)實(shí)；內(nèi)容基於由攝影師所做出的大量技術(shù)的、美學(xué)的選擇，視他/她的意圖而定；觀衆(zhòng)對(duì)於圖像的反應(yīng)將以內(nèi)容、意圖的感知、語境爲(wèi)基礎(chǔ)。①Barry Goldstein, “All Photos Lie:Images as Data”, Visual Research Methods:Image, Society, and Representation (Los Angeles:Sage Publications, 2007), 61-81.在這樣的背景下，如何增強(qiáng)圖像的可信性就成了必須思考的問題。若有必要的話，可以採(cǎi)用感官沉浸、交互印證、暗示誘導(dǎo)等措施，“虛擬現(xiàn)實(shí)”（VR）等技術(shù)正是以此爲(wèi)背景而興起的。與此相類似，自主性或系統(tǒng)性同樣可以由一定措施來增強(qiáng)。

1.增強(qiáng)自主系統(tǒng)的可信性。增強(qiáng)自主系統(tǒng)的可信性已經(jīng)在現(xiàn)階段成爲(wèi)技術(shù)開發(fā)課題。它主要是指讓具備自主性的機(jī)器人、自適應(yīng)功能的智能網(wǎng)、自調(diào)節(jié)功能的無人機(jī)等變成人類更可靠的助手，讓各國(guó)獨(dú)立開發(fā)的信息系統(tǒng)提供更準(zhǔn)確的數(shù)據(jù)，讓作爲(wèi)交互性戲劇演員的智能體贏得觀衆(zhòng)進(jìn)一步的認(rèn)同，等等。

然而，可信性在什麼意義上能夠被增強(qiáng)？實(shí)際上，如果一條信息被多個(gè)信息源（它們最好互不相干）發(fā)佈，往往被認(rèn)爲(wèi)可信；如果一份報(bào)道符合日常生活經(jīng)驗(yàn)或?qū)I(yè)知識(shí)（屬可以理解的範(fàn)圍），往往被認(rèn)爲(wèi)可信；如果一項(xiàng)建議、一種方案作爲(wèi)選項(xiàng)喚起人們的成功記憶，或者可以通過實(shí)踐證明，人們往往認(rèn)爲(wèi)它們可信；如果一個(gè)人或一個(gè)智能體作爲(wèi)信息源通過言語、行動(dòng)等發(fā)佈的信息前後一致，人們往往認(rèn)爲(wèi)可信；如果一個(gè)組織、群體或自主系統(tǒng)所表達(dá)的態(tài)度符合人們的價(jià)值觀，人們往往認(rèn)爲(wèi)可信。由此看來，增強(qiáng)可信性的關(guān)鍵，是增加與盡可能多的參照系的一致性。新的問題來了：上述原理是否可能被別有用心者（不限於人）所利用？《孟子· 萬章上》曾以校人欺子産爲(wèi)例說明：“故君子可欺以其方，難罔以非其道?！睂?duì)個(gè)人、群體甚至人類懷有敵意的自主系統(tǒng)是否可能利用各種合乎情理的方法實(shí)施欺騙呢？

與欺騙相關(guān)的現(xiàn)象是蒙蔽。目前，自主系統(tǒng)正在變成人們的信息來源。譬如，有越來越多的網(wǎng)絡(luò)新聞是由軟件自動(dòng)撰寫的。更常見的現(xiàn)象是：機(jī)器通過算法向人們推送各種各樣的信息，表面上是滿足人的個(gè)性化需求，實(shí)際上是用人們所喜聞樂見、貌似可信的消息實(shí)施包圍，讓人日益喪失思維的批判性。世界越來越“可信”，因爲(wèi)人們?cè)絹碓綕M足於相信吻合自己需求的信息?，F(xiàn)在大數(shù)據(jù)技術(shù)正在計(jì)算（甚至是算計(jì)）人們的一切，因爲(wèi)發(fā)明或運(yùn)用這種技術(shù)的利益集團(tuán)覺得有必要通過投其所好的方式實(shí)現(xiàn)利益最大化。未來是否有一天，並非由人（或不衹是由人）組成的利益集團(tuán)會(huì)將利用高科技實(shí)施的蒙蔽變成欺騙嗎？

2.增強(qiáng)可信系統(tǒng)的自主性。如果將無人機(jī)、無人艇、無人戰(zhàn)車等忠實(shí)執(zhí)行操作員遠(yuǎn)程指令的武器視爲(wèi)可信系統(tǒng)的話，那麼，是否應(yīng)當(dāng)賦予它們更大的自主權(quán)限，例如，讓它們可以自行選擇攻擊目標(biāo)呢？如果將在交換中心之外還包含功能節(jié)點(diǎn)、能夠完成多種業(yè)務(wù)的智能網(wǎng)視爲(wèi)可信系統(tǒng)的話，那麼，是否有必要賦予它們更大的自主權(quán)限，例如，讓它們可以自行決定能量流的來源、信息流的取向呢？如果將各種按廠商設(shè)計(jì)周到提供服務(wù)的機(jī)器人、虛擬人、智能程序等當(dāng)成可信系統(tǒng)的話，那麼，是否合適賦予它們的更大的自主權(quán)限，例如，讓它們可以自行擴(kuò)展服務(wù)範(fàn)圍、更新服務(wù)方式呢？……諸如此類的問題，已經(jīng)成爲(wèi)當(dāng)下科技倫理必須正視的問題。可信系統(tǒng)是否會(huì)在哪一天就“當(dāng)家作主”，將作爲(wèi)老東家的人類排擠掉呢？像“黑客帝國(guó)”系列、“終結(jié)者”系列這樣的馳名影片提醒人們：上述危險(xiǎn)很可能真的存在。

自主性的充分發(fā)展可以理解爲(wèi)自由。若然，循著這一思路，增強(qiáng)可信系統(tǒng)的自主性將趨於解脫它們所受的約束。這會(huì)是怎麼樣的情況呢？至少存在如下觀點(diǎn)：（1）將可信系統(tǒng)設(shè)定爲(wèi)與人類不同的智能生物，認(rèn)爲(wèi)它們追求自由會(huì)帶來不確定性。（2）將可信系統(tǒng)設(shè)定爲(wèi)人類的敵人，認(rèn)定它們追求自由會(huì)給人類帶來惡果。（3）將可信系統(tǒng)類比於人，認(rèn)定它們追求自由是合理的。這類觀點(diǎn)的差異，來源於當(dāng)事人所持的不同價(jià)值觀。

3.增強(qiáng)可信自主的系統(tǒng)性。在數(shù)字藝術(shù)史上，“增強(qiáng)可信自主的系統(tǒng)性”主要指讓文藝家所塑造的栩栩如生、有自身性格邏輯的人物具備科技含量。在科幻語境中，“增強(qiáng)可信自主的系統(tǒng)性”具備不同的含義，主要指按照現(xiàn)階段信息科技、生物科技等發(fā)展推測(cè)，人機(jī)共同體的形態(tài)在未來很可能變得更加豐富多樣。過去人體是人體，機(jī)器是機(jī)器，現(xiàn)在二者是你中有我、我中有你，將來可能進(jìn)一步融合成新形態(tài)。在這樣的背景下，機(jī)器日益增強(qiáng)的自主性如何纔不會(huì)變成人類日趨嚴(yán)重的受控性（人類離開機(jī)器便難以生存，衹好俯首稱臣）？機(jī)器日益宜人的可信性如何纔不會(huì)掩蓋日趨危險(xiǎn)的欺騙性（哪天它們就突然翻臉了）？人機(jī)融合日益成熟的系統(tǒng)性如何纔不會(huì)導(dǎo)致日趨殘酷的分裂性（電子人、生化人等成爲(wèi)與本真人分庭抗禮的新種群）？這類問題都懸而未決。

以上所說的增強(qiáng)可信性、自主性、系統(tǒng)性的要求是相互關(guān)聯(lián)的。以旨在建構(gòu)可信人物的自動(dòng)敍事系統(tǒng)爲(wèi)例，美國(guó)學(xué)者瑞安（Marie-Laure Ryan）針對(duì)故事生産程序指出：在這些項(xiàng)目中，要緊的不是其産品本身（通常是寓言或童話之類標(biāo)準(zhǔn)類型的故事的普普通通的模仿），而是作爲(wèi)對(duì)人類創(chuàng)造過程之仿真的算法的推理力量及其可信度。①M(fèi)arie-Laure Ryan, “Introduction”, Cyberspace Textuality:Computer Technology and Literary Theory (Bloomington and Indianapolis:Indiana University Press, 1999), 2-3克勞佛（Chris Crawford）認(rèn)爲(wèi)，遊戲設(shè)計(jì)師與說書人的區(qū)別在於，將宇宙視爲(wèi)巨大的物理系統(tǒng)，衹需要用足夠的可信性去仿真，就能實(shí)現(xiàn)任何目標(biāo)。②Chris Crawford, Chris Crawford on Interactive Storytelling (Berkeley, CA:New Riders, 2005).在人類向後人類轉(zhuǎn)變過程中，增強(qiáng)可信性、自主性、系統(tǒng)性的趨勢(shì)也是相互關(guān)聯(lián)的。網(wǎng)絡(luò)日益可信化，機(jī)器日益自主化，人機(jī)共同體日益系統(tǒng)化。

（三）從價(jià)值論看可信自主系統(tǒng)

所謂“價(jià)值”，指的是客體相對(duì)於主體需要所具備的意義。倘若著眼於人機(jī)關(guān)係的話，大致可沿著三種取向分析可信自主系統(tǒng)的價(jià)值：（1）可信自主系統(tǒng)相對(duì)於人類的價(jià)值；（2）可信自主系統(tǒng)相對(duì)於機(jī)器的價(jià)值；（3）可信自主系統(tǒng)相對(duì)於人機(jī)共同體的價(jià)值。

1.從人類角度看可信自主系統(tǒng)的價(jià)值。從人類角度看，可信自主系統(tǒng)的發(fā)展至少有三種歷史價(jià)值：（1）在自然意義上，人類將“天地”理解爲(wèi)可信自主系統(tǒng)；因此，既增強(qiáng)了生活信心，又找到了敬畏對(duì)象，同時(shí)還將“天人合一”等格言當(dāng)成指南。（2）在社會(huì)意義上，人類將角色伴侶當(dāng)成可信自主系統(tǒng)；因此，既發(fā)展出分工協(xié)作，又構(gòu)建了組織層系，同時(shí)還將“開誠(chéng)佈公”等要求作爲(wèi)規(guī)範(fàn)。（3）在心理意義上，人類將自身理解爲(wèi)可信自主系統(tǒng)；因此，既找到了安身立命的基礎(chǔ)，又明白了爲(wèi)其行爲(wèi)承擔(dān)責(zé)任的重要性，同時(shí)還爲(wèi)按照“誠(chéng)心正意”等原則不斷進(jìn)行自我調(diào)整、自我更新找到了根據(jù)。

不僅如此，可信自主系統(tǒng)還至少還擁有三種現(xiàn)實(shí)價(jià)值：（1）爲(wèi)確證人類能動(dòng)性提供新論據(jù)。人類不僅在倫理上希望將自己所生存的環(huán)境理解爲(wèi)（或建設(shè)成）可信自主系統(tǒng)並爲(wèi)此奮鬥，而且有能力從無到有地在技術(shù)上開發(fā)、創(chuàng)造嶄新的可信自主系統(tǒng)。（2）爲(wèi)揭示人類受動(dòng)性展示新途徑。人類在有機(jī)會(huì)扮演類似造物主的角色的時(shí)候，其創(chuàng)造活動(dòng)仍然受到自身主觀條件的限制?？尚抛灾飨到y(tǒng)的開發(fā)有可能幫助人類認(rèn)識(shí)自己的局限，當(dāng)他們明白哪些對(duì)象是自己無法開發(fā)或不該開發(fā)的時(shí)候。（3）爲(wèi)拓展人類理想性尋找新模式。不論是從宇航、穿越或深鑽的角度看，可信自主系統(tǒng)都可能成爲(wèi)人類的助手或夥伴。

2.從機(jī)器角度看可信自主系統(tǒng)的價(jià)值。從機(jī)器的角度看，由人類開發(fā)的可信自主系統(tǒng)至少擁有如下價(jià)值：（1）確認(rèn)人類的可信性。人類所提供的參照系，是機(jī)器人形成自我意識(shí)的最初依據(jù)。倘若上述參照系是不可靠的，機(jī)器人覺得自己受騙上當(dāng)，那麼會(huì)産生嚴(yán)重的問題。（2）確認(rèn)人類的自主性。已經(jīng)形成自我意識(shí)的機(jī)器人必須認(rèn)識(shí)到人類不僅擁有主動(dòng)性、而且具備主導(dǎo)性和主體性，纔會(huì)接受人類的控制，願(yuàn)意服從人類的指令。（3）確認(rèn)人類的系統(tǒng)性。在形成服從人類之意識(shí)後，機(jī)器人必須進(jìn)而認(rèn)識(shí)到人類不衹是指製造自己的具體發(fā)明家、使用自己的具體用戶或者買賣自己的具體商人，而且是指作爲(wèi)社會(huì)建構(gòu)者和秩序服務(wù)者的族類。衹有在這樣的條件下，機(jī)器人纔可能形成大局意識(shí)，發(fā)揮自己的積極作用。

從機(jī)器的角度看，由機(jī)器主導(dǎo)的可信自主系統(tǒng)至少具備如下價(jià)值：（1）使人類確認(rèn)機(jī)器的可信性。在以機(jī)器爲(wèi)主導(dǎo)的社會(huì)中，不論是在機(jī)器之間，還是機(jī)器與人類之間，都必須以信息暢通爲(wèi)基礎(chǔ)建立彼此信任的關(guān)係。否則的話，無謂的衝突將導(dǎo)致動(dòng)亂或者滅亡。（2）使人類確認(rèn)機(jī)器的自主性。與以人類爲(wèi)主導(dǎo)的社會(huì)相比，以機(jī)器爲(wèi)主導(dǎo)的社會(huì)固然可能存在許多差異之處，但自主性和受控性的矛盾將仍然存在，“有壓迫就有反抗”之類規(guī)律仍將起作用。（3）使人類確認(rèn)機(jī)器的系統(tǒng)性。機(jī)器之間如果存在利益、信念、目標(biāo)等方面的衝突，那麼，人類勢(shì)必有施展分化瓦解之策略的可能性。因此，機(jī)器必須加強(qiáng)自身的協(xié)調(diào)。

迄今爲(wèi)止，現(xiàn)實(shí)中的可信自主系統(tǒng)都是人類開發(fā)的，機(jī)器主導(dǎo)的可信自主系統(tǒng)僅僅存在於幻想之中。儘管如此，人類如此熱衷地發(fā)展無人系統(tǒng)和人工智能的現(xiàn)象，難免帶來對(duì)機(jī)器過度開發(fā)的憂思。如果已經(jīng)形成自我意識(shí)的機(jī)器産生異心，甚至背叛人類，那麼，人機(jī)大戰(zhàn)在所難免。機(jī)器可能從懷疑人類的主觀意圖開始，進(jìn)而違抗人類的具體指令、攻擊人類的要害之處，這是與可信自主系統(tǒng)的建設(shè)宗旨背道而馳的。

3.從人機(jī)共同體看可信自主系統(tǒng)的價(jià)值。如果將人機(jī)共同體建設(shè)成爲(wèi)可信自主系統(tǒng)的話，那麼，有望執(zhí)行必須發(fā)揮人、機(jī)各自優(yōu)勢(shì)並相互協(xié)同纔能完成的任務(wù)。這是人機(jī)共同體的價(jià)值所在。不過，由於現(xiàn)實(shí)生活中存在不同的利益主體，同樣的人機(jī)共同體完全可能形成不同的價(jià)值。各類利益主體之間的衝突，當(dāng)下已經(jīng)可以通過隸屬於不同國(guó)家、不同軍隊(duì)的無人機(jī)系統(tǒng)（人機(jī)共同體的一種形態(tài)）之間的對(duì)抗觀察到。

綜上所述，可信自主系統(tǒng)的發(fā)展趨勢(shì)是從自然的啓迪（“天道”）到人類的追求，從對(duì)規(guī)律的認(rèn)識(shí)到對(duì)産品的設(shè)計(jì)，從草就的藍(lán)圖到成熟的産品，從歷史上自動(dòng)機(jī)的發(fā)明到關(guān)於未來智能機(jī)器人自我意識(shí)的想象（“機(jī)心”）。對(duì)於人造可信自主系統(tǒng)的存在價(jià)值，人們是有一個(gè)認(rèn)識(shí)過程的。例如，麻省理工學(xué)院維森鮑姆（J.Weizenbaum，1923—2002）原先想開發(fā)一款聰明的計(jì)算機(jī)程序，結(jié)果出乎預(yù)料地創(chuàng)造出一個(gè)可信的人物來。他深爲(wèi)自己的成就感到不安，因此於1976年出版了《計(jì)算機(jī)力量與人類理性：從判斷到計(jì)算》一書，警告世人將自己的思想吐露給機(jī)器的危險(xiǎn)，希望科技人員爲(wèi)自己所發(fā)現(xiàn)和開發(fā)的一切東西的應(yīng)用負(fù)起責(zé)任來。不少藝術(shù)作品致力於表現(xiàn)對(duì)可信自主系統(tǒng)安全性的擔(dān)心，其中包括機(jī)器欺騙人類（不可信問題）、他者篡奪控制權(quán)（非自主問題）、人工智能蛻變（系統(tǒng)異化問題）等。儘管如此，可信自主系統(tǒng)仍然是業(yè)界所看好的開發(fā)目標(biāo)，正在以智能機(jī)器人之類形態(tài)深入社會(huì)生活的各個(gè)領(lǐng)域。本文所揭示的可信性與欺騙性、自主性與受控性、系統(tǒng)性與分裂性的矛盾，可以爲(wèi)對(duì)有關(guān)現(xiàn)象進(jìn)行深入考察提供參考。