尹 恒

作為人的本質(zhì)力量對(duì)象化的最新產(chǎn)物，人工智能與人有著千絲萬縷的聯(lián)系。一方面，人工智能的發(fā)展進(jìn)程體現(xiàn)了人類思維活動(dòng)的變化過程，人工智能的行為模式與人類自身的發(fā)展需求、價(jià)值定位、文化背景等息息相關(guān)；另一方面，擬人化的行為特征使得人工智能相較以往任何一次技術(shù)革命，將對(duì)人類現(xiàn)有的生活生產(chǎn)方式造成更為劇烈的沖擊，從而導(dǎo)致人類社會(huì)關(guān)系的深刻變革和調(diào)整。在軍事領(lǐng)域，人工智能的出現(xiàn)將對(duì)現(xiàn)有作戰(zhàn)基本方式和軍隊(duì)組織結(jié)構(gòu)產(chǎn)生顛覆式影響，人在軍事活動(dòng)中的主體地位也會(huì)隨之受到?jīng)_擊，在這樣的情況下，如何最大限度消除人工智能對(duì)軍事活動(dòng)參與者的不利影響，使其受人控制、為人所用、引人向善，將成為人工智能軍事應(yīng)用倫理研究的重中之重。

機(jī)器替代人導(dǎo)致的價(jià)值缺失

開發(fā)人工智能的初衷是讓人從繁重、繁瑣的程序性工作中解放出來，在為社會(huì)創(chuàng)造巨大生產(chǎn)力的同時(shí)使人獲得更多的自由時(shí)間。與此同時(shí)，人工智能的大面積應(yīng)用也將擠占大量工作崗位，造成社會(huì)普遍失業(yè)現(xiàn)象。人工智能在軍事領(lǐng)域的應(yīng)用同樣可能導(dǎo)致類似問題的出現(xiàn)。相較于軍隊(duì)人員，人工智能在情報(bào)獲取、決策支持、特種戰(zhàn)斗等方面都有著更為穩(wěn)定和可靠的表現(xiàn)，無論是從經(jīng)濟(jì)效益還是戰(zhàn)斗力生成的角度來審視，都有著更為明顯的優(yōu)勢(shì)。而一旦人工智能在軍事領(lǐng)域廣泛應(yīng)用，原有屬人的職能將被不同程度替代，軍人群體將不可避免地面臨自我認(rèn)同危機(jī)。現(xiàn)代社會(huì)轉(zhuǎn)型對(duì)自我認(rèn)同的侵入是通過對(duì)日常生活、權(quán)威系統(tǒng)（專家系統(tǒng)）、文化思想系統(tǒng)的解構(gòu)從而威脅到個(gè)體本體安全的方式進(jìn)行的。由于軍隊(duì)特殊的職能任務(wù)，軍隊(duì)內(nèi)部環(huán)境具有相對(duì)封閉性，這就使得軍隊(duì)內(nèi)部人員在接收外部社會(huì)環(huán)境變化釋放的信息時(shí)具有一定的滯后性。軍人自我身份的構(gòu)建在很大程度上依賴于國家和社會(huì)對(duì)于這個(gè)群體的評(píng)價(jià)，一般情況下，軍人離開軍隊(duì)時(shí)出現(xiàn)的不適應(yīng)狀況往往能通過國家的政策指引和社會(huì)的接納吸收得到有效緩解。而每當(dāng)社會(huì)出現(xiàn)重大轉(zhuǎn)型時(shí)，巨大的軍轉(zhuǎn)再就業(yè)需求往往會(huì)超出社會(huì)的承載能力，致使一部分軍轉(zhuǎn)人員得不到妥善安置，從而產(chǎn)生自我認(rèn)同危機(jī)。人工智能在推動(dòng)社會(huì)由信息化、數(shù)字化向智能化轉(zhuǎn)型的同時(shí)，也會(huì)引起軍隊(duì)在人員結(jié)構(gòu)上的“大換血”。一大批知識(shí)技能相對(duì)較弱的軍隊(duì)人員將面臨被人工智能“淘汰出局”的窘境，當(dāng)社會(huì)的轉(zhuǎn)型需要與他們的能力狀況不相符合時(shí)，就必然會(huì)出現(xiàn)沖突和矛盾。這部分人群可能被社會(huì)無意識(shí)地邊緣化，產(chǎn)生被拋棄、被遺棄的感覺和沮喪、失落，甚至悲觀、厭世的消極情緒，成為社會(huì)的不穩(wěn)定因素。

對(duì)于仍然留在軍隊(duì)中的人員，也同樣面臨著如何與人工智能共處的困擾。人工智能在軍事上的應(yīng)用，將使人機(jī)關(guān)系由單純意義上的從屬關(guān)系過渡為特定場(chǎng)景下的共存和協(xié)作。人工智能作為整個(gè)指揮鏈條的關(guān)鍵環(huán)節(jié)緊密嵌入其中，充當(dāng)不同指揮層級(jí)之間的橋梁和紐帶。參謀人員將輔助決策的職能讓渡給人工智能，戰(zhàn)斗人員將從作戰(zhàn)執(zhí)行端轉(zhuǎn)移到控制端，具體作戰(zhàn)任務(wù)將由智能化無人系統(tǒng)自主或半自主地實(shí)施。從微觀層面看，軍隊(duì)人員原有的工作任務(wù)被人工智能部分或全部地代替，在解放體力和腦力的同時(shí)也會(huì)導(dǎo)致自我價(jià)值和認(rèn)同感的弱化，這樣的問題長(zhǎng)期無法得到解決，必然會(huì)滋生一系列心理問題，從而對(duì)軍隊(duì)和社會(huì)安全產(chǎn)生影響。從宏觀層面看，軍隊(duì)傳統(tǒng)的價(jià)值體系在人工智能的沖擊下面臨調(diào)整和重塑，勇氣、榮譽(yù)等傳統(tǒng)武德，隊(duì)列、體能等軍人基本養(yǎng)成模式呈現(xiàn)邊緣化、形式化的趨勢(shì)。這在一定程度上削弱了軍隊(duì)的集體凝聚力和向心力，造成軍人群體的歸屬感缺失，各種形式的違紀(jì)違規(guī)行為將變得更容易發(fā)生。

人工智能可以使人們從繁重的程序性工作中解放出來

機(jī)器殺戮人引發(fā)的道德危機(jī)

縱覽人類歷史，但凡發(fā)生戰(zhàn)爭(zhēng)，總免不了人員傷亡，其中既包括戰(zhàn)斗人員傷亡，也包括附帶的非戰(zhàn)斗人員傷亡。隨著人類社會(huì)文明程度的提升，人們開始越來越多地關(guān)注戰(zhàn)爭(zhēng)中的人員傷亡情況。一方面，各類精確制導(dǎo)武器的出現(xiàn)使得戰(zhàn)爭(zhēng)可以在更短時(shí)間、更小范圍、更低傷亡的情況下進(jìn)行；另一方面，各類國際法的出現(xiàn)也對(duì)戰(zhàn)爭(zhēng)的限度進(jìn)行了規(guī)定，并突出對(duì)非戰(zhàn)斗人員的保護(hù)。1977年的《日內(nèi)瓦公約第一附加議定書》《日內(nèi)瓦公約第二附加議定書》以及隨后的各種形式的武器法均對(duì)于保護(hù)平民在軍事行動(dòng)中免受傷害進(jìn)行了具體規(guī)定，而從現(xiàn)代戰(zhàn)爭(zhēng)的演變趨勢(shì)來看，各國在開展軍事行動(dòng)時(shí)也都不同程度地受到這一基本原則的規(guī)制和約束。人工智能的出現(xiàn)使得情況變得復(fù)雜起來：人工智能不同于普通士兵，也與傳統(tǒng)意義上的常規(guī)武器有著本質(zhì)的區(qū)別，當(dāng)戰(zhàn)場(chǎng)上的人工智能錯(cuò)誤地對(duì)平民和非軍事目標(biāo)發(fā)動(dòng)攻擊，造成非戰(zhàn)斗人員傷亡，是否屬于對(duì)區(qū)分原則的破壞和對(duì)人權(quán)的侵害？

一些人認(rèn)為，人工智能在戰(zhàn)場(chǎng)中能夠更加遵守原則

國外學(xué)術(shù)界圍繞這一話題展開了激烈討論，其中兩位該領(lǐng)域權(quán)威專家的意見基本上代表了對(duì)于在戰(zhàn)場(chǎng)上應(yīng)用人工智能態(tài)度的兩極：羅納德·阿爾金認(rèn)為，自主武器系統(tǒng)不會(huì)被恐懼或憤怒等情緒所左右，這些情緒通常會(huì)促使人類做出不道德的行為。與人類士兵相比，致命性自主武器系統(tǒng)在戰(zhàn)場(chǎng)上的表現(xiàn)可能更符合倫理要求。羅伯特·斯派洛則指出在復(fù)雜的城市環(huán)境中，自主武器系統(tǒng)難以滿足區(qū)分原則和比例原則的要求，尤其是在敵軍投降或其它復(fù)雜情況下，無法正確區(qū)分合法與非法目標(biāo)，甚至有可能直接攻擊俘虜和平民，因此是不道德的。通過歸納，可以得出雙方的基本論點(diǎn)如下：支持方認(rèn)為，由于人工智能不具備做出過激反應(yīng)的生理結(jié)構(gòu)，在使用時(shí)能更好的地符合比例原則。反對(duì)方則認(rèn)為，由于人工智能無法像人一樣通過直覺運(yùn)用常識(shí)進(jìn)行判斷，在復(fù)雜情境下必然會(huì)出現(xiàn)誤判，從而錯(cuò)誤發(fā)動(dòng)攻擊。

借用倫理學(xué)領(lǐng)域的著名思想實(shí)驗(yàn)“電車難題”，可以對(duì)該問題有一個(gè)更為明晰的認(rèn)識(shí)。電車難題的經(jīng)典版本是這樣的：一輛電車失去控制，正高速?zèng)_向五個(gè)無法移動(dòng)的人。軌道旁邊有一個(gè)操縱桿，如果拉動(dòng)操縱桿，電車將轉(zhuǎn)向另一條軌道，那里只有一個(gè)人（同樣無法移動(dòng)）。如果拉動(dòng)操縱桿，你會(huì)殺死一個(gè)人，但會(huì)拯救五個(gè)人。那么，你拉還是不拉？

功利主義認(rèn)為，五個(gè)人的生命要比一個(gè)人的生命更加重要，因此拉動(dòng)操縱桿是在這種情境下最不壞的選擇。道德義務(wù)論則認(rèn)為，一個(gè)人只要沒有犯錯(cuò)，就不得為了任何目的以任何理由對(duì)其施加懲罰，根據(jù)實(shí)踐純粹理性的命令，不得改變電車原有行駛路線。但仔細(xì)分析，二者都存在缺陷。對(duì)于功利主義來說，忽略了一個(gè)前提，那就是電車本來行駛在撞向五個(gè)人的軌道上，而其余的那個(gè)人是絕對(duì)安全的，因此，即便從量的角度看五個(gè)人的生命之和要高于一個(gè)人的生命，也并不能成為改道的直接理由。對(duì)于道德義務(wù)論來說，不拉動(dòng)操縱桿，會(huì)導(dǎo)致五個(gè)人被撞死，而這五個(gè)人同樣是沒有犯錯(cuò)的，那么罪責(zé)相等原則又如何體現(xiàn)？尤其是，當(dāng)電車難題中兩條軌道的人數(shù)比變化為10:1、100:1、1000:1，那么仍然堅(jiān)持原有的選擇會(huì)不會(huì)是對(duì)道德義務(wù)的一種執(zhí)念？

回到人工智能在戰(zhàn)場(chǎng)中的場(chǎng)景，會(huì)發(fā)現(xiàn)二者的相似之處。支持一方類似于電車難題中的功利主義者，反對(duì)一方則更接近電車難題中的道德義務(wù)論者。而希望電車難題中無法解決的問題在人工智能軍事應(yīng)用倫理領(lǐng)域找到答案，顯然是不現(xiàn)實(shí)的。另外，電車難題只是一種高度抽象的倫理模型，在現(xiàn)實(shí)中不可能找到完全還原的情境。同樣，關(guān)于人工智能是否該在戰(zhàn)場(chǎng)上使用的兩派論點(diǎn)也是基于高度理想化場(chǎng)景的極端假設(shè)，是一種靜態(tài)思維的體現(xiàn)。馬克思主義哲學(xué)認(rèn)為，一切事物都是在不斷運(yùn)動(dòng)變化中的，事物不同狀態(tài)的飛躍必須經(jīng)過量的積累，后一階段的某些特征已經(jīng)潛在地包含在前一階段中?；氐浆F(xiàn)實(shí)，不難發(fā)現(xiàn)，無人機(jī)已經(jīng)開始在戰(zhàn)場(chǎng)上大面積使用，那么無人機(jī)是更接近人工智能還是更接近傳統(tǒng)機(jī)械化裝備？至少從技術(shù)層面來看，很難給出確切的答案。筆者認(rèn)為，與其靜態(tài)地討論該不該發(fā)展人工智能軍事應(yīng)用，不如動(dòng)態(tài)地把握如何規(guī)制人工智能軍事應(yīng)用。把人類武器形態(tài)發(fā)展變化作為一個(gè)整體，辯證地看待不同武器形態(tài)之間的內(nèi)在聯(lián)系，使其沿著更為人道、更加安全的方向前進(jìn)，才是當(dāng)前最緊迫的課題。

人對(duì)機(jī)器依賴加深下的隱憂

機(jī)器大工業(yè)時(shí)期，資本自我增值的需要使生產(chǎn)者從行會(huì)的控制和學(xué)徒、幫工制度的約束下解放出來的同時(shí)，將其拋入除了自身的勞動(dòng)力之外沒有任何東西可以出賣的境地。社會(huì)必要?jiǎng)趧?dòng)時(shí)間隨著機(jī)器的引入大幅降低，原始手工業(yè)生產(chǎn)逐步喪失了競(jìng)爭(zhēng)力，工人只有將自身緊緊依附在機(jī)器之上，才能將勞動(dòng)力的完整價(jià)值生產(chǎn)出來。正如馬克思所指出的，變得空虛了的單個(gè)工人的局部技巧，在科學(xué)面前，在巨大的自然力面前，在社會(huì)的群眾性勞動(dòng)面前，作為微不足道的附屬品而消失了；科學(xué)、巨大的自然力、社會(huì)的群眾性勞動(dòng)都體現(xiàn)在機(jī)器體系中，并同機(jī)器體系一道構(gòu)成“主人”的權(quán)力。

經(jīng)典的電車難題

隨著人工智能在軍事領(lǐng)域的深度應(yīng)用，人類也會(huì)出現(xiàn)某些能力的衰退

雖然馬克思是在機(jī)器大工業(yè)時(shí)期作出對(duì)勞動(dòng)者與機(jī)器關(guān)系的如上判斷的，但我們同樣可以借用這樣的分析思路來審視軍事領(lǐng)域中人工智能與人的關(guān)系。理想狀況下，當(dāng)人工智能用于軍事決策輔助時(shí)，決策者對(duì)人工智能提供的最優(yōu)方案進(jìn)行評(píng)估，如不滿意，可返回上一級(jí)對(duì)原始方案進(jìn)行篩選，若仍存在疑問，可調(diào)用底層數(shù)據(jù)重新擬定方案。當(dāng)人工智能投入戰(zhàn)場(chǎng)使用時(shí)，在執(zhí)行任務(wù)過程中操縱員可根據(jù)具體情況隨時(shí)終止或改變?nèi)蝿?wù)目標(biāo)，確保全過程的安全。但由于以上環(huán)節(jié)均是在人機(jī)交互的過程中實(shí)現(xiàn)的，實(shí)際情況遠(yuǎn)比假設(shè)要復(fù)雜得多。首先，無論是決策者還是操作員，作出以上判斷均需要極強(qiáng)的洞察力和判斷力，而這樣的能力因人而異；其次，對(duì)于人工智能系統(tǒng)的信任必然會(huì)隨著一次次的正向反饋而逐步加深，在人工智能給出的“答案”面前具有思維局限性的個(gè)人將難以堅(jiān)持自己的判斷；最后，如果選擇其它手段重新開始任務(wù)，意味著要承擔(dān)巨大的時(shí)間沉沒成本，而在以“快”為制勝密碼的未來戰(zhàn)爭(zhēng)中，這樣的選擇往往可能貽誤戰(zhàn)機(jī)甚至影響全局。正如生產(chǎn)者在與機(jī)器的結(jié)合過程中逐漸喪失掉自身的主觀能動(dòng)性，人工智能在提升軍隊(duì)運(yùn)轉(zhuǎn)效率和作戰(zhàn)能力的同時(shí)，對(duì)人工智能的高度依賴也可能會(huì)使人逐漸成為機(jī)器的“附庸”，從而導(dǎo)致人的能力在某些方面的衰退。同樣，正如機(jī)器大工業(yè)時(shí)期的工人不把自己與機(jī)器綁定在一起，就無法獲得每天必需的生活資料，智能化時(shí)代的軍人不借助人工智能進(jìn)行思考、決策、行動(dòng)，也將難以正常開展各項(xiàng)軍事活動(dòng)。因此，人工智能的引入對(duì)于現(xiàn)代軍事而言絕不是提供了一個(gè)全新的選擇或是進(jìn)行了一次升級(jí)那么簡(jiǎn)單，而是會(huì)對(duì)構(gòu)成現(xiàn)代軍事的各個(gè)要素尤其是人這個(gè)關(guān)鍵因素產(chǎn)生持久而深遠(yuǎn)的影響。如果只關(guān)注人工智能會(huì)為現(xiàn)代軍事帶來什么，而不從整體出發(fā)去審視人工智能會(huì)影響什么、改變什么，那么人類必然沿著錯(cuò)誤的軌道越走越遠(yuǎn)。

1981年9月，中國常駐聯(lián)合國代表簽署《特定常規(guī)武器公約》

機(jī)器脫離人控制的潛在風(fēng)險(xiǎn)

將人工智能軍事應(yīng)用的自主程度限定在一定閾值下，并保留對(duì)其最后控制權(quán)，已成為國際社會(huì)的基本共識(shí)。來自英國的非政府組織“第36條”率先提出了“有意義的人類控制”的理念，主張?jiān)谌魏吻闆r下都應(yīng)當(dāng)對(duì)自主性武器針對(duì)個(gè)人的攻擊實(shí)施“有意義的人類控制”，這一理念隨后受到了國際社會(huì)的廣泛關(guān)注和高度重視，并引起了以《特定常規(guī)武器公約》締約方會(huì)議（CCW會(huì)議）為代表的各類國際組織會(huì)議的激烈討論。美國對(duì)此表示質(zhì)疑，認(rèn)為該理念存在較大的主觀隨意性，建議以“適當(dāng)?shù)娜祟惻袛唷弊鳛樘娲?，從而進(jìn)一步提高人工智能軍事應(yīng)用的自主權(quán)限。兩者雖然在概念的內(nèi)涵、外延、應(yīng)用范圍上有著明顯區(qū)別，但在基本觀點(diǎn)上是一致的，即都認(rèn)為對(duì)人工智能軍事應(yīng)用的自主性進(jìn)行一定的限制是必需的。

在具體環(huán)境下的實(shí)際應(yīng)用中，以上理念能否得到普遍遵循和有效實(shí)行，仍存在諸多不確定性。首先，用在防御作戰(zhàn)的“人在回路外”式自主武器已經(jīng)出現(xiàn)（例如韓國在朝韓邊境布置的SGR-1哨兵機(jī)器人），而將“人在回路外”的模式從防御作戰(zhàn)用于進(jìn)攻作戰(zhàn)，從技術(shù)上來看并不是無法跨越的鴻溝。其次，現(xiàn)代戰(zhàn)爭(zhēng)對(duì)速度的要求越來越高，完全自主的人工智能系統(tǒng)在作戰(zhàn)響應(yīng)速度上有著巨大的優(yōu)勢(shì)，這一優(yōu)勢(shì)在作戰(zhàn)雙方武器裝備不存在代差的情況下，很有可能成為左右戰(zhàn)局的關(guān)鍵因素，這一特質(zhì)很有可能導(dǎo)致部分國家秘密研發(fā)具備完全自主能力的人工智能軍事應(yīng)用，作為戰(zhàn)略底牌和保底手段。最后，現(xiàn)代戰(zhàn)爭(zhēng)復(fù)雜的電磁環(huán)境和惡劣的通信狀況也會(huì)使得在戰(zhàn)場(chǎng)上對(duì)武器系統(tǒng)進(jìn)行不間斷地實(shí)時(shí)控制變得越來越困難。

一旦具備完全自主能力的人工智能開始在軍事領(lǐng)域應(yīng)用，將會(huì)帶來極為復(fù)雜的倫理和法律問題。例如，攻擊者有可能躲在無辜平民形成的“人肉盾牌”后面朝機(jī)器人開火，故意招致機(jī)器人還擊以造成機(jī)器人戰(zhàn)士濫殺平民的事件，甚至導(dǎo)致自相殘殺或非故意沖突升級(jí)的風(fēng)險(xiǎn)。再譬如，無人控制的自主武器在交戰(zhàn)中誤殺平民或?qū)е聭?zhàn)局?jǐn)U大，將會(huì)給戰(zhàn)后責(zé)任判定帶來極大干擾，并對(duì)現(xiàn)有國際法體系造成嚴(yán)重破壞?？偠灾３忠欢ǖ娜祟惪刂?，是各國在發(fā)展人工智能軍事應(yīng)用時(shí)需要遵循的前提條件之一，但這一條件能否得到普遍遵守，在現(xiàn)實(shí)中仍存在諸多疑點(diǎn)，這也提醒我們時(shí)刻保持冷靜，切勿對(duì)人工智能在軍事領(lǐng)域的發(fā)展持盲目樂觀的態(tài)度和盲目冒進(jìn)的指導(dǎo)策略。