邁克爾·霍洛維茲，保羅·沙爾

（新美國安全中心，美國 華盛頓特區(qū) 20005）

0 引 言

近年來，機(jī)器學(xué)習(xí)革命引發(fā)了一系列行業(yè)對(duì)人工智能（AI）應(yīng)用的興趣。各國也在動(dòng)員將人工智能用于國家安全和軍事目的。[1]因此，評(píng)估人工智能軍事化如何影響國際穩(wěn)定以及如何鼓勵(lì)軍方以負(fù)責(zé)任的方式采用人工智能至關(guān)重要。要做到這一點(diǎn)，就需要了解人工智能的特點(diǎn)、它塑造戰(zhàn)爭(zhēng)的方式，以及人工智能軍事化給國際穩(wěn)定帶來的風(fēng)險(xiǎn)。

人工智能是一種類似于計(jì)算機(jī)或內(nèi)燃機(jī)的通用技術(shù)，而不是像導(dǎo)彈或飛機(jī)那樣的離散技術(shù)。因此，盡管對(duì)“人工智能軍備競(jìng)賽”的擔(dān)憂言過其實(shí)，但真正的風(fēng)險(xiǎn)依然存在。[2]此外，盡管許多國家領(lǐng)導(dǎo)人言辭激烈，但迄今為止在人工智能方面的軍費(fèi)開支相對(duì)較少。軍方對(duì)人工智能的追求，與其說是激烈的軍備競(jìng)賽，不如說更像是對(duì)新技術(shù)的例行采用，以及對(duì)計(jì)算機(jī)、網(wǎng)絡(luò)和其他信息技術(shù)采用的數(shù)十年趨勢(shì)的延續(xù)。盡管如此，將AI 納入國家安全應(yīng)用和戰(zhàn)爭(zhēng)仍會(huì)帶來真正的風(fēng)險(xiǎn)。然而，僅僅認(rèn)識(shí)到風(fēng)險(xiǎn)是不夠的。解決這些問題需要為各國采取切實(shí)可行的措施提出建議，以盡量減少軍事AI 競(jìng)爭(zhēng)帶來的風(fēng)險(xiǎn)。各國可以采取的一種辦法是建立信任措施（CBMs）：各國可以采取單邊、雙邊或多邊行動(dòng)來建立信任和防止無意中的軍事沖突。建立信任措施通常涉及利用透明度、通知和監(jiān)測(cè)來試圖減輕沖突風(fēng)險(xiǎn)。[2]由于當(dāng)今國際競(jìng)爭(zhēng)的特點(diǎn)與冷戰(zhàn)時(shí)期（當(dāng)時(shí)建立信任措施作為一個(gè)概念變得突出）不同，采用建立信任措施面臨著挑戰(zhàn)。然而，考慮建立信任措施的可能性并探索形成有關(guān)人工智能對(duì)話的方式，可能會(huì)采用促進(jìn)穩(wěn)定的建立信任措施的可能性更大。

本文簡(jiǎn)要概述了人工智能軍事應(yīng)用對(duì)國際穩(wěn)定的一些潛在風(fēng)險(xiǎn)，包括人工智能影響戰(zhàn)爭(zhēng)性質(zhì)的方式、基于當(dāng)前人工智能技術(shù)限制的風(fēng)險(xiǎn)以及與某些特定任務(wù)領(lǐng)域有關(guān)的風(fēng)險(xiǎn)，如核行動(dòng)，其中引入人工智能可能會(huì)給穩(wěn)定性帶來挑戰(zhàn)。然后，本文描述了解決這些風(fēng)險(xiǎn)的可能的信任措施，從適用于人工智能許多軍事應(yīng)用的廣泛措施轉(zhuǎn)向旨在解決特定風(fēng)險(xiǎn)的有針對(duì)性的措施。在每一次有關(guān)建立信任措施的討論中，本文都闡述了采用建立信任措施的國家的機(jī)遇和潛在弊端。

1 人工智能的軍事用途：對(duì)國際穩(wěn)定的風(fēng)險(xiǎn)

軍方固有的興趣是要保持領(lǐng)先于競(jìng)爭(zhēng)對(duì)手，或者至少不落后于競(jìng)爭(zhēng)對(duì)手。國家希望避免部署劣質(zhì)的軍事能力，因此通常會(huì)尋求可以提高戰(zhàn)斗力的新興技術(shù)。盡管追求新技術(shù)是正常的，但某些技術(shù)卻因其對(duì)穩(wěn)定性的影響，或?qū)?zhàn)爭(zhēng)轉(zhuǎn)移到對(duì)所有參戰(zhàn)人員或平民造成傷害增加的方向而引起關(guān)注。例如，在20 世紀(jì)初，一些大國就針對(duì)一系列工業(yè)時(shí)代的技術(shù)引發(fā)軍備控制進(jìn)行了辯論，結(jié)果是喜憂參半，他們擔(dān)心這些技術(shù)會(huì)深刻地改變戰(zhàn)爭(zhēng)。其中包括潛艇、空投武器、爆炸子彈和毒氣。

核武器發(fā)明之后，鑒于核武器的巨大破壞力，圍繞其潛在用途的擔(dān)憂主導(dǎo)了決策者的注意力。特別是在古巴導(dǎo)彈危機(jī)顯示出確實(shí)存在的風(fēng)險(xiǎn)升級(jí)之后，美國和蘇聯(lián)就一系列武器技術(shù)進(jìn)行了軍備控制，其中包括戰(zhàn)略導(dǎo)彈防御、中程導(dǎo)彈、天基大規(guī)模毀滅性武器（大規(guī)模殺傷性武器）、生物武器以及中子彈和反衛(wèi)星武器的明顯默契克制。美國和蘇聯(lián)有時(shí)還通過諸如《開放天空條約》和1972 年《海上事件協(xié)定》之類的措施進(jìn)行合作，以避免錯(cuò)誤估計(jì)并提高穩(wěn)定性。

研究人工智能與戰(zhàn)爭(zhēng)的結(jié)合是否會(huì)帶來決策者應(yīng)該關(guān)注的風(fēng)險(xiǎn)是合理的，事實(shí)上也是至關(guān)重要的。一些人工智能研究人員自己也對(duì)軍方采用人工智能及其可能增加戰(zhàn)爭(zhēng)和國際不穩(wěn)定風(fēng)險(xiǎn)的方式發(fā)出了警告。[3]然而，由于人工智能不像導(dǎo)彈或潛艇那樣是一種離散的技術(shù)，因此理解人工智能在軍事上的使用所帶來的風(fēng)險(xiǎn)是很復(fù)雜的。作為一種通用技術(shù)，人工智能有許多應(yīng)用，其中任何一種都可能以各種方式提高或破壞穩(wěn)定性。

軍方才剛剛開始采用人工智能，在不久的將來，軍事人工智能的使用可能會(huì)受到限制，而且限制會(huì)逐漸增加。隨著時(shí)間的推移，通過引入人工智能對(duì)戰(zhàn)爭(zhēng)的認(rèn)識(shí)可能會(huì)深刻地改變戰(zhàn)爭(zhēng)，就像過去的工業(yè)革命塑造了戰(zhàn)爭(zhēng)一樣。[4]即使軍方成功地管理了安全和安保問題，并且野戰(zhàn)人工智能系統(tǒng)是強(qiáng)健和安全的，正常運(yùn)作的人工智能系統(tǒng)也可能給國際穩(wěn)定帶來挑戰(zhàn)。

例如，中美兩國學(xué)者認(rèn)為，在作戰(zhàn)行動(dòng)中引入人工智能和自主系統(tǒng)可能會(huì)加快戰(zhàn)爭(zhēng)的步伐，超出人類控制的范圍。中國學(xué)者將這一概念稱為戰(zhàn)場(chǎng)“奇點(diǎn)”[5]，而一些美國人則創(chuàng)造了“超級(jí)戰(zhàn)爭(zhēng)”一詞來指代類似的想法。[6]如果戰(zhàn)爭(zhēng)發(fā)展到戰(zhàn)斗速度超過人類跟上的能力，就有可能必須將軍事行動(dòng)的控制權(quán)交給機(jī)器，而這將對(duì)國際穩(wěn)定構(gòu)成重大風(fēng)險(xiǎn)。人類可能會(huì)失去對(duì)升級(jí)管理的控制權(quán)，并且如果機(jī)器以比人類能夠響應(yīng)的速度更快地作戰(zhàn)，則終止戰(zhàn)爭(zhēng)可能會(huì)變得非常復(fù)雜。此外，將升級(jí)控制權(quán)下放給機(jī)器可能意味著在混亂和迷霧的戰(zhàn)爭(zhēng)中，作為軍事行動(dòng)重要組成部分的輕微戰(zhàn)術(shù)失誤或事故，包括自相殘殺、平民傷亡和軍事判斷力差，可能在人類有時(shí)間干預(yù)之前失控并達(dá)到災(zāi)難性的程度。

戰(zhàn)場(chǎng)奇點(diǎn)或超級(jí)戰(zhàn)爭(zhēng)的邏輯之所以令人不安，正是因?yàn)楦?jìng)爭(zhēng)壓力可能會(huì)促使軍隊(duì)加快作戰(zhàn)節(jié)奏，并將人類“從循環(huán)中”排除，即使他們寧愿不這樣做，但是只有這樣才能跟上對(duì)手的步伐。當(dāng)時(shí)的國防部副部長羅伯特·沃克（Robert Work）提出了一個(gè)問題，“如果我們的競(jìng)爭(zhēng)對(duì)手成為‘終結(jié)者’……事實(shí)證明，‘終結(jié)者’能夠更快地做出決定，即使他們很糟糕，我們?cè)撊绾螒?yīng)對(duì)？”[7]雖然這種“速度上的軍備競(jìng)賽”通常在致命的自主武器系統(tǒng)的背景下以戰(zhàn)術(shù)為特征，但同樣的動(dòng)態(tài)可能會(huì)在操作上出現(xiàn)，包括設(shè)計(jì)為決策輔助工具的算法。決策者認(rèn)為，戰(zhàn)爭(zhēng)正在演變?yōu)橐粋€(gè)機(jī)器主導(dǎo)的沖突時(shí)代，在這個(gè)時(shí)代，人類必須將控制權(quán)讓給機(jī)器才能保持競(jìng)爭(zhēng)力，這就可能加速這種發(fā)展，特別是如果決策者缺乏有關(guān)人工智能局限性的適當(dāng)知識(shí)背景。在極端情況下，軍事決策算法的使用，再加上更加自動(dòng)化的戰(zhàn)場(chǎng)，可能會(huì)改變戰(zhàn)爭(zhēng)的性質(zhì)。從最廣泛的意義上講，戰(zhàn)爭(zhēng)仍然是政治的延續(xù)，但在最極端的情況下，它可能很少有人類參與，因此不再是人類的意志體現(xiàn)。[8]

人工智能的廣泛采用可能在其他方面對(duì)國際穩(wěn)定產(chǎn)生凈影響。人工智能系統(tǒng)可以改變戰(zhàn)爭(zhēng)中的戰(zhàn)略，包括在某些任務(wù)領(lǐng)域用機(jī)器代替人類的決策，從而將人類心理的某些方面從戰(zhàn)爭(zhēng)中去除。[9]今天的戰(zhàn)爭(zhēng)是由人類通過物理機(jī)器進(jìn)行的，但決策幾乎普遍是人類主導(dǎo)的。隨著算法越來越接近戰(zhàn)場(chǎng)，一些決策將由機(jī)器做出，即使戰(zhàn)爭(zhēng)仍然是為人類政治目的而進(jìn)行的由人類指揮的活動(dòng)。機(jī)器決策在戰(zhàn)術(shù)、作戰(zhàn)和戰(zhàn)略層面的廣泛整合可能會(huì)產(chǎn)生深遠(yuǎn)的影響。在玩實(shí)時(shí)電腦戰(zhàn)略游戲（如星際爭(zhēng)霸和Dota2）時(shí)，人工智能特工已經(jīng)表現(xiàn)出超越人類的攻擊性、精確性和協(xié)調(diào)性。在撲克和圍棋等其他策略游戲中，人工智能已經(jīng)證明了一種能力，可以從根本上調(diào)整游戲風(fēng)格和冒險(xiǎn)行為，而這種方式充其量只是挑戰(zhàn)人類出于心理原因的模仿。人工智能dogfighting 代理同樣表現(xiàn)出超人的精確性，并采用不同的戰(zhàn)術(shù)，因?yàn)樗鼈冇心芰Τ袚?dān)更大的風(fēng)險(xiǎn)。[10]

在許多方面，人工智能系統(tǒng)有能力成為完美的戰(zhàn)略代理人，不受恐懼、厭惡情緒、承諾偏見或其他人類情感或認(rèn)知偏見和局限性的束縛。[11]雖然用于電腦游戲的特定算法和模型不太可能很好地轉(zhuǎn)移到作戰(zhàn)應(yīng)用中，但人工智能代理相對(duì)于人類的一般特征和優(yōu)勢(shì)可能在軍事領(lǐng)域得到應(yīng)用。就像速度一樣，機(jī)器決策對(duì)作戰(zhàn)心理的凈影響可以深刻地改變戰(zhàn)爭(zhēng)的性質(zhì)。[12]

人工智能可能會(huì)對(duì)戰(zhàn)爭(zhēng)產(chǎn)生其他累積效應(yīng)。[13]決策者通常根據(jù)對(duì)對(duì)手能力和意圖的理解來評(píng)估對(duì)手的行為。向人工智能的轉(zhuǎn)變可能會(huì)破壞這兩個(gè)領(lǐng)域的決策者知識(shí)。軍事能力向軟件的過渡已經(jīng)在進(jìn)行，但可以說是由于采用AI 和自治系統(tǒng)而加速的，這可能會(huì)使決策者更難準(zhǔn)確地判斷相對(duì)的軍事能力。因此，有關(guān)敵方能力的不完整信息會(huì)增加，可以想象，這會(huì)增加誤判的風(fēng)險(xiǎn)?；蛘?，相反的可能是真正的人工智能，即用于情報(bào)收集和分析的自主系統(tǒng)可以從根本上提高軍事力量的透明度，使決策者更容易判斷軍事能力并提前預(yù)測(cè)沖突的結(jié)果。增加的透明度可以減少計(jì)算錯(cuò)誤的風(fēng)險(xiǎn)，并化解一些潛在的沖突，然后再開始決策。

人工智能融入軍事系統(tǒng)，再加上向更自動(dòng)化的部隊(duì)結(jié)構(gòu)轉(zhuǎn)變，也可能會(huì)改變決策者承擔(dān)風(fēng)險(xiǎn)的門檻，要么是因?yàn)樗麄兿嘈庞懈偃说纳幱谖ｋU(xiǎn)之中，要么是因?yàn)槿斯ぶ悄芟到y(tǒng)能夠?qū)崿F(xiàn)更高的精度，要么是因?yàn)樗麄冋J(rèn)為人工智能系統(tǒng)具有獨(dú)特的危險(xiǎn)性。人工智能系統(tǒng)的感知可用性可能會(huì)改變決策者對(duì)其預(yù)見沖突結(jié)果或獲勝能力的信念。

毫無疑問，站在人工智能時(shí)代的開端，想象人工智能在軍事行動(dòng)的各個(gè)方面的應(yīng)用所產(chǎn)生的累積后果是一個(gè)挑戰(zhàn)，包括影響人類對(duì)技術(shù)的認(rèn)知和技術(shù)特征本身的影響。19 世紀(jì)末和20 世紀(jì)初試圖管制工業(yè)時(shí)代武器影響的歷史表明，即使決策者準(zhǔn)確預(yù)測(cè)了某些技術(shù)的風(fēng)險(xiǎn)，例如空中運(yùn)載武器或毒氣，他們經(jīng)常精心制定法規(guī)，結(jié)果發(fā)現(xiàn)這些法規(guī)不適合這些技術(shù)成熟時(shí)所采用的特定形式。此外，即使雙方都希望克制，那些法規(guī)也經(jīng)常在戰(zhàn)爭(zhēng)的緊急情況下崩潰。[14]我們沒有理由認(rèn)為，我們?cè)陬A(yù)測(cè)未來技術(shù)發(fā)展道路或抑制戰(zhàn)爭(zhēng)的能力方面的先見之明在今天會(huì)更好。然而，在開始思考人工智能影響戰(zhàn)爭(zhēng)的各種方式時(shí)，無論大小，還是有好處的。

即使超出上述情況，也有可能將人工智能的軍事應(yīng)用如何影響國際穩(wěn)定分為兩大類：（1）與算法的性質(zhì)和軍方使用算法有關(guān)的風(fēng)險(xiǎn)；（2）與軍方將人工智能用于特定任務(wù)有關(guān)的風(fēng)險(xiǎn)。

2 人工智能的局限性帶來的風(fēng)險(xiǎn)

軍事上采用人工智能的一個(gè)挑戰(zhàn)是，與采用新技術(shù)相關(guān)的兩個(gè)關(guān)鍵風(fēng)險(xiǎn)正處于緊張狀態(tài)。首先，軍方可能無法采用（或足夠迅速地采用或以正確的方式使用）一種產(chǎn)生重大戰(zhàn)場(chǎng)優(yōu)勢(shì)的新技術(shù)。最近的一個(gè)例子是，盡管軍用無人機(jī)市場(chǎng)總體上有所增長，但無人駕駛車輛的采用有時(shí)是美國國防機(jī)構(gòu)內(nèi)部爭(zhēng)論的一個(gè)來源，主要是基于這種新技術(shù)相對(duì)于現(xiàn)有替代技術(shù)的優(yōu)點(diǎn)的辯論。[15]

或者，軍方可能會(huì)過快地采用一種不成熟的技術(shù)，在一種技術(shù)如何改變戰(zhàn)爭(zhēng)的新的、未經(jīng)檢驗(yàn)的主張上下大量錯(cuò)誤的賭注?？紤]到軍方在確保其能力在戰(zhàn)場(chǎng)上發(fā)揮作用方面的天然動(dòng)機(jī)，可以合理地假設(shè)，軍方將合理地管理這些風(fēng)險(xiǎn)，盡管并非不會(huì)發(fā)生一些災(zāi)難。但在權(quán)衡事故風(fēng)險(xiǎn)與技術(shù)創(chuàng)新落后于對(duì)手之間的關(guān)系時(shí)，軍方可以說是把安全作為次要考慮因素。[16]在追求技術(shù)優(yōu)勢(shì)的過程中，軍方可能會(huì)相對(duì)接受事故的風(fēng)險(xiǎn)，因?yàn)槭鹿适擒娛滦袆?dòng)的一個(gè)常規(guī)要素，甚至在訓(xùn)練中也是如此。[17]然而，在最終確保部署的能力是強(qiáng)大和安全的方面，存在著強(qiáng)烈的官僚利益，現(xiàn)有的機(jī)構(gòu)流程可能會(huì)通過一些調(diào)整來管理人工智能的安全和保障風(fēng)險(xiǎn)。

對(duì)于軍方來說，在采用人工智能的過程中，在速度過慢與速度過快之間進(jìn)行平衡是復(fù)雜的，因?yàn)槿斯ぶ悄?，尤其是深度學(xué)習(xí)，是一種相對(duì)不成熟的技術(shù)，存在著嚴(yán)重的漏洞和可靠性問題。在沒有足夠的數(shù)據(jù)來訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的情況下，這些問題就更加突出了。機(jī)器學(xué)習(xí)系統(tǒng)通常依賴于非常大的數(shù)據(jù)集，而這些數(shù)據(jù)集在某些軍事環(huán)境中可能不存在，特別是在涉及罕見事件的早期預(yù)警或在多維戰(zhàn)場(chǎng)中跟蹤對(duì)手行為時(shí)。當(dāng)使用不充分的數(shù)據(jù)集進(jìn)行訓(xùn)練或在狹窄的設(shè)計(jì)環(huán)境之外使用時(shí)，人工智能系統(tǒng)通常是不可靠和脆弱的。人工智能系統(tǒng)往往看起來很有能力，在某些實(shí)驗(yàn)室環(huán)境中表現(xiàn)良好，但在現(xiàn)實(shí)世界中，在不斷變化的環(huán)境條件下卻會(huì)急劇失效。例如，在某些情況下，自動(dòng)駕駛汽車可能比人工駕駛更安全，然后在人工駕駛不會(huì)有麻煩的情況下，自動(dòng)駕駛會(huì)莫名其妙地變成致命的。此外，深度學(xué)習(xí)算法目前可能是不夠可靠的安全關(guān)鍵應(yīng)用，即使在其設(shè)計(jì)規(guī)范的范圍內(nèi)運(yùn)行仍然如此。[18]

例如，對(duì)跨人群的算法可靠性的限制的擔(dān)憂阻礙了面部識(shí)別技術(shù)在美國的部署，特別是在執(zhí)法等后果嚴(yán)重的應(yīng)用中。軍方也應(yīng)該關(guān)注其人工智能系統(tǒng)的技術(shù)限制和漏洞。軍方需要有效的技術(shù)，尤其是在戰(zhàn)場(chǎng)上。因此，美國國防部（DoD）的人工智能戰(zhàn)略要求人工智能系統(tǒng)具有“彈性、魯棒性、可靠性和安全性”。 考慮到當(dāng)今許多算法的使用所面臨的可靠性問題以及戰(zhàn)場(chǎng)使用的高度動(dòng)態(tài)條件，這無疑是正確的方法，但至少在短期內(nèi)是一個(gè)挑戰(zhàn)。

另一個(gè)挑戰(zhàn)來自安全困境的動(dòng)態(tài)。競(jìng)爭(zhēng)壓力可能導(dǎo)致各國采取捷徑測(cè)試與評(píng)估（T&E），以期在對(duì)手之前部署新的人工智能能力。在自動(dòng)駕駛汽車和商用飛機(jī)自動(dòng)駕駛儀的人工智能系統(tǒng)事故風(fēng)險(xiǎn)方面，類似的競(jìng)爭(zhēng)壓力似乎起到了加劇作用。軍方評(píng)估一個(gè)可靠性不確定的人工智能系統(tǒng)，如果他們相信其他國家也在采取類似措施，他們可能會(huì)感到加快部署的壓力，這并非毫無道理。從歷史上看，這些壓力在戰(zhàn)爭(zhēng)前和戰(zhàn)爭(zhēng)期間都是最高的，在戰(zhàn)爭(zhēng)期間，由于現(xiàn)實(shí)生活的影響，圍繞新技術(shù)的風(fēng)險(xiǎn)或回報(bào)等式可能會(huì)發(fā)生變化。例如，競(jìng)爭(zhēng)壓力可能促使第一次世界大戰(zhàn)中更快地引入毒氣。[19]同樣，在第二次世界大戰(zhàn)中，德國將資金從成熟的技術(shù)轉(zhuǎn)移到噴氣發(fā)動(dòng)機(jī)、彈道導(dǎo)彈和直升機(jī)上，盡管這些技術(shù)在戰(zhàn)后才被證明是成熟的。這種動(dòng)態(tài)風(fēng)險(xiǎn)可能會(huì)引發(fā)一種自我實(shí)現(xiàn)的預(yù)言，即各國出于擔(dān)心其他國家會(huì)首先部署未經(jīng)充分測(cè)試的人工智能系統(tǒng)而加快部署。其凈影響不是軍備競(jìng)賽，而是對(duì)安全的“抄底競(jìng)賽”，導(dǎo)致部署不安全的人工智能系統(tǒng)，增加事故和不穩(wěn)定的風(fēng)險(xiǎn)。

即使軍事人工智能系統(tǒng)得到了充分的測(cè)試，使用人工智能來實(shí)現(xiàn)軍事系統(tǒng)中更自主的機(jī)器行為也會(huì)帶來額外的風(fēng)險(xiǎn)。在將決策權(quán)從人下放給機(jī)器的過程中，決策者實(shí)際上可能在部署靈活性和理解能力較差的部隊(duì)，這將對(duì)危機(jī)穩(wěn)定和管理升級(jí)產(chǎn)生有害影響。雖然機(jī)器在速度、精度和可重復(fù)動(dòng)作方面有許多優(yōu)勢(shì)，但今天的機(jī)器在理解上下文和靈活適應(yīng)新情況方面還不能接近人類的智能。在沖突前的危機(jī)局勢(shì)中，機(jī)器決策的這種脆弱性可能尤其是一個(gè)挑戰(zhàn)，在這種局勢(shì)中，國家間的緊張局勢(shì)非常嚴(yán)重。在各種有爭(zhēng)議的地區(qū)，來自競(jìng)爭(zhēng)國家的軍事力量經(jīng)常在低于戰(zhàn)爭(zhēng)門檻的軍事化爭(zhēng)端中進(jìn)行互動(dòng)。部署部隊(duì)之間的這種互動(dòng)有時(shí)會(huì)因可能加劇各方緊張局勢(shì)的事件或小規(guī)模沖突而面臨升級(jí)的風(fēng)險(xiǎn)。這對(duì)國家領(lǐng)導(dǎo)人提出了挑戰(zhàn)，他們對(duì)自己的軍隊(duì)指揮和控制不完善。然而，今天部署的軍事力量依賴于人類的決策。人類可以從他們的國家領(lǐng)導(dǎo)和指揮官的意圖中理解其廣泛的指令，例如“保衛(wèi)我們的領(lǐng)土，但不要發(fā)動(dòng)戰(zhàn)爭(zhēng)”。相對(duì)于人類，即使是當(dāng)今最先進(jìn)的人工智能系統(tǒng)也沒有能力理解廣泛的指令，它們也沒有表現(xiàn)出人類經(jīng)常稱之為“常識(shí)”的那種背景理解。軍方已經(jīng)在有爭(zhēng)議的地區(qū)使用無人駕駛車輛（無人機(jī)）。隨著時(shí)間的推移，隨著軍隊(duì)將更多的自主功能納入無人駕駛車輛，這種功能可能會(huì)使有爭(zhēng)議地區(qū)的互動(dòng)變得復(fù)雜。

自主系統(tǒng)可能會(huì)根據(jù)編程采取行動(dòng)，這些編程雖然不是故障，但與指揮官在相同情況下希望處于類似位置的人所做的不同。盡管軍事文化和理論賦予部署的靈活性程度有很大差異，但人類有更大的能力靈活應(yīng)對(duì)復(fù)雜和可能模棱兩可的升級(jí)事件，從而可以在確保升級(jí)的同時(shí)滿足國家決心的競(jìng)爭(zhēng)需求。[20]自主系統(tǒng)將簡(jiǎn)單地遵循它們的程序，不管那可能是什么，即使那些規(guī)則不再有意義或與指揮官在特定情況下的意圖不一致。由于人類指揮官無法預(yù)測(cè)在有爭(zhēng)議地區(qū)部署的前方軍事力量可能面臨的所有可能情況，這一挑戰(zhàn)更加復(fù)雜。在危機(jī)中使用自主系統(tǒng)有效地迫使人類決策者用某些預(yù)先指定的行動(dòng)來約束自己，即使他們不愿意這樣做。

自主系統(tǒng)在軍事糾紛或有爭(zhēng)議地區(qū)采取的意外行動(dòng)對(duì)軍隊(duì)構(gòu)成了挑戰(zhàn)，因?yàn)樗麄冊(cè)诓筷?duì)中采用了更多的自主系統(tǒng)。當(dāng)今使用的許多自主系統(tǒng)的復(fù)雜性，即使是那些依賴基于規(guī)則的決策的系統(tǒng)，也可能意味著使用自主系統(tǒng)的人員對(duì)某些情況下該系統(tǒng)可能采取的行動(dòng)缺乏足夠的了解。相比之下，人類有能力靈活地解釋高級(jí)指揮官的指導(dǎo)，甚至忽略指導(dǎo)，即使在不再適用的指導(dǎo)下，也可以通過在有爭(zhēng)議的部隊(duì)之間互動(dòng)時(shí)保留人類的決策來管理風(fēng)險(xiǎn)升級(jí)地區(qū)。[21]

意外局勢(shì)升級(jí)不僅僅局限于致命的行動(dòng)，例如向敵軍開火。非致命的行動(dòng)，例如越過另一個(gè)國家的領(lǐng)土，也可以被視為升級(jí)。即使這些行動(dòng)不會(huì)直接導(dǎo)致戰(zhàn)爭(zhēng)，也可能加劇緊張局勢(shì)，增加對(duì)對(duì)手意圖的懷疑，或激化公眾情緒。雖然在大多數(shù)情況下，人類仍然會(huì)保留如何應(yīng)對(duì)事件的代理權(quán)，但相互競(jìng)爭(zhēng)的自主系統(tǒng)可能會(huì)產(chǎn)生意想不到的交互作用或不斷升級(jí)的螺旋。在其他環(huán)境中，包括金融市場(chǎng)，甚至在算法相對(duì)簡(jiǎn)單的情況下，也可以看到算法之間復(fù)雜的交互動(dòng)態(tài)。[22]另一個(gè)問題源于一旦部署，人類可能無法取消自主系統(tǒng)。采用自主功能的一個(gè)原因是，即使無人駕駛的車輛在沒有與人工控制器的可靠通信鏈接的情況下運(yùn)行，它們也可以繼續(xù)執(zhí)行其任務(wù)。當(dāng)人類操作員和自主系統(tǒng)之間沒有通信鏈接時(shí)，如果政治環(huán)境發(fā)生變化，導(dǎo)致系統(tǒng)行為不再合適，人類操作員將無法召回該自主系統(tǒng)。如果政治領(lǐng)導(dǎo)人決定終止敵對(duì)行動(dòng)，但至少在一段時(shí)間內(nèi)沒有能力召回自主系統(tǒng)，這可能是使沖突升級(jí)的挑戰(zhàn)。其結(jié)果可能是，即使政治領(lǐng)導(dǎo)人希望?；?，敵對(duì)行動(dòng)仍將繼續(xù)?；蛘撸荒芡耆Ｖ箶硨?duì)行動(dòng)可能破壞停戰(zhàn)談判，導(dǎo)致沖突繼續(xù)。這些問題并不是自主系統(tǒng)所獨(dú)有的。政治領(lǐng)導(dǎo)人對(duì)人類軍事力量的指揮和控制不完善，有時(shí)也會(huì)導(dǎo)致人類指揮部署的部隊(duì)發(fā)生類似的事件。例如，1812 年的新奧爾良戰(zhàn)役是在一項(xiàng)和平條約簽署后進(jìn)行的，因?yàn)橹笓]部門與已部署部隊(duì)的通信遲緩。

3 在特定軍事任務(wù)中使用人工智能的風(fēng)險(xiǎn)

由于軍事任務(wù)的性質(zhì)，在某些情況下，將人工智能引入軍事行動(dòng)也可能帶來風(fēng)險(xiǎn)，即使人工智能系統(tǒng)的性能正確且符合人類意圖。一些現(xiàn)有的研究已經(jīng)把重點(diǎn)放在人工智能與特定軍事任務(wù)領(lǐng)域的交叉點(diǎn)上，尤其是核穩(wěn)定性。鑒于有意或無意核爆炸的潛在后果，核穩(wěn)定顯然是一個(gè)令人關(guān)切的領(lǐng)域。致命性自主武器系統(tǒng)（LAWS）是人工智能的一種特殊用途，它將致命性決策權(quán)從人類委托給機(jī)器，也是現(xiàn)有研究的一個(gè)重點(diǎn)領(lǐng)域。關(guān)注人工智能風(fēng)險(xiǎn)的學(xué)者可能會(huì)特別關(guān)注其他領(lǐng)域。人工智能與網(wǎng)絡(luò)安全和生物安全的交叉點(diǎn)是值得探索的領(lǐng)域，目前的研究工作相對(duì)較少。[23]

人工智能的潛在風(fēng)險(xiǎn)應(yīng)用已經(jīng)超出了戰(zhàn)場(chǎng)，擴(kuò)展到人工智能在預(yù)警和預(yù)測(cè)對(duì)手行為等領(lǐng)域的輔助決策。例如，用于監(jiān)視、跟蹤和分析大量敵方行為數(shù)據(jù)的人工智能工具，對(duì)于潛在攻擊的早期指示和警告具有明確的價(jià)值。然而，算法也有已知的局限性和潛在的問題特征，例如缺乏透明度或可解釋性、面對(duì)數(shù)據(jù)分布變化的脆弱性和自動(dòng)化偏差。人工智能系統(tǒng)在新的條件下往往表現(xiàn)不佳，這表明人類的判斷仍在發(fā)揮作用。人類傾向于自動(dòng)化，再加上非人工智能預(yù)警和預(yù)測(cè)系統(tǒng)產(chǎn)生虛假警報(bào)的歷史，表明決策者應(yīng)謹(jǐn)慎對(duì)待人工智能在預(yù)警和預(yù)測(cè)中的應(yīng)用，盡管人工智能在智能決策輔助工具中具有潛在價(jià)值。確保在預(yù)警和預(yù)測(cè)場(chǎng)景中負(fù)責(zé)任地使用人工智能系統(tǒng)的教育和培訓(xùn)至關(guān)重要。

最后，自主系統(tǒng)提出了新的挑戰(zhàn)，即在有爭(zhēng)議的地區(qū)，因?yàn)槭盏降男盘?hào)模棱兩可，它們的行為是否應(yīng)由人類指揮官?zèng)Q策。即使系統(tǒng)按照預(yù)期運(yùn)行，由于上述命令和控制問題，對(duì)手也可能不知道自主系統(tǒng)的行為是否符合人類的意圖。在危機(jī)情況下，這會(huì)造成如何解釋自主系統(tǒng)行為的模糊性。例如，如果一個(gè)自主系統(tǒng)向一個(gè)國家的軍隊(duì)開火，這應(yīng)該被解釋為指揮國家的政治領(lǐng)導(dǎo)人故意發(fā)出的信號(hào)，還是一個(gè)意外？但這其實(shí)并不是一個(gè)新問題，因?yàn)槿祟愔笓]的軍事力量也面臨類似的挑戰(zhàn)。各國可能不知道敵方部署部隊(duì)的行動(dòng)是否完全符合其政治領(lǐng)導(dǎo)層的意志。由于自主系統(tǒng)的行為是否與人類的預(yù)期行為一致的不確定性，自主系統(tǒng)可能會(huì)使這種動(dòng)態(tài)復(fù)雜化。

4 結(jié) 語

人工智能的軍事應(yīng)用帶來了一些風(fēng)險(xiǎn)，包括人工智能改變戰(zhàn)爭(zhēng)性質(zhì)的方式、當(dāng)今人工智能技術(shù)的局限性，以及將人工智能用于核行動(dòng)等特定軍事任務(wù)。決策者應(yīng)該意識(shí)到這些風(fēng)險(xiǎn)，因?yàn)楦鲊_始將人工智能納入其軍事力量，他們應(yīng)該盡可能地減輕這些風(fēng)險(xiǎn)。由于人工智能是一種通用技術(shù)，因此期望軍方整體上不采用人工智能是不合理的，正如期望軍方不采用計(jì)算機(jī)或電力一樣。然而，軍方如何采用人工智能系統(tǒng)非常重要，各種方法可以緩解軍事人工智能競(jìng)爭(zhēng)帶來的風(fēng)險(xiǎn)。

建立信任措施是決策者可以用來幫助降低國家間軍事人工智能競(jìng)爭(zhēng)風(fēng)險(xiǎn)的一個(gè)潛在工具?？梢圆捎酶鞣N可能的建立信任的措施，所有這些措施都有不同的利弊。隨著學(xué)者和政策制定者進(jìn)一步了解軍事人工智能競(jìng)爭(zhēng)的風(fēng)險(xiǎn)，這些和其他建立信任的措施應(yīng)與傳統(tǒng)軍備控制等其他方法一起仔細(xì)考慮。