尹 恒

人工智能自誕生之日起就引起人們無限的想象和憧憬，同時也伴隨著巨大的倫理爭議。在諸多成因中，人工智能技術(shù)的安全性問題引發(fā)的倫理爭議尤為激烈。一方面，人工智能在增強人類應(yīng)對和解決安全危害能力，提高安全控制水平方面將發(fā)揮重要作用；另一方面，受制于技術(shù)本身的特點和缺陷，擁有自主能力的人工智能則很有可能成為全新的安全威脅。相較于社會其它領(lǐng)域，人工智能在軍事領(lǐng)域的應(yīng)用起步較晚，但由于軍事活動自身的特殊屬性，人工智能一旦大面積應(yīng)用到軍事活動中，其內(nèi)在缺陷引發(fā)的倫理風(fēng)險必然呈現(xiàn)放大的趨勢。在新一輪世界軍事科技革命風(fēng)起云涌的關(guān)鍵時期，對人工智能技術(shù)層面的局限性和不確定性進(jìn)行分析，結(jié)合軍事活動的實際特點進(jìn)行合理推想，從而挖掘潛在的倫理風(fēng)險，顯得尤為緊迫而必要。

算法缺陷引發(fā)的倫理風(fēng)險

算法安全通常是指由于算法本身不完善，使設(shè)計或?qū)嵤┻^程中出現(xiàn)與預(yù)期不相符的安全性問題。如：由于設(shè)計者定義了錯誤的目標(biāo)函數(shù)，或者選用了不合適的模型而引起安全問題；設(shè)計者沒有充分考慮限制性條件，導(dǎo)致算法在運行過程中造成不良后果，引起的安全問題等。

人工智能發(fā)展到當(dāng)前階段，深度學(xué)習(xí)已成為掀起第三次人工智能浪潮的核心算法。通俗地講，深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新的領(lǐng)域，其動機在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，通過模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本等信息。作為神經(jīng)網(wǎng)絡(luò)的3.0版本，深度學(xué)習(xí)算法相較于過去擁有更深的網(wǎng)絡(luò)層級、更龐大的神經(jīng)元結(jié)構(gòu)、更廣泛的神經(jīng)元連接，加之大數(shù)據(jù)的支持和計算機處理能力上的飛躍，目前在無人駕駛、圖片識別、機器翻譯等眾多領(lǐng)域已經(jīng)取得了令人矚目的成果，并且還保持著巨大的發(fā)展?jié)摿?。不過，深度學(xué)習(xí)算法也并不是完美無缺的，三類缺陷使得學(xué)界對于其發(fā)展和應(yīng)用持審慎態(tài)度：一是算法的不透明性和運算過程的不可解釋性。由于神經(jīng)網(wǎng)絡(luò)所獲取的知識體現(xiàn)在神經(jīng)元之間相互連接的權(quán)重值上，其網(wǎng)絡(luò)架構(gòu)的高度復(fù)雜性使得無論是設(shè)計者還是使用者都無法解析這些知識，致使在下達(dá)指令后，人們對于人工智能如何落實指令、通過什么樣的方式完成任務(wù)還無從得知，這就帶來不可解釋的“黑盒”問題。二是算法潛藏的偏見和歧視。由于算法在本質(zhì)上是“以數(shù)學(xué)方式或者計算機代碼表達(dá)的意見”，設(shè)計者和開發(fā)者自身持有的偏見將不可避免地帶入到算法的設(shè)計中，從而可能導(dǎo)致針對個別群體的歧視，引發(fā)嚴(yán)重的社會問題和倫理風(fēng)險。三是神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性。環(huán)境的輕微改變和目標(biāo)內(nèi)容的適度偽裝會影響神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性，從而使人工智能對目標(biāo)的識別判斷出現(xiàn)失誤甚至無法識別。例如，如果對圖像進(jìn)行細(xì)微的修正，對人類而言，這種修正完全不會影響圖像識別，但會導(dǎo)致神經(jīng)網(wǎng)絡(luò)錯誤地將其分類。

當(dāng)前，人工智能的深度學(xué)習(xí)已經(jīng)開始模擬神經(jīng)網(wǎng)絡(luò)

一旦人工智能在軍事活動中開始大面積被使用，上述缺陷就會充分暴露出來，從而引發(fā)極為嚴(yán)重的安全問題和巨大的倫理爭議。下面，將逐條分析三類缺陷在軍事應(yīng)用過程中可能引發(fā)的倫理風(fēng)險：

對于第一類缺陷，目前學(xué)界并無統(tǒng)一的完成度高的解決方法。在這個前提下，各方認(rèn)為，足夠大的數(shù)據(jù)支持能夠有效緩解“黑盒”問題引發(fā)的安全風(fēng)險。神經(jīng)網(wǎng)絡(luò)中往往包含著眾多的隱藏層，只有利用體量足夠大、類型足夠豐富的數(shù)據(jù)進(jìn)行安全測試時，“激活”模型中各個部分，才能測試出更多的安全漏洞。在民用領(lǐng)域，這一設(shè)想不難實現(xiàn)，只需要不同測試場景下足夠豐富的測試數(shù)據(jù)即可。但在軍事領(lǐng)域，上述設(shè)想的實現(xiàn)難度將大大增加。訓(xùn)練和實戰(zhàn)之間存在著巨大的反差，要想獲得足夠豐富可靠的訓(xùn)練數(shù)據(jù)，就需要使人工智能的應(yīng)用場景盡可能地貼近實戰(zhàn)。不過這也就帶來了新的問題：人們是否能夠允許“不夠成熟”的人工智能離開實驗室，進(jìn)入訓(xùn)練場、演練場甚至戰(zhàn)場？誰又對在這個進(jìn)程中出現(xiàn)的意外傷害和附帶損傷負(fù)責(zé)？困境顯而易見：要想讓人工智能軍事應(yīng)用變得更安全，就得在初始階段承擔(dān)更大的風(fēng)險；若想要在全過程將潛在的風(fēng)險降至最低，則人工智能軍事應(yīng)用的發(fā)展便將舉步維艱，安全性也將一直得不到提升。

與第一類缺陷相比，第二類缺陷包含著較為復(fù)雜的人為因素。在民用領(lǐng)域，算法歧視主要同企業(yè)文化、設(shè)計者個人背景等社會層面的原因相關(guān)，而由于軍事行動的主體通常為國家，軍事領(lǐng)域的人工智能算法歧視還同國家利益、民族意識等密不可分。設(shè)想一下，如果二戰(zhàn)時期的德國具備設(shè)計和制造人工智能武器的能力，是否可能在設(shè)計階段嵌入針對猶太人和非猶太人進(jìn)行區(qū)分打擊的算法？當(dāng)然，這只是一種猜想，歷史不可能假設(shè)，今天的世界與20世紀(jì)中葉的世界相比，已經(jīng)發(fā)生了天翻地覆的變化，納粹和希特勒這樣的極端個例在今天并不存在，但這并不代表以上的風(fēng)險不存在。以歷史唯物主義的視角審視，只要階級還沒有完全消亡、國家和以國家為主體的戰(zhàn)爭還沒有退出歷史舞臺，國家與國家之間的矛盾關(guān)系便依然存在，只不過在不同的歷史時期有著不同的表現(xiàn)形式罷了。國家需要他者扮演敵人角色，以便創(chuàng)造可以實現(xiàn)“權(quán)益”“光榮”“尊嚴(yán)”或者“道德”等價值的場所。因此，身處國家之中、深受民族文化熏陶的設(shè)計人員在建構(gòu)人工智能軍事應(yīng)用的基礎(chǔ)算法時，就有可能受意識形態(tài)影響，有意識或無意識地對人工智能武器在盟國和敵對國的應(yīng)用進(jìn)行區(qū)分，而一旦做出這樣的區(qū)分，無論動機為何、程度如何，都會帶來嚴(yán)重的倫理問題，也將給人類和平事業(yè)造成巨大威脅。有一種觀點認(rèn)為，加強科學(xué)團體的社會責(zé)任感可以有效規(guī)避上述風(fēng)險，但在筆者看來，仍然存在幾點疑慮。首先，對于國際社會的責(zé)任感是否能夠抵消意識形態(tài)層面的因素；其次，科學(xué)團體及其中的個體也都可能受自身價值觀影響而含有各種不同形式的偏見；再者，即便上述兩點影響得以克服，根植于內(nèi)心深處的愛國熱情、民族意識、社會文化也將不同程度地左右每個人的選擇。因此，要將以上倫理風(fēng)險降至最低，就需要暫時跳出民族國家的具體語境，在更高的層面進(jìn)行商討，以期達(dá)成一定程度上的共識，并通過相關(guān)法規(guī)予以確認(rèn)，通過國際社會版本的“交往理性”抵御人工智能算法歧視在軍事領(lǐng)域引發(fā)的倫理風(fēng)險。

編程的主觀性以及算法的復(fù)雜性帶來了“黑盒問題”

如果說前兩類缺陷更多體現(xiàn)設(shè)計層面的靜態(tài)因素，那么第三類缺陷則更容易受動態(tài)環(huán)境因素影響。歷史上，已經(jīng)出現(xiàn)過類似的先例。1983年9月26日，蘇聯(lián)的導(dǎo)彈自動預(yù)警系統(tǒng)報告稱，美國向蘇聯(lián)發(fā)射了5枚洲際彈道導(dǎo)彈。而事實是，蘇聯(lián)衛(wèi)星從云層反射的陽光（與環(huán)境的意外相互作用）中檢測到“導(dǎo)彈發(fā)射”的假陽性?？梢韵胍?，如果當(dāng)時彼得羅夫中校選擇相信系統(tǒng)報告的錯誤信息，按照規(guī)定程序上報，后果將不堪設(shè)想。當(dāng)然，科學(xué)技術(shù)畢竟是在不斷發(fā)展的，今日的自動預(yù)警系統(tǒng)相較于過去在測算精度、穩(wěn)定性、安全能力等方面均有了不小的提升，未來人工智能在軍事領(lǐng)域的應(yīng)用理應(yīng)有更好的表現(xiàn)。但是，潛在的威脅并沒有完全消除。一方面，就目前的技術(shù)發(fā)展?fàn)顩r來看，還無法確保未來的人工智能在動態(tài)復(fù)雜環(huán)境下不會出現(xiàn)誤判；另一方面，由于戰(zhàn)場電磁環(huán)境日趨復(fù)雜，未來人工智能系統(tǒng)在戰(zhàn)場上受到的干擾和迷惑只會越來越復(fù)雜多變，從而對算法的穩(wěn)定性產(chǎn)生更大的考驗。有人可能會提出，降低人工智能的自主性，將判斷權(quán)和決定權(quán)牢牢限制在指揮官和操作人員手中，可有效規(guī)避上述風(fēng)險。但這只是一種理想的假設(shè)，人對于軍事技術(shù)的運用不僅僅受倫理的約束，還與作戰(zhàn)效率密切相關(guān)。主觀上將軍事技術(shù)的使用限制在一定閾值下，在實際操作層面實現(xiàn)起來并不容易。

數(shù)據(jù)漏洞引發(fā)的倫理風(fēng)險

數(shù)據(jù)安全是指算法內(nèi)部數(shù)據(jù)模型或外部數(shù)據(jù)集在處理、存儲過程中的數(shù)據(jù)安全問題。在軍用領(lǐng)域，人工智能數(shù)據(jù)安全主要面臨兩大風(fēng)險，即訓(xùn)練數(shù)據(jù)被污染的安全風(fēng)險和核心數(shù)據(jù)遭竊取的安全風(fēng)險。

人工智能發(fā)展到當(dāng)前階段，訓(xùn)練數(shù)據(jù)被污染的風(fēng)險主要來源于數(shù)據(jù)投毒。數(shù)據(jù)投毒是指通過在訓(xùn)練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等，破壞數(shù)據(jù)的完整性，進(jìn)而導(dǎo)致訓(xùn)練的算法模型決策出現(xiàn)偏差。在軍事領(lǐng)域，人工智能應(yīng)用的安全性與其準(zhǔn)確的識別能力、精確的打擊能力、快速的反應(yīng)能力密不可分。而一旦訓(xùn)練數(shù)據(jù)被嚴(yán)重污染，就有可能導(dǎo)致以下幾種情況的出現(xiàn)：人工智能決策系統(tǒng)給出的方案并非最優(yōu)方案，甚至存在巨大安全隱患；人工智能武器系統(tǒng)在無人授權(quán)的情況下隨意改變攻擊目標(biāo)、擴大攻擊范圍，造成嚴(yán)重的平民傷亡；與人工智能相關(guān)聯(lián)的戰(zhàn)略武器系統(tǒng)受到錯誤誘導(dǎo)，自主啟動發(fā)動攻擊，從而引發(fā)毀滅性災(zāi)難。誠然，人工智能作為科學(xué)技術(shù)發(fā)展的最新成果，其本質(zhì)的工具屬性并沒有改變。正如愛因斯坦在1930年給英國反戰(zhàn)團體“不再打仗運動”的復(fù)信中所指出的：“科學(xué)是一種強有力的工具。怎樣用它，究竟是給人帶來幸福還是帶來災(zāi)難，全取決于人自己，而不取決于工具。刀子在人類生活上是有用的，但它也能用來殺人?！比斯ぶ悄茉谲娛骂I(lǐng)域應(yīng)用的巨大潛力和潛在風(fēng)險同時存在，既不能一葉蔽目，也不宜因噎廢食，要一分為二、辯證看待。同時，也應(yīng)看到，雖然人工智能的出現(xiàn)并沒有徹底顛覆科學(xué)技術(shù)和軍事安全之間的關(guān)系，但由于人工智能高度“擬人化”的行為特征和“去人化”的運行機制，加之軍事活動與以生命健康權(quán)為基本權(quán)利的人權(quán)密切關(guān)聯(lián)，一旦內(nèi)在的風(fēng)險釋放出來，勢必會對人類安全造成嚴(yán)重的威脅。因此，從技術(shù)倫理的角度對訓(xùn)練數(shù)據(jù)被污染的潛在風(fēng)險進(jìn)行審視，并加以規(guī)制，不僅是必要的，也是必需的。

人工智能算法本質(zhì)上可以看成一個很復(fù)雜的函數(shù)，若其內(nèi)部某些參數(shù)泄露，則攻擊者可以利用這些信息構(gòu)造出與原模型相似度非常高的模型，進(jìn)而可以還原出模型訓(xùn)練和運行過程中的數(shù)據(jù)以及相關(guān)的隱私數(shù)據(jù)。在民用領(lǐng)域，數(shù)據(jù)遭竊取的風(fēng)險主要集中在用戶隱私、公民權(quán)益、商業(yè)秘密、知識產(chǎn)權(quán)保護(hù)、社會公平公正等方面，世界各國已陸續(xù)從國家戰(zhàn)略層面、法律法規(guī)層面、標(biāo)準(zhǔn)制定層面對人工智能數(shù)據(jù)管理加以規(guī)范。而一旦進(jìn)入到軍用領(lǐng)域，由于數(shù)據(jù)安全的責(zé)任主體從個人、企業(yè)、組織上升到了國家，數(shù)據(jù)安全風(fēng)險的波及范圍也從社會內(nèi)部延伸到了國家之間，其復(fù)雜程度和敏感程度均有了顯著提升。譬如，在戰(zhàn)時，為了掌握戰(zhàn)爭主動權(quán)，對交戰(zhàn)對手的軍事情報和密碼進(jìn)行竊取和破譯通常被認(rèn)為是符合戰(zhàn)爭法和軍事倫理規(guī)范的。但在平時，以人工智能技術(shù)為媒介，竊取別國的核心軍事數(shù)據(jù)，以至于嚴(yán)重威脅國防安全，則無論是在法理上還是道德上都存在較大的爭議。這樣的行為一旦得到默許，勢必會加劇國與國之間的緊張關(guān)系，對原本就脆弱的國際安全局勢產(chǎn)生惡劣影響。另外，黑客和恐怖組織也同樣有可能通過人工智能技術(shù)漏洞竊取相關(guān)數(shù)據(jù)，開展非法和恐怖活動，危及國家安全。

數(shù)據(jù)投毒為以人工智能作為主要防御手段的數(shù)據(jù)安全帶來巨大挑戰(zhàn)

簡言之，由于人工智能軍事應(yīng)用以大量的數(shù)據(jù)為支撐，其發(fā)展的同時必然伴隨著巨大的數(shù)據(jù)安全風(fēng)險，如果管控不當(dāng)，勢必引發(fā)嚴(yán)重的安全倫理問題，這也提醒我們以審慎的態(tài)度來看待人工智能在軍事領(lǐng)域的應(yīng)用前景，切勿盲目樂觀、急于求成。

信息失控引發(fā)的倫理風(fēng)險

信息安全是指人工智能技術(shù)下，信息的保密性、真實性等安全問題。一方面，大數(shù)據(jù)的出現(xiàn)使得對于個人隱私信息的收集變得越來越容易進(jìn)行；另一方面，隨著換臉換聲技術(shù)的興起，偽造圖片和音視頻信息大量涌現(xiàn)且真假難辨，大大降低了信息的可信度和透明度?；谝陨咸攸c，人工智能軍事應(yīng)用將面臨兩大倫理風(fēng)險，即個人隱私信息被用于軍事目的和信息迷霧沖擊戰(zhàn)爭倫理的風(fēng)險。

斯諾登將美軍的“棱鏡”項目公之于眾

關(guān)于人工智能對于隱私權(quán)的侵犯，目前學(xué)界討論的重點主要集中在商業(yè)民用領(lǐng)域，所產(chǎn)生的問題基本上都可在現(xiàn)有的法律框架內(nèi)予以解決。而一旦信息采集的主體變?yōu)閲?、政府、軍事集團，信息采集的目的從經(jīng)濟擴展到了政治、軍事等層面，問題將變得尤為尖銳和復(fù)雜。2013年6月，中情局前職員愛德華·斯諾登向媒體披露美國國家安全局的一項代號為“棱鏡”的秘密項目，項目內(nèi)容顯示，過去6年間，美國國家安全局和聯(lián)邦調(diào)查局通過進(jìn)入微軟、谷歌、蘋果、雅虎等九大網(wǎng)絡(luò)巨頭的服務(wù)器，監(jiān)控美國公民的電子郵件、聊天記錄、視頻及照片等秘密資料。2018年3月，《衛(wèi)報》和《紐約時報》同時刊登長文，共同將矛頭指向了服務(wù)于特朗普團隊的數(shù)據(jù)助選公司Cambriage Analytica，指控其通過Facebook獲得了總計5000萬用戶信息的個人資料，并建立模型，為之后大選的精準(zhǔn)推送打基礎(chǔ)?？梢灶A(yù)見的是，隨著人工智能和大數(shù)據(jù)的不斷發(fā)展，通過各種渠道收集個人隱私信息的門檻將變得越來越低?，F(xiàn)代戰(zhàn)爭不僅是交戰(zhàn)雙方軍事力量的抗衡，更是雙方在經(jīng)濟、政治、文化、外交、科技等方面的綜合較量，從某種意義上來說，本國某一特殊群體對于戰(zhàn)爭的態(tài)度、敵對國某一企業(yè)的財政狀況等微觀層面的因素均會在無形中對戰(zhàn)爭的走勢發(fā)生影響，這也為政府出于軍事方面考慮收集組織、企業(yè)、個人的信息提供了動機。當(dāng)今世界，美國作為頭號軍事強國，其海外軍事基地遍及全球，在缺乏外部有效監(jiān)督的情況下，極有可能利用人工智能技術(shù)帶來的便捷條件，將觸角伸到本土之外，以確保對戰(zhàn)略競爭對手的信息優(yōu)勢。相較民用領(lǐng)域，出于軍事目的對于個人隱私權(quán)和信息權(quán)的侵犯更具持久性、隱蔽性和破壞性，對于國際安全環(huán)境和全球人權(quán)事業(yè)也將造成更為深遠(yuǎn)的影響。設(shè)想一下，一名A國的普通公民，其行動軌跡圖、人際關(guān)系網(wǎng)甚至日常上網(wǎng)記錄等信息均存儲在B國的國防數(shù)據(jù)庫中，一旦戰(zhàn)事開啟，B國就可利用網(wǎng)絡(luò)對其進(jìn)行信息轟炸。如果此人屬于B國認(rèn)定的“危險人物”，還有可能隨時遭到B國派出的殺手機器人的精準(zhǔn)暗殺。此外，如果B國掌握的個人信息落入到恐怖組織手中，還會在全球范圍內(nèi)造成更大程度的恐慌，引起難以彌合的信任危機。因此，人工智能在軍事領(lǐng)域的應(yīng)用同樣可能對個人信息權(quán)、隱私權(quán)、生命健康權(quán)造成侵犯，要避免這一可能性轉(zhuǎn)化為現(xiàn)實，單單寄希望于各國政客、科研技術(shù)人員、軍人的道德修養(yǎng)和倫理操守顯然是不現(xiàn)實的。

重要情報一旦落入別有用心的人手中，將引發(fā)巨大災(zāi)難

隨著人工智能技術(shù)在圖像處理上的飛速發(fā)展，通過人工智能生成的圖像和視頻資料幾乎可以達(dá)到以假亂真的效果。隨著人工智能在軍事領(lǐng)域的應(yīng)用越來越廣泛，不難想見，未來戰(zhàn)爭中的信息迷霧只會不斷加深，若缺乏外界的有效約束，交戰(zhàn)雙方必定會想方設(shè)法偽造對自己有利的證據(jù)資料，并以此裹挾輿論風(fēng)向。一方面，信息迷霧的出現(xiàn)會嚴(yán)重?fù)p害普通民眾對戰(zhàn)爭中事件真相的知曉權(quán)；另一方面，在輿論戰(zhàn)中使用的各種欺騙手段將大大降低戰(zhàn)爭倫理水平，從而導(dǎo)致參戰(zhàn)人員在戰(zhàn)爭中遵守交戰(zhàn)規(guī)則和實行人道主義的外部約束力量進(jìn)一步減弱，進(jìn)而滋生一系列破壞交戰(zhàn)規(guī)則和反人道的行為。雖然，在現(xiàn)代戰(zhàn)爭中并不禁止一切形式的欺騙，但這并不代表交戰(zhàn)雙方可以為了贏得戰(zhàn)爭實行任何形式的欺騙，認(rèn)可后者，等同于將人類社會的文明程度拉回到原始社會，是對人類文明的肆意褻瀆和惡意嘲弄。再者，隨著全球化趨勢的不斷增強，國家的知情權(quán)已成為國家在國際法上享有的一種私法權(quán)利?，F(xiàn)代戰(zhàn)爭已不僅僅是交戰(zhàn)雙方的對抗，戰(zhàn)爭進(jìn)程的任何細(xì)微變動都會對“地球村的其他居民”產(chǎn)生影響，這也就要求在交戰(zhàn)雙方在戰(zhàn)爭中遵守特定的交戰(zhàn)規(guī)則，保持一定的透明度。因此，如何防止人工智能在軍事活動中產(chǎn)生的信息迷霧沖擊現(xiàn)有戰(zhàn)爭倫理，將是各國在發(fā)展人工智能軍事應(yīng)用進(jìn)程中無法回避的重要課題。