馬 光

（浙江大學(xué)光華法學(xué)院，浙江杭州，310008）

一、引言

人工智能已用于自動駕駛汽車和醫(yī)療機器人等商業(yè)用途，在第四次工業(yè)革命中產(chǎn)生了重大影響。現(xiàn)在，世界各國紛紛投入到利用人工智能在軍事競爭中取得優(yōu)勢的全球競賽中，例如“致命自主武器系統(tǒng)”（Lethal Autonomous Weapon Systems，以下簡稱為LAWS）、“完全自主武器”或“殺手機器人”，都反映了這些努力。美國、中國、俄羅斯、印度、德國、韓國等各國政府越來越多地在人工智能領(lǐng)域進(jìn)行投資，以開發(fā)用于軍事應(yīng)用的先進(jìn)人工智能系統(tǒng)。2017年7月，中國國務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》，該政策概述了中國在未來幾年內(nèi)建立價值近1500億美元的國內(nèi)人工智能產(chǎn)業(yè)，并到2030年成為領(lǐng)先的人工智能強國的戰(zhàn)略。

國際法并未對武器以及自主武器給出明確定義。紅十字國際委員會將“自主武器系統(tǒng)”定義為：“在關(guān)鍵功能上具有自主權(quán)的任何武器系統(tǒng)?！币簿褪钦f，一種無需人為干預(yù)就能選擇（即搜索或檢測、識別、跟蹤、選擇）并攻擊（即反對、無效化、破壞或摧毀）目標(biāo)的武器系統(tǒng)。[1]LAWS與現(xiàn)有武器的不同之處在于，它具有能夠在不被人為激活的情況下選擇和攻擊目標(biāo)的能力。而2012年美國國防部的第3000.09指令則將自主武器定義為：“一旦激活，無需操作員進(jìn)一步人工干預(yù)，可自行選擇、攻擊目標(biāo)的武器?！盵2]雖然各國通過《禁止或限制使用特定可被認(rèn)為具有過分傷害力或濫殺濫傷作用的常規(guī)武器公約》（簡稱《特定常規(guī)武器公約》，Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May be Deemed to be Excessively Injurious or to Have Indiscriminate Effects， 以下簡稱為CCW）與LAWS相關(guān)的新興技術(shù)的政府專家組（Group of Governmental Experts，以下簡稱為GGE）等就自主武器的定義問題進(jìn)行過多次討論，但一直未能就此達(dá)成一致意見，甚至各方就目前是否有需要給其下一個定義也無法達(dá)成合意。而且，因為LAWS指稱“致命自主武器系統(tǒng)”，如何界定致命與否也是一大難點。自動化與自主化區(qū)分是一個質(zhì)的變化[3]，從這一點來說，本文所探討的不包括自動化武器。

因為自主武器與人工智能有密切聯(lián)系，所以也有學(xué)者將其稱為人工智能武器。[4]從目前的現(xiàn)狀來看，因為能夠做到完全自主尚且困難，從這個意義上來看，或許人工智能武器的用詞具有其合理性。但是，從另外一個方面來看，如果考慮到當(dāng)前世界上普遍使用自主武器的名稱，以后隨著技術(shù)的發(fā)展或許有可能出現(xiàn)完全自主的武器，再加上如果使用人工智能武器的名稱，有可能和網(wǎng)絡(luò)武器產(chǎn)生混淆等原因，筆者還是傾向采用自主武器的名稱。而關(guān)于網(wǎng)絡(luò)武器，則不成為本文研究的對象。網(wǎng)絡(luò)武器是被《塔林手冊》提到的概念，其定義為：“通過使用、設(shè)計或意圖使用以導(dǎo)致對人員的傷亡或死亡，或?qū)ξ矬w的損害或毀壞的網(wǎng)絡(luò)戰(zhàn)手段，也即，導(dǎo)致可以將網(wǎng)絡(luò)行動認(rèn)定為攻擊后果的網(wǎng)絡(luò)戰(zhàn)手段。”a《塔林手冊》規(guī)則103第2段。從網(wǎng)絡(luò)武器難以探測這一屬性來看[5]，其與自主武器還是能夠較為容易地予以區(qū)分。機器人殺手是很典型的自主武器，而網(wǎng)絡(luò)病毒則是網(wǎng)絡(luò)武器，但如果采用人工智能武器的概念，網(wǎng)絡(luò)病毒既屬于網(wǎng)絡(luò)武器，又屬于人工智能武器。

二、CCW框架內(nèi)對LAWS的討論與評析

1979至1980年在聯(lián)合國主持下談判達(dá)成的CCW植根于國際人道主義法的關(guān)鍵原則，例如平民和戰(zhàn)斗人員之間的相稱性和區(qū)別對待。目前，該公約已有五項議定書，即關(guān)于無法檢驗的碎片的第一議定書，禁止或限制使用地雷、誘殺裝置和其他裝置的第二議定書，關(guān)于禁止或限制使用燃燒武器的第三議定書，關(guān)于激光致盲武器的第四議定書，以及關(guān)于戰(zhàn)爭遺留爆炸物的第五議定書?？梢钥闯?，CCW采用模塊化設(shè)計，隨著圍繞武器系統(tǒng)的人道主義問題不斷發(fā)展和新系統(tǒng)不斷出現(xiàn)，這樣的模塊化設(shè)計能將新的解決方案附加到框架條約中。所有在人工智能系統(tǒng)中擁有能力或正在發(fā)展能力的國家都是CCW的締約國，包括加拿大、中國、法國、德國、印度、以色列、日本、韓國、俄羅斯、英國和美國?；谶@樣的優(yōu)勢，其已經(jīng)成為國際層面對LAWS進(jìn)行研究和討論的重要平臺。

2013年5月，聯(lián)合國人權(quán)事務(wù)高級專員辦事處法外處決，即決處決或任意處決問題特別報告員發(fā)布了一份關(guān)于致命自主機器人技術(shù)的報告，并宣布“機器人不應(yīng)該擁有對人類的生死決定力量”。該報告還建議各國暫時停止一些相關(guān)的技術(shù)發(fā)展。該報告引起了人權(quán)理事會的關(guān)注，然后引起了CCW框架的關(guān)注。在同一年的CCW締約國大會上，與會國經(jīng)過討論，決定于2014年在CCW設(shè)立專門討論LAWS的非正式專家會議。之后至今，在CCW框架下圍繞LAWS這一議題共召開了三次非正式專家會議和四次GGE會議。經(jīng)過2014—2016年的三次非正式專家會議，在2016年的CCW締約國大會上，決定成立專門致力于討論與LAWS相關(guān)的新興技術(shù)的GGE。之后，在2017年11月13日—17日、2018年4月9日—13日、8月27日—31日、2019年3月25日—29日、8月20日—21日，GGE分別召開了會議。就2019年的會議來看，CCW的80個締約國和2個簽署國參加會議，另外有4個非締約國作為觀察員參加會議。除了國家之外，歐盟、紅十字國際委員會、聯(lián)合國裁軍研究所等國際組織和多數(shù)非政府組織和大學(xué)、科研機構(gòu)也派員參加了會議。這幾次會議的主要審議議程包括：（1）LAWS的特點；（2）致命武力的使用方面人的因素，LAWS領(lǐng)域新技術(shù)的發(fā)展、部署和使用方面的人機交互問題；（3）相關(guān)技術(shù)的潛在的軍事應(yīng)用；（4）應(yīng)對LAWS領(lǐng)域的新技術(shù)帶來的人道主義和國際安全挑戰(zhàn)的可能辦法；（5）LAWS領(lǐng)域的新興技術(shù)對國際人道主義法構(gòu)成的潛在挑戰(zhàn)。[6]

而經(jīng)過討論，各方達(dá)成了如下指導(dǎo)原則：（1）國際人道主義法繼續(xù)完全適用于所有武器系統(tǒng)，包括LAWS的可能開發(fā)和使用；（2）人類仍須對武器系統(tǒng)的使用決定負(fù)有責(zé)任；（3）應(yīng)確保對基于LAWS領(lǐng)域的新興技術(shù)的武器系統(tǒng)的潛在使用符合適用的國際法，特別是國際人道法；（4）應(yīng)確保根據(jù)適用的國際法在CCW的框架內(nèi)對發(fā)展、部署和使用任何新武器系統(tǒng)問責(zé)，包括使這類系統(tǒng)在人類指揮和控制的責(zé)任鏈中運作；（5）在研究、發(fā)展、取得或采用新的武器、作戰(zhàn)手段或方法時，國家有義務(wù)按照國際法確定，該新武器、作戰(zhàn)手段或方法的使用在某些或所有情況下是否為國際法所禁止；（6）在發(fā)展或取得基于LAWS領(lǐng)域新技術(shù)的新武器系統(tǒng)時，應(yīng)考慮到實體安保、適當(dāng)?shù)姆菍嶓w保障（包括針對黑客攻擊或數(shù)據(jù)欺騙等網(wǎng)絡(luò)安全問題）、落入恐怖主義團體手中的風(fēng)險和擴散的風(fēng)險；（7）風(fēng)險評估和減小風(fēng)險的措施應(yīng)成為任何武器系統(tǒng)新技術(shù)的設(shè)計、發(fā)展、測試和部署周期的組成部分；（8）LAWS領(lǐng)域新技術(shù)的使用應(yīng)考慮到須信守國際人道法和其他適用國際法律義務(wù)；（9）在擬定可能的政策措施時，不應(yīng)使LAWS領(lǐng)域的新技術(shù)人格化；（10）在CCW范圍內(nèi)討論和采取任何可能的政策措施都不應(yīng)阻礙智能自主技術(shù)的進(jìn)步或和平利用；（11）CCW提供了適當(dāng)?shù)目蚣?，可在CCW的目標(biāo)和宗旨的范圍內(nèi)處理LAWS領(lǐng)域新技術(shù)的問題，力求在軍事必要性和人道主義考慮之間求得平衡。[6]從這些討論結(jié)果來看，GGE對如下幾點已經(jīng)達(dá)成了共識：（1）CCW是討論LAWS問題的適當(dāng)平臺；（2）現(xiàn)有國際人道法依舊適用于LAWS的戰(zhàn)場；（3）發(fā)展、生產(chǎn)和部署LAWS的責(zé)任在于行動國家；（4）LAWS監(jiān)管措施不能阻礙民用人工智能的合理開發(fā)；（5）在無人干預(yù)情況下使用完全致命性自主武器系統(tǒng)是不可接受。[7]而對于LAWS的定義和特點，是否予以禁止，是否制定新的相關(guān)國際規(guī)則等方面則存在較大分歧。

因為在CCW框架內(nèi)討論的LAWS是“致命自主武器系統(tǒng)”，而這一點可能會引起混淆。這就需要對“致命性”進(jìn)行界定，還要明確“不致命”的自主武器系統(tǒng)是否應(yīng)排除在討論范圍。正如有主張認(rèn)為，把重點放在致命性上，不能解決國際人道法所保護的人身傷害或物體損害問題。[8]既然是因為自主武器與傳統(tǒng)武器比較起來有自主性，所以對其單獨進(jìn)行討論，那么，沒有必要將討論的范圍限定在“致命”自主武器上，重點應(yīng)該放在“自主性”上。另一個層面來考慮，CCW完全可以成為討論自主武器整體的合適場所。

關(guān)于對自主武器的定義問題，可以先從其特點來入手，當(dāng)把這些特點都概括出來，并在各國之間對此達(dá)成合意，自然就可以形成一個定義。雖然自主武器的使用確實可能會伴隨各種風(fēng)險，但是在其反面，確實也存在使用自主武器可能對國際人道法有利的層面，在這些都僅僅是可能性的情況下，將對其預(yù)斷禁止使用不符合邏輯。更為重要的是，若要對其禁止，顯然是要各個主權(quán)國家的同意，就是要形成國家之合意，但從目前的情況來看，各國特別是世界上的主要大國都致力于自主武器的研發(fā)，要使得這些國家放棄性質(zhì)尚未確定的武器的開發(fā)，顯然不現(xiàn)實。換個思路，如果在目前志同道合的國家之間形成相關(guān)協(xié)議禁止自主武器的開發(fā)和部署意義也不大，因為這些國家本身開發(fā)和部署能力就比較弱。自主武器不同于生化武器或核武器，至少目前來看很難說其對國際人道法會帶來極大的沖擊，所以目前這個階段對其直接予以禁止顯然不可行。

有些自主武器可能構(gòu)成新的武器種類，而有些則是對傳統(tǒng)武器賦予了自主性。所以，從國際法上對其予以規(guī)制時，可以專門制定適用于自主武器整體的規(guī)則，而那些對傳統(tǒng)武器賦予自主性的，則完全可以適用現(xiàn)有規(guī)則中的相關(guān)內(nèi)容。

三、GDPR自動化的個人決策規(guī)定及其對LAWS的啟示

2018年5月25日正式生效的歐盟《一般數(shù)據(jù)保護條例》（General Data Protection Regulation，以下簡稱為GDPR）適用于所有自動化的個人決策。但是，數(shù)據(jù)主體有權(quán)反對完全依靠自動化處理（包括用戶畫像bGDPR第4條第4項將“用戶畫像”定義為：為了評估自然人的某些條件而對個人數(shù)據(jù)進(jìn)行的任何自動化處理，特別是為了評估自然人的工作表現(xiàn)、經(jīng)濟狀況、健康、個人偏好、興趣、可靠性、行為方式、位置或行蹤而進(jìn)行的處理。）的、對數(shù)據(jù)主體作出具有法律影響或類似重大影響的決策。cGDPR第22條第1款?！巴耆揽俊钡暮x是人對決策結(jié)果不施加實際影響，換言之，在該決策作出之前沒有人的介入或評價。如果人的介入要得到認(rèn)定，控制者應(yīng)該保障人對該決策的檢討不局限于形式，而是有意義地實質(zhì)性介入，即此類介入的主體應(yīng)具有變更自動化決策的權(quán)限。除了正式?jīng)Q策，信息主體還能從產(chǎn)生類似重大影響的措施中得到保護。因此，僅依據(jù)自動化處理的決策范圍可以得到擴大。在此，類似的重大影響既可能是肯定性的，也可能是否定性的，這種影響有可能因第三人的行為而引發(fā)，該第三人并非是自動化決策的相關(guān)人。[9]但是，這一規(guī)定有三個例外，包括：當(dāng)決策對于數(shù)據(jù)主體與數(shù)據(jù)控制者的合同簽訂或合同履行是必要的；當(dāng)決策是歐盟或成員國的法律所授權(quán)的；當(dāng)決策建立在數(shù)據(jù)主體的明確同意基礎(chǔ)之上。dGDPR第22條第2款。合同相關(guān)例外中的必要性條件應(yīng)采用嚴(yán)格解釋。而關(guān)于數(shù)據(jù)主體的明確同意，其應(yīng)經(jīng)表達(dá)聲明予以確認(rèn)，而不僅僅是肯定性行為。[9]如果出于訂立或履行合同所必要，基于個人的明確同意而允許進(jìn)行對個人具有法律或類似重大影響的完全自動化的決策時，則數(shù)據(jù)控制者應(yīng)當(dāng)采取適當(dāng)措施保障數(shù)據(jù)主體的權(quán)利、自由、正當(dāng)利益，以及數(shù)據(jù)主體對控制者進(jìn)行人工干涉，以便表達(dá)其觀點和對決策進(jìn)行異議的基本權(quán)利。eGDPR第22條第3款。這里的關(guān)鍵在于人工干涉，而此類干涉到底如何進(jìn)行看起來并不明確。人的干涉要得以認(rèn)定，控制者應(yīng)保障人對該決策的檢討不局限于形式上，進(jìn)而干涉的主體或評價者應(yīng)具有能夠變更該決策的權(quán)限。為此，需要對包括信息主體提供的額外信息在內(nèi)，對所有相關(guān)信息進(jìn)行完整的評價。[9]總之，對于對個人具有法律或類似重大影響的完全自動化的決策，應(yīng)確保個人進(jìn)行人工干涉，表達(dá)他們的觀點和獲得有關(guān)該決策的解釋并提出質(zhì)疑的權(quán)利。應(yīng)向個人提供有關(guān)決策過程中涉及的相關(guān)邏輯，包括此類處理對于數(shù)據(jù)主體的預(yù)期后果的有效信息。fGDPR第13條第2款f項和第14條第2款g項。為確保數(shù)據(jù)主體的個人數(shù)據(jù)得到公平、透明的處理，控制者應(yīng)使用適當(dāng)?shù)臄?shù)學(xué)或統(tǒng)計程序。應(yīng)采取適當(dāng)?shù)募夹g(shù)和組織措施，以糾正錯誤并最大程度地減少錯誤的風(fēng)險。個人數(shù)據(jù)的保護應(yīng)與個人利益和權(quán)利受到的風(fēng)險成比例，并防止歧視性影響。gGDPR前言第71段。

由于自動化的個人決策被認(rèn)為是高風(fēng)險的，因此，需要進(jìn)行數(shù)據(jù)保護影響評估（Data Protection Impact Assessment，以下簡稱為DPIA），以表明識別和評估了哪些風(fēng)險以及如何解決這些風(fēng)險。當(dāng)某種類型的處理（特別是適用新技術(shù)進(jìn)行的處理）很可能會對自然人的權(quán)利與自由帶來高風(fēng)險時，在考慮了處理的性質(zhì)、范圍、語境與目的后，控制者應(yīng)當(dāng)在處理之前評估計劃的處理進(jìn)程對個人數(shù)據(jù)保護的影響。若多項高風(fēng)險處理活動屬于同一種類，那么，此時僅對其中某一項活動進(jìn)行評估即可。hGDPR第35條第1款。這里的DPIA類似于根據(jù)《1949年日內(nèi)瓦四公約第一附加議定書》（以下簡稱為《第一附加議定書》）第36條審查新武器的合法性。

2018年10月23日，第四十屆國際數(shù)據(jù)保護和隱私專員國際大會發(fā)布了《人工智能中的道德與數(shù)據(jù)保護宣言》。該宣言涵蓋指導(dǎo)原則，將其作為在人工智能發(fā)展中維護人權(quán)的核心價值，包括：“應(yīng)提高人工智能系統(tǒng)的透明度和清晰度，以有效實施為目標(biāo)，特別是：提供有關(guān)人工智能系統(tǒng)的目的和效果的足夠信息，以驗證與個人期望的持續(xù)一致性，并實現(xiàn)對此類系統(tǒng)的整體人為控制?！逼渌齻€關(guān)鍵原則是：人工智能和機器學(xué)習(xí)技術(shù)的設(shè)計、開發(fā)和使用應(yīng)在尊重基本人權(quán)的前提下并按照“公平原則”進(jìn)行，包括考慮人工智能對整個社會的影響。人工智能系統(tǒng)應(yīng)該負(fù)責(zé)任地設(shè)計和開發(fā)，這需要遵循“默認(rèn)的隱私”和“設(shè)計的隱私”的原則。應(yīng)當(dāng)減少和減輕人工智能中使用數(shù)據(jù)可能導(dǎo)致的非法偏見和歧視。

GDPR的自動化的個人決策規(guī)定可以對自主武器的規(guī)則制定提供一些啟示，因為兩者都涉及到了自動化的處理信息問題。GDPR對其采取的是有例外的禁止，而對于LAWS，現(xiàn)在也有完全予以禁止的主張。例如，2013年5月，聯(lián)合國人權(quán)事務(wù)高級專員辦事處法外處決，即決處決或任意處決問題特別報告員發(fā)布了一份關(guān)于致命自主機器人技術(shù)的報告，建議各國暫時停止一些相關(guān)的技術(shù)發(fā)展。2018年，在國際人工智能聯(lián)合會議上，2400多名人工智能領(lǐng)域?qū)W者共同簽署了《禁止致命性自主武器宣言》（Lethal Autonomous Weapons Pledge）。宣言指出，LAWS會在脫離人類控制的情況下選擇目標(biāo)并實施攻擊，這帶來了道德及現(xiàn)實層面的雙重危險，人類的生命權(quán)決不能交給機器，而且，此類武器的擴散將對所有國家、個人造成極大的威脅。而截至2018年3月，已有22個國家正式表示采取措施禁止完全自主武器系統(tǒng)的發(fā)展[10]，這種趨勢也反映在這幾年的GGE會議上。但是考慮到國家實踐和自主武器對國際人道法是否僅具有負(fù)面影響等問題尚未明朗，完全對其禁止顯然不可行。那么，是否可以考慮采用有例外的禁止呢？因為，目前尚不明確自主武器會對國際人道法產(chǎn)生何種影響，所以應(yīng)該在不設(shè)預(yù)斷的前提下通過研究探討對此作出約定。從這一點來看，有例外的禁止或許能成為一種選擇，如果是選擇了此種方案，就要對例外作出詳細(xì)規(guī)定，比如可以將部分防御性的自主武器納入到許可范圍。

GDPR規(guī)定的個人干涉權(quán)也可以反映在關(guān)于LAWS的規(guī)則中，正如目前已經(jīng)達(dá)成一致的要有人類有意義的控制的建議就與此非常類似。有意義的控制標(biāo)準(zhǔn)顯然可以參考GDPR中人工干涉的標(biāo)準(zhǔn)，即個人具有變更自動化決策的權(quán)限，而且這種干涉權(quán)是實質(zhì)干涉等內(nèi)容。

正如GDPR中在例外情況下自動化處理時，數(shù)據(jù)控制者還應(yīng)當(dāng)采取適當(dāng)措施保障數(shù)據(jù)主體的權(quán)利、自由、正當(dāng)利益，LAWS的部署和使用中也應(yīng)采取適當(dāng)措施保障包括國際人道法在內(nèi)國際法的遵守，而這里的國際法也會包括以后有可能就LAWS締結(jié)的相關(guān)條約。

而自動化處理對自然人的權(quán)利與自由帶來風(fēng)險進(jìn)行評估的DPIA制度，則對LAWS法律審查提供了有益的借鑒。CCW體系下的新武器審查機制在一些關(guān)鍵性的問題上界定不清，操作性不強，以至于《第一附加議定書》第36條確立至今雖已有近40年卻形同虛設(shè)的情況下[11]，我們有必要關(guān)注歐盟在GDPR下如何實施DPIA，包括制定何種詳細(xì)的實施細(xì)則，這些都將對LAWS的審查機制提供寶貴的經(jīng)驗。

四、自主武器國際法規(guī)制的核心問題

自主武器系統(tǒng)在武裝沖突中可能會帶來好處：它們可以減少人員傷亡的數(shù)量；借助人工智能幫助更精確地瞄準(zhǔn)目標(biāo)，武裝沖突可能會變得更加人道；人工智能可以改善戰(zhàn)場上的醫(yī)療；自主武器系統(tǒng)也可能提出新的挑戰(zhàn)；由于被派往實地的人數(shù)減少，卷入武裝沖突的政治成本可能會降低，因此，卷入武裝沖突的決定可能會受到較少的限制。但是一個以上的人工智能系統(tǒng)之間的武裝沖突將加速超越人們的理解和控制，從而引發(fā)類似于金融市場中的“閃崩”的“閃擊戰(zhàn)爭”。因此，不僅武裝沖突的性質(zhì)（Character），武裝沖突的本質(zhì)（Nature）也將發(fā)生巨大變化，從而開創(chuàng)人類歷史上的一個全新時代。在此時代，機器將像科幻小說一樣相互對抗。

問題在于人工智能的算法系統(tǒng)可能存在偏差。所有決策都是有偏見的，這是不可避免的，重要的是偏見是合理的和有目的的。算法偏見的許多原因包括對上下文的了解不足、優(yōu)化標(biāo)準(zhǔn)識別不當(dāng)、對所選標(biāo)準(zhǔn)缺乏明確的理由、使用給定上下文中不可接受的理由，并且由于實現(xiàn)錯誤和不可靠的輸入數(shù)據(jù)等原因?qū)е孪到y(tǒng)無法正常運行。但是，有關(guān)人類的人工智能的道德、法規(guī)和標(biāo)準(zhǔn)問題仍未解決。

根據(jù)《第一附加議定書》第36條規(guī)定，締約國在研究、發(fā)展和獲取新的武器、作戰(zhàn)手段或方法時，應(yīng)進(jìn)行合法武器審查，確保其遵守現(xiàn)有國際法。審查重點是這類武器或系統(tǒng)能否以及如何在攻擊目標(biāo)時做到與人一樣準(zhǔn)確，包括評估預(yù)期軍事優(yōu)勢和附帶損傷、區(qū)分戰(zhàn)斗人員與平民、區(qū)分健全的戰(zhàn)斗人員與失去作戰(zhàn)能力的戰(zhàn)斗人員等能力。[7]依據(jù)《第一附加議定書》第36條的合法武器審查程序，交換相關(guān)信息，對自主性技術(shù)的國際轉(zhuǎn)讓實施有效控制，防止擴散和非國家行為體的濫用。自主武器系統(tǒng)引起人們對失去使用武力的控制權(quán)的關(guān)注，這可能給武裝沖突中的平民和戰(zhàn)斗人員造成嚴(yán)重后果。人為控制的概念，無論是有意義的、適當(dāng)?shù)?、必要的、重要的還是其他表達(dá)，現(xiàn)在已經(jīng)牢固地成為在CCW上如何處理LAWS的辯論的核心。對“有意義的人為控制”（Meaningful Human Control）的要求來自兩個前提：第一，普遍認(rèn)為，施加武力和操作而沒有任何人為控制的機器是不可接受的；第二，人類僅僅根據(jù)計算機的指示按下“開火”按鈕，而沒有認(rèn)知的清晰性或意識，不足以在實質(zhì)意義上被視為“人類控制”。致命性自主武器系統(tǒng)領(lǐng)域的新技術(shù)對于法律武器審查造成的獨特困難，包括測試和自學(xué)系統(tǒng)每次自行改變時是否需要對其進(jìn)行審查。[8]

談到違反國際法時的責(zé)任問題，國際人道法將義務(wù)強加于國家、武裝沖突各方和個人，而不是機器，這一點已經(jīng)形成共識，但是關(guān)于個人之間的責(zé)任分配，還是有不少需要解決的難題。例如，開發(fā)武器的技術(shù)人員、部署武器的相關(guān)人員、指揮武器使用的指揮員以及實際使用的戰(zhàn)斗員的責(zé)任如何劃分？此外，還有諸如自主武器未按操作人員的意愿導(dǎo)致額外的損傷等問題，都會成為棘手的解決難題。

關(guān)于LAWS的出口管制問題，目前已有《關(guān)于禁止發(fā)展、生產(chǎn)、儲存和使用化學(xué)武器及銷毀此種武器的公約》（簡稱為《化學(xué)武器公約》）和《禁止發(fā)展、生產(chǎn)、儲存細(xì)菌（生物）及毒素武器和銷毀此種武器公約》（簡稱為《生物武器公約》）對軍民兩用技術(shù)和產(chǎn)品出口進(jìn)行管制，側(cè)重于使用目的（最終用途）而非一般目的（具體的物質(zhì)或技術(shù)），這可以為LAWS的出口管制提供經(jīng)驗和范例。

五、結(jié)論

因為自主武器并非只有負(fù)面影響，以及從世界上的主要國家都在致力于自主武器開發(fā)等實踐來看，完全對其禁止顯然不符合現(xiàn)實。但是，我們可以通過適用現(xiàn)存的國際法以及對其進(jìn)行規(guī)范，從而適當(dāng)?shù)貙ψ灾魑淦鞯拈_發(fā)和投入使用進(jìn)行一些規(guī)制?！恫粩U散核武器條約》《化學(xué)武器公約》《生物武器公約》、CCW等現(xiàn)有條約對部分LAWS具有可適用性，而作為習(xí)慣國際法的國際人道規(guī)則也可以約束LAWS。

不能停止或禁止使用各種類型的系統(tǒng)進(jìn)行自主操作，尤其是民用和軍用人工智能的開發(fā)和應(yīng)用。盡管部署LAWS并沒有技術(shù)上的障礙，但是，仍需實施某些國際法律控制。LAWS必須滿足國際人道法中規(guī)定的道德和法律要求標(biāo)準(zhǔn)。根據(jù)國際法，與LAWS相關(guān)的法律必須要求人為控制或介入，因為生死攸關(guān)的決策絕不能僅委托給非人為代理。關(guān)于LAWS的目標(biāo)選擇和參與決策，不應(yīng)完全委托給機器的觀點似乎已經(jīng)達(dá)成共識。GDPR要求僅個人自動化處理個人數(shù)據(jù)的人員參與會產(chǎn)生與數(shù)據(jù)主體有關(guān)的法律效力或類似地對其產(chǎn)生重大影響，這對LAWS是一個很好的借鑒。

隨著信息與通信技術(shù)（Information and Communications Technology，以下簡稱為ICT）的發(fā)展以及國家和國際社會的變化，涉及網(wǎng)絡(luò)空間和人工智能的新興問題需要以不同的方式處理。這些具有全球性的問題需要通過國際法在全球進(jìn)行處理?？紤]到網(wǎng)絡(luò)空間和ICT在全球范圍內(nèi)相互聯(lián)系，需要以跨學(xué)科或綜合的方式一起解決那些顯然是個人問題和領(lǐng)域，例如數(shù)據(jù)隱私、網(wǎng)絡(luò)安全和人工智能。軍事環(huán)境中的LAWS還需要在數(shù)據(jù)保護環(huán)境中進(jìn)行自動決策所需的人為因素，各國仍應(yīng)對其活動以及根據(jù)國際法歸因于其的活動負(fù)責(zé)，而人工智能也不應(yīng)例外。具有人工智能的機器人將不會處于與人類相同的地位。

我國作為CCW的締約國，也參加了LAWS的三次非正式專家會議和四次政府專家組會議，并在2018年的會議中提交過立場文件，主張：（1）LAWS應(yīng)被理解為完全自主的致命武器系統(tǒng)。支持就LAWS的具體定義達(dá)成協(xié)議，為此，首先支持關(guān)于LAWS的技術(shù)特征（規(guī)格，周長）的討論，并在此基礎(chǔ)上尋求明確的定義和范圍。（2）人機交互的必要措施有利于防止因脫離人為控制而造成的不加區(qū)別地殺死和致殘。有意義的人為控制和人為判斷等概念相當(dāng)籠統(tǒng)，應(yīng)進(jìn)一步闡述和闡明。（3）基于LAWS的各種不足，在采取適當(dāng)解決辦法之前，呼吁所有國家采取預(yù)防措施，特別是不要濫殺濫傷平民。（4）新興技術(shù)的影響值得客觀、公正和充分討論。在進(jìn)行此類討論之前，不應(yīng)存在任何可能妨礙人工智能技術(shù)發(fā)展的預(yù)設(shè)前提或預(yù)先判斷的結(jié)果。（5）LAWS原則上應(yīng)服從國際人道主義規(guī)則，包括預(yù)防、區(qū)分和相稱原則。然而，就這種武器系統(tǒng)而言，上述原則的應(yīng)用面臨許多不確定性。因此，在探討與LAWS有關(guān)的法律問題時，有必要充分考慮一般法律原則對LAWS的適用性。[12]

但是總體上，與歐美國家比較起來，這些尚不能反映我國在人工智能發(fā)展方面的當(dāng)前國際地位，特別是，與其他歐美發(fā)達(dá)國家有不少高等院校的學(xué)者參與會議相比，我國在此方面顯然是比較落后的。以2019年的GGE會議為例，就有包括哈佛大學(xué)、劍橋大學(xué)在內(nèi)的來自奧地利、英國、捷克、瑞士、美國、日本、德國、愛爾蘭、丹麥、加拿大、芬蘭、西班牙、澳大利亞等國的諸多高校和科研機構(gòu)派員參加了會議。我國也可以考慮以后的會議鼓勵國內(nèi)相關(guān)科研機構(gòu)派員參加會議，這樣，一方面學(xué)者可以與政府一同為中國觀點發(fā)聲，另一方面還可以通過這樣的高規(guī)格會議使得學(xué)者得到鍛煉和理論聯(lián)系實際的機會，進(jìn)而起到激發(fā)更多學(xué)者投入到相關(guān)研究的積極性。

關(guān)于武器的法律審查機制，在國際層面有不具有強制力的《新武器、新作戰(zhàn)手段和方法法律審查指南》，該指南由國際紅十字委員會于2006年出臺。至于國家層面，目前，僅有瑞典、美國、挪威、荷蘭、比利時、澳大利亞、法國、英國、德國和丹麥建立了武器合法性國內(nèi)審查機制。[10]我國也有必要通過國內(nèi)法規(guī)，對包括自主武器在內(nèi)的新武器引入法律審查機制，從而使得我國開發(fā)的自主武器符合國際人道法的相關(guān)要求。