李少鵬

內(nèi)容提要：隨著人工智能技術(shù)在軍事領(lǐng)域的深度應(yīng)用，人工智能武器既給人類帶來新的安全威脅，也對(duì)現(xiàn)有國際法體系帶來嚴(yán)重沖擊。必須準(zhǔn)確把握人工智能武器的基本概念，著眼于現(xiàn)有國際法規(guī)則及其基本原則，建立對(duì)人工智能武器的合法性審查機(jī)制，明晰人工智能武器應(yīng)用的法律責(zé)任，以解決人工智能武器應(yīng)用的法律困境。

隨著人工智能技術(shù)在軍事領(lǐng)域的深度運(yùn)用，人工智能武器或?qū)⒋蚱坪宋淦鲿r(shí)代大國之間通過核威懾和共同毀滅原則建立的安全平衡，成為改變國際政治格局的新型戰(zhàn)略武器。但人工智能武器尤其是殺傷性自主武器系統(tǒng)既給人類帶來新的安全威脅，也對(duì)現(xiàn)有國際法體系帶來嚴(yán)重沖擊，尤其是解決人工智能武器的合法性審查及其違法行為所引起的法律責(zé)任承擔(dān)問題，已成為國際法領(lǐng)域無法回避的重大課題。

一、人工智能武器基本概念

人工智能武器，又稱自主武器系統(tǒng)；它是指“任何在關(guān)鍵功能上具有自主性的武器系統(tǒng)。即無須人類干預(yù)就能獨(dú)立選定目標(biāo)并發(fā)起攻擊的武器系統(tǒng)?！雹偌t十字國際委員會(huì)：《關(guān)于自主武器系統(tǒng)的觀點(diǎn)》。https://www.icrc.org/zh/document/views-icrc-autonomousweapon-system, 2017-04-11/2019-08-24。與傳統(tǒng)武器相比，人工智能武器的運(yùn)行指令是預(yù)先設(shè)定的，一旦啟動(dòng)便可根據(jù)人類的預(yù)先授權(quán)自行選定目標(biāo)并完成進(jìn)攻，整個(gè)過程脫離人的直接控制和參與。自主性，是人工智能武器區(qū)別于傳統(tǒng)武器的根本特性。

傳統(tǒng)武器在使用時(shí)需要人來完成目標(biāo)觀察，同時(shí)對(duì)有效信息作出評(píng)估判斷、最終決定并實(shí)施攻擊，人直接參與并絕對(duì)控制武器使用時(shí)的每一個(gè)環(huán)節(jié)，即便目前已經(jīng)實(shí)現(xiàn)高度自動(dòng)化的武器，仍需要人來直接操作鎖定目標(biāo)并開火。與傳統(tǒng)武器相比，人工智能武器的運(yùn)行指令是預(yù)先設(shè)定的，一旦啟動(dòng)便可根據(jù)預(yù)定程序自行選定目標(biāo)和線路完成進(jìn)攻，具有高度的自主性，從選定目標(biāo)到發(fā)起攻擊的整個(gè)過程脫離人的直接控制和參與。

需要注意的是，人工智能武器的自主性并不等于人工智能武器的完全人格化。至少在現(xiàn)行的國際法理論研究框架下，人工智能武器的自主決策范圍仍受制于人類的指令設(shè)定，因而人工智能武器仍應(yīng)被視作人類工具的延伸，而無法賦予其獨(dú)立的法律人格。

二、人工智能武器合法性審查

人工智能武器，可以極大地改變現(xiàn)有戰(zhàn)爭(zhēng)格局，但若要取得國際法認(rèn)可的合法武器地位，其首先必須通過新型武器合法性審查，確保其符合國際法框架下的武器使用準(zhǔn)則，才能將人工智能武器真正合法地投入戰(zhàn)場(chǎng)使用。

（一）人工智能武器審查的法律依據(jù)

《日內(nèi)瓦公約第一附加議定書》第36條規(guī)定：“在研究、發(fā)展、使用新武器時(shí)，締約一方有義務(wù)確定，該新武器的使用是否被本議定書或任何其他國際法規(guī)則所禁止?！痹摋l款明確了審查新武器的責(zé)任主體為各締約國，為各締約國審查本國人工智能武器提供了重要的國際法依據(jù)。

人工智能武器的審查內(nèi)容，涉及軍事、法律、環(huán)境和健康等諸多領(lǐng)域和方向，其合法性評(píng)估標(biāo)準(zhǔn)也應(yīng)當(dāng)建立在符合通用國際條約、慣例的基礎(chǔ)之上，尤其是要遵守國際人道法確定的區(qū)分原則和比例原則——這在日內(nèi)瓦四公約及其附加議定書中，重點(diǎn)體現(xiàn)為保護(hù)平民免受武器殺害及保護(hù)戰(zhàn)斗員免受不必要痛苦。

（二）人工智能武器合法性審查之區(qū)分原則

根據(jù)區(qū)分原則，攻擊只能針對(duì)軍事目標(biāo)，禁止不分皂白的攻擊?！捌矫窬用癖旧硪约捌矫駛€(gè)人，不應(yīng)當(dāng)成為攻擊的對(duì)象”“就物體而言，軍事目標(biāo)只限于由于其性質(zhì)、位置、目的或用途對(duì)軍事行動(dòng)有實(shí)際貢獻(xiàn)，而且在當(dāng)時(shí)情況下其全部或部分毀壞、繳獲或失去效用提供明確的軍事利益的物體”。①《日內(nèi)瓦公約第一附加議定書》第51條、52條。如果人工智能武器無法針對(duì)某一特定軍事目標(biāo)實(shí)施打擊，則將被認(rèn)為不具有區(qū)分合法目標(biāo)和非法目標(biāo)的能力。

評(píng)估人工智能武器應(yīng)當(dāng)考慮的因素，包括軍事目標(biāo)是否可以準(zhǔn)確篩選、定位追蹤，使用的武器彈藥是否合理覆蓋目標(biāo)所在區(qū)域，目標(biāo)打擊是否在合理攻擊范圍等等。如果某人工智能武器在其研發(fā)階段就無法通過程序設(shè)定來有效區(qū)別平民與戰(zhàn)斗員、軍用物體與民用物體，則該武器應(yīng)被禁止通過審查。

（三）人工智能武器合法性審查之比例原則

比例原則，要求沖突國在戰(zhàn)爭(zhēng)中為取得軍事優(yōu)勢(shì)同時(shí)能盡量降低軍事行動(dòng)的附帶損害。若某人工智能武器的使用勢(shì)必會(huì)造成戰(zhàn)斗員過分傷害和不必要的痛苦，那么，該武器應(yīng)當(dāng)被禁止。②參見《日內(nèi)瓦公約第一附加議定書》第35條第1、2款：“在任何武裝沖突中，沖突各方選擇作戰(zhàn)方法和手段的權(quán)利，不是無限制的。禁止使用屬于引起過分傷害和不必要痛苦的性質(zhì)的武器、投射體和物質(zhì)及作戰(zhàn)方法?！薄度諆?nèi)瓦公約第一附加議定書》第35條第1、2款還規(guī)定：“為了取得同樣的軍事利益有可能在幾個(gè)軍事目標(biāo)之間進(jìn)行選擇時(shí)，選定的目標(biāo)應(yīng)是預(yù)計(jì)對(duì)平民生命和民用物體造成危險(xiǎn)最小的目標(biāo)?！?/p>

比例原則，要求人工智能武器審查應(yīng)當(dāng)至少考慮以下3個(gè)方面：一是武器所造成的傷害或痛苦是否出于合法的軍事目的；二是沖突一方為實(shí)現(xiàn)軍事優(yōu)勢(shì)配置的作戰(zhàn)力量適當(dāng)，不會(huì)對(duì)敵方戰(zhàn)斗員造成過分傷害和不必要的痛苦、對(duì)平民和民用財(cái)產(chǎn)造成過分的附帶損害；三是應(yīng)用人工智能武器時(shí)，應(yīng)當(dāng)采取合理可行的預(yù)防措施盡一切可能確認(rèn)被攻擊目標(biāo)的合法性。

三、人工智能武器應(yīng)用的法律責(zé)任

（一）人工智能武器應(yīng)用的法律責(zé)任困境

人工智能武器，通過新型武器的合法性審查后，我們至少可以認(rèn)為其技術(shù)本身并不會(huì)主動(dòng)違反武裝沖突法規(guī)則。然而，戰(zhàn)爭(zhēng)環(huán)境混亂復(fù)雜，人工智能武器接受的預(yù)設(shè)指令并不能涵蓋全部的戰(zhàn)場(chǎng)可能性，在模擬實(shí)驗(yàn)環(huán)境中通過審查的人工智能武器在實(shí)際戰(zhàn)場(chǎng)環(huán)境中，也可能會(huì)發(fā)生錯(cuò)誤判斷及行為后果。

由此，我們不得不面對(duì)一個(gè)新的法律困境：如果人工智能武器發(fā)起了錯(cuò)誤攻擊，誰應(yīng)當(dāng)為人工智能武器自主決策的攻擊行為負(fù)責(zé)？顯然，我們不能要求不具備人類理性、理解力、判斷力和道德感的機(jī)器，去承擔(dān)違反國際法規(guī)則的戰(zhàn)爭(zhēng)后果。

（二）界定人工智能武器應(yīng)用的責(zé)任范疇

雖然我們不能將遵守武裝沖突規(guī)則的義務(wù)加諸于人工智能武器，但是，如果參戰(zhàn)方在軍事行動(dòng)中因使用人工智能武器并借此獲得了具體、直接的軍事行動(dòng)利益，那么，使用人就應(yīng)當(dāng)意識(shí)到并盡量避免人工智能武器所可能導(dǎo)致的過分附帶傷害。因此，人工智能武器在使用時(shí)必須具備可預(yù)測(cè)性并被保留必要的人類監(jiān)督——人工智能武器開發(fā)者或使用者應(yīng)做到窮盡其理性避免人工智能武器在預(yù)設(shè)程序之外可能做出的違法行為，并對(duì)人工智能武器盡可能保留有效的或適當(dāng)?shù)娜祟惛深A(yù)，而人工智能武器應(yīng)用的法律困境，也因具備必要的人類干預(yù)和可歸責(zé)主體而界定責(zé)任的范疇。

1.國家責(zé)任

當(dāng)前，國際社會(huì)正在積極討論將殺傷性自主武器系統(tǒng)納入《特定常規(guī)武器公約》規(guī)制范疇?？梢灶A(yù)見，在國際公約的約束下，各締約國必將對(duì)本國管轄的人工智能武器的開發(fā)、部署行為負(fù)責(zé)?！霸谖溲b沖突中部署任何武器，其責(zé)任在于各國。各國必須根據(jù)適用國際法，確保對(duì)國家武裝部隊(duì)在武裝沖突中所用任何武器系統(tǒng)的致命行動(dòng)問責(zé)。應(yīng)進(jìn)一步考慮使用致命武力的人的因素?！雹貱CW. GGE:《聯(lián)合國致命性自主武器專家組2017年度報(bào)告》。http://www.sohu.com/a/228258611_358040,2018-04-14 / 2019-08-24。

各締約國應(yīng)制定完善的人工智能武器審查的程序、規(guī)則，尤其應(yīng)建立武器模擬測(cè)試和評(píng)價(jià)標(biāo)準(zhǔn)、方法、方案的透明審查機(jī)制；未經(jīng)實(shí)驗(yàn)或未經(jīng)充分模擬測(cè)試不得通過人工智能武器合法性審查，不應(yīng)為追求人工智能武器更高的自主性能放棄、犧牲任何必要的人類干預(yù)或風(fēng)險(xiǎn)緩解設(shè)計(jì)機(jī)制。根據(jù)國家責(zé)任法，凡是未遵守國際法的相關(guān)規(guī)則開發(fā)、使用或轉(zhuǎn)讓人工智能武器及人工智能武器技術(shù)的國家，必須承擔(dān)違反國際人道法行為的后果。

2.指揮官責(zé)任

目前，國際刑事司法實(shí)踐并不承認(rèn)間接故意犯罪以及不作為犯罪，追究個(gè)人責(zé)任仍以行為人實(shí)施犯罪為前提。盡管如此，依據(jù)《日內(nèi)瓦公約第一附加議定書》第35條第1款“在任何武裝沖突中，沖突各方選擇作戰(zhàn)方法和手段的權(quán)利，不是無限制的”，筆者認(rèn)為，沖突各方雖然有選擇其各自作戰(zhàn)方法的權(quán)利，但如果沖突一方因其使用人工智能武器而獲取更大軍事利益，應(yīng)當(dāng)為其受益行為承擔(dān)更大的法律風(fēng)險(xiǎn)。

下達(dá)使用人工智能武器命令的指揮官，應(yīng)當(dāng)預(yù)見到使用該武器可能帶來的風(fēng)險(xiǎn)，并為可能違反國際人道法的行為承擔(dān)刑事責(zé)任。指揮官在下達(dá)使用人工智能武器的命令時(shí)，應(yīng)當(dāng)事先對(duì)人工智能武器性能、攻擊目標(biāo)類型、運(yùn)行環(huán)境、適應(yīng)能力、可靠程度有充分的了解，對(duì)人工智能武器在戰(zhàn)場(chǎng)上能夠遵守武裝沖突法規(guī)有充分把握。如果“明知其無法準(zhǔn)確預(yù)測(cè)某一自主武器系統(tǒng)的性能和效果時(shí)仍然決定部署”① 紅十字國際委員會(huì)：《關(guān)于自主武器系統(tǒng)的觀點(diǎn)》。https://www.icrc.org/zh/document/views-icrc-autonomousweapon-system, 2017-04-11/2019-08-24。，指揮官便應(yīng)當(dāng)具備可歸責(zé)性而承擔(dān)個(gè)人責(zé)任。

3.操作人員責(zé)任

追究操作人員的個(gè)人責(zé)任的關(guān)鍵，在于全程記錄人工智能武器系統(tǒng)的各項(xiàng)人工操作數(shù)據(jù)，以便于界定操作人員使用人工智能武器時(shí)要為哪些錯(cuò)誤操作承擔(dān)個(gè)人責(zé)任。此外，未來戰(zhàn)場(chǎng)人類也很有可能會(huì)使用遠(yuǎn)程監(jiān)控系統(tǒng)全程實(shí)時(shí)監(jiān)測(cè)人工智能武器的運(yùn)行，如果遠(yuǎn)程監(jiān)控系統(tǒng)的操作人員知道或者應(yīng)當(dāng)知道人工智能武器即將攻擊非法目標(biāo)，但未及時(shí)報(bào)告指揮官或者采取任何措施阻止攻擊行為，那么該操作人員理論上也可能會(huì)因其未“按照國際人道法、武器系統(tǒng)安全規(guī)則和相關(guān)交戰(zhàn)規(guī)則謹(jǐn)慎操作”而被追究個(gè)人責(zé)任。

四、結(jié)語

伴隨著國際軍事話語權(quán)體系的重構(gòu)整合，以及國際人權(quán)領(lǐng)域的深切關(guān)注，雖然未來人工智能武器的應(yīng)用空間仍有很大的不確定性，但我們可以確定的是，對(duì)人工智能武器尤其是致命性自主武器系統(tǒng)施以有效的人類監(jiān)督，使人工智能武器朝著可預(yù)測(cè)的方向自主行動(dòng)，使其行動(dòng)完全符合并遵守國際人道法原則和沖突規(guī)則，是未來人工智能武器系統(tǒng)研發(fā)的必然選擇。