論自主武器的國際法規制

馬 光

（浙江大學光華法學院，浙江杭州，310008）

一、引言

人工智能已用于自動駕駛汽車和醫療機器人等商業用途，在第四次工業革命中產生了重大影響?，F在，世界各國紛紛投入到利用人工智能在軍事競爭中取得優勢的全球競賽中，例如“致命自主武器系統”（Lethal Autonomous Weapon Systems，以下簡稱為LAWS）、“完全自主武器”或“殺手機器人”，都反映了這些努力。美國、中國、俄羅斯、印度、德國、韓國等各國政府越來越多地在人工智能領域進行投資，以開發用于軍事應用的先進人工智能系統。2017年7月，中國國務院發布了《新一代人工智能發展規劃》，該政策概述了中國在未來幾年內建立價值近1500億美元的國內人工智能產業，并到2030年成為領先的人工智能強國的戰略。

國際法并未對武器以及自主武器給出明確定義。紅十字國際委員會將“自主武器系統”定義為：“在關鍵功能上具有自主權的任何武器系統?！币簿褪钦f，一種無需人為干預就能選擇（即搜索或檢測、識別、跟蹤、選擇）并攻擊（即反對、無效化、破壞或摧毀）目標的武器系統。[1]LAWS與現有武器的不同之處在于，它具有能夠在不被人為激活的情況下選擇和攻擊目標的能力。而2012年美國國防部的第3000.09指令則將自主武器定義為：“一旦激活，無需操作員進一步人工干預，可自行選擇、攻擊目標的武器。”[2]雖然各國通過《禁止或限制使用特定可被認為具有過分傷害力或濫殺濫傷作用的常規武器公約》（簡稱《特定常規武器公約》，Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May be Deemed to be Excessively Injurious or to Have Indiscriminate Effects， 以下簡稱為CCW）與LAWS相關的新興技術的政府專家組（Group of Governmental Experts，以下簡稱為GGE）等就自主武器的定義問題進行過多次討論，但一直未能就此達成一致意見，甚至各方就目前是否有需要給其下一個定義也無法達成合意。而且，因為LAWS指稱“致命自主武器系統”，如何界定致命與否也是一大難點。自動化與自主化區分是一個質的變化[3]，從這一點來說，本文所探討的不包括自動化武器。

因為自主武器與人工智能有密切聯系，所以也有學者將其稱為人工智能武器。[4]從目前的現狀來看，因為能夠做到完全自主尚且困難，從這個意義上來看，或許人工智能武器的用詞具有其合理性。但是，從另外一個方面來看，如果考慮到當前世界上普遍使用自主武器的名稱，以后隨著技術的發展或許有可能出現完全自主的武器，再加上如果使用人工智能武器的名稱，有可能和網絡武器產生混淆等原因，筆者還是傾向采用自主武器的名稱。而關于網絡武器，則不成為本文研究的對象。網絡武器是被《塔林手冊》提到的概念，其定義為：“通過使用、設計或意圖使用以導致對人員的傷亡或死亡，或對物體的損害或毀壞的網絡戰手段，也即，導致可以將網絡行動認定為攻擊后果的網絡戰手段?！盿《塔林手冊》規則103第2段。從網絡武器難以探測這一屬性來看[5]，其與自主武器還是能夠較為容易地予以區分。機器人殺手是很典型的自主武器，而網絡病毒則是網絡武器，但如果采用人工智能武器的概念，網絡病毒既屬于網絡武器，又屬于人工智能武器。

二、CCW框架內對LAWS的討論與評析

1979至1980年在聯合國主持下談判達成的CCW植根于國際人道主義法的關鍵原則，例如平民和戰斗人員之間的相稱性和區別對待。目前，該公約已有五項議定書，即關于無法檢驗的碎片的第一議定書，禁止或限制使用地雷、誘殺裝置和其他裝置的第二議定書，關于禁止或限制使用燃燒武器的第三議定書，關于激光致盲武器的第四議定書，以及關于戰爭遺留爆炸物的第五議定書。可以看出，CCW采用模塊化設計，隨著圍繞武器系統的人道主義問題不斷發展和新系統不斷出現，這樣的模塊化設計能將新的解決方案附加到框架條約中。所有在人工智能系統中擁有能力或正在發展能力的國家都是CCW的締約國，包括加拿大、中國、法國、德國、印度、以色列、日本、韓國、俄羅斯、英國和美國?；谶@樣的優勢，其已經成為國際層面對LAWS進行研究和討論的重要平臺。

2013年5月，聯合國人權事務高級專員辦事處法外處決，即決處決或任意處決問題特別報告員發布了一份關于致命自主機器人技術的報告，并宣布“機器人不應該擁有對人類的生死決定力量”。該報告還建議各國暫時停止一些相關的技術發展。該報告引起了人權理事會的關注，然后引起了CCW框架的關注。在同一年的CCW締約國大會上，與會國經過討論，決定于2014年在CCW設立專門討論LAWS的非正式專家會議。之后至今，在CCW框架下圍繞LAWS這一議題共召開了三次非正式專家會議和四次GGE會議。經過2014—2016年的三次非正式專家會議，在2016年的CCW締約國大會上，決定成立專門致力于討論與LAWS相關的新興技術的GGE。之后，在2017年11月13日—17日、2018年4月9日—13日、8月27日—31日、2019年3月25日—29日、8月20日—21日，GGE分別召開了會議。就2019年的會議來看，CCW的80個締約國和2個簽署國參加會議，另外有4個非締約國作為觀察員參加會議。除了國家之外，歐盟、紅十字國際委員會、聯合國裁軍研究所等國際組織和多數非政府組織和大學、科研機構也派員參加了會議。這幾次會議的主要審議議程包括：（1）LAWS的特點；（2）致命武力的使用方面人的因素，LAWS領域新技術的發展、部署和使用方面的人機交互問題；（3）相關技術的潛在的軍事應用；（4）應對LAWS領域的新技術帶來的人道主義和國際安全挑戰的可能辦法；（5）LAWS領域的新興技術對國際人道主義法構成的潛在挑戰。[6]

而經過討論，各方達成了如下指導原則：（1）國際人道主義法繼續完全適用于所有武器系統，包括LAWS的可能開發和使用；（2）人類仍須對武器系統的使用決定負有責任；（3）應確保對基于LAWS領域的新興技術的武器系統的潛在使用符合適用的國際法，特別是國際人道法；（4）應確保根據適用的國際法在CCW的框架內對發展、部署和使用任何新武器系統問責，包括使這類系統在人類指揮和控制的責任鏈中運作；（5）在研究、發展、取得或采用新的武器、作戰手段或方法時，國家有義務按照國際法確定，該新武器、作戰手段或方法的使用在某些或所有情況下是否為國際法所禁止；（6）在發展或取得基于LAWS領域新技術的新武器系統時，應考慮到實體安保、適當的非實體保障（包括針對黑客攻擊或數據欺騙等網絡安全問題）、落入恐怖主義團體手中的風險和擴散的風險；（7）風險評估和減小風險的措施應成為任何武器系統新技術的設計、發展、測試和部署周期的組成部分；（8）LAWS領域新技術的使用應考慮到須信守國際人道法和其他適用國際法律義務；（9）在擬定可能的政策措施時，不應使LAWS領域的新技術人格化；（10）在CCW范圍內討論和采取任何可能的政策措施都不應阻礙智能自主技術的進步或和平利用；（11）CCW提供了適當的框架，可在CCW的目標和宗旨的范圍內處理LAWS領域新技術的問題，力求在軍事必要性和人道主義考慮之間求得平衡。[6]從這些討論結果來看，GGE對如下幾點已經達成了共識：（1）CCW是討論LAWS問題的適當平臺；（2）現有國際人道法依舊適用于LAWS的戰場；（3）發展、生產和部署LAWS的責任在于行動國家；（4）LAWS監管措施不能阻礙民用人工智能的合理開發；（5）在無人干預情況下使用完全致命性自主武器系統是不可接受。[7]而對于LAWS的定義和特點，是否予以禁止，是否制定新的相關國際規則等方面則存在較大分歧。

因為在CCW框架內討論的LAWS是“致命自主武器系統”，而這一點可能會引起混淆。這就需要對“致命性”進行界定，還要明確“不致命”的自主武器系統是否應排除在討論范圍。正如有主張認為，把重點放在致命性上，不能解決國際人道法所保護的人身傷害或物體損害問題。[8]既然是因為自主武器與傳統武器比較起來有自主性，所以對其單獨進行討論，那么，沒有必要將討論的范圍限定在“致命”自主武器上，重點應該放在“自主性”上。另一個層面來考慮，CCW完全可以成為討論自主武器整體的合適場所。

關于對自主武器的定義問題，可以先從其特點來入手，當把這些特點都概括出來，并在各國之間對此達成合意，自然就可以形成一個定義。雖然自主武器的使用確實可能會伴隨各種風險，但是在其反面，確實也存在使用自主武器可能對國際人道法有利的層面，在這些都僅僅是可能性的情況下，將對其預斷禁止使用不符合邏輯。更為重要的是，若要對其禁止，顯然是要各個主權國家的同意，就是要形成國家之合意，但從目前的情況來看，各國特別是世界上的主要大國都致力于自主武器的研發，要使得這些國家放棄性質尚未確定的武器的開發，顯然不現實。換個思路，如果在目前志同道合的國家之間形成相關協議禁止自主武器的開發和部署意義也不大，因為這些國家本身開發和部署能力就比較弱。自主武器不同于生化武器或核武器，至少目前來看很難說其對國際人道法會帶來極大的沖擊，所以目前這個階段對其直接予以禁止顯然不可行。

有些自主武器可能構成新的武器種類，而有些則是對傳統武器賦予了自主性。所以，從國際法上對其予以規制時，可以專門制定適用于自主武器整體的規則，而那些對傳統武器賦予自主性的，則完全可以適用現有規則中的相關內容。

三、GDPR自動化的個人決策規定及其對LAWS的啟示

2018年5月25日正式生效的歐盟《一般數據保護條例》（General Data Protection Regulation，以下簡稱為GDPR）適用于所有自動化的個人決策。但是，數據主體有權反對完全依靠自動化處理（包括用戶畫像bGDPR第4條第4項將“用戶畫像”定義為：為了評估自然人的某些條件而對個人數據進行的任何自動化處理，特別是為了評估自然人的工作表現、經濟狀況、健康、個人偏好、興趣、可靠性、行為方式、位置或行蹤而進行的處理。）的、對數據主體作出具有法律影響或類似重大影響的決策。cGDPR第22條第1款?！巴耆揽俊钡暮x是人對決策結果不施加實際影響，換言之，在該決策作出之前沒有人的介入或評價。如果人的介入要得到認定，控制者應該保障人對該決策的檢討不局限于形式，而是有意義地實質性介入，即此類介入的主體應具有變更自動化決策的權限。除了正式決策，信息主體還能從產生類似重大影響的措施中得到保護。因此，僅依據自動化處理的決策范圍可以得到擴大。在此，類似的重大影響既可能是肯定性的，也可能是否定性的，這種影響有可能因第三人的行為而引發，該第三人并非是自動化決策的相關人。[9]但是，這一規定有三個例外，包括：當決策對于數據主體與數據控制者的合同簽訂或合同履行是必要的；當決策是歐盟或成員國的法律所授權的；當決策建立在數據主體的明確同意基礎之上。dGDPR第22條第2款。合同相關例外中的必要性條件應采用嚴格解釋。而關于數據主體的明確同意，其應經表達聲明予以確認，而不僅僅是肯定性行為。[9]如果出于訂立或履行合同所必要，基于個人的明確同意而允許進行對個人具有法律或類似重大影響的完全自動化的決策時，則數據控制者應當采取適當措施保障數據主體的權利、自由、正當利益，以及數據主體對控制者進行人工干涉，以便表達其觀點和對決策進行異議的基本權利。eGDPR第22條第3款。這里的關鍵在于人工干涉，而此類干涉到底如何進行看起來并不明確。人的干涉要得以認定，控制者應保障人對該決策的檢討不局限于形式上，進而干涉的主體或評價者應具有能夠變更該決策的權限。為此，需要對包括信息主體提供的額外信息在內，對所有相關信息進行完整的評價。[9]總之，對于對個人具有法律或類似重大影響的完全自動化的決策，應確保個人進行人工干涉，表達他們的觀點和獲得有關該決策的解釋并提出質疑的權利。應向個人提供有關決策過程中涉及的相關邏輯，包括此類處理對于數據主體的預期后果的有效信息。fGDPR第13條第2款f項和第14條第2款g項。為確保數據主體的個人數據得到公平、透明的處理，控制者應使用適當的數學或統計程序。應采取適當的技術和組織措施，以糾正錯誤并最大程度地減少錯誤的風險。個人數據的保護應與個人利益和權利受到的風險成比例，并防止歧視性影響。gGDPR前言第71段。

由于自動化的個人決策被認為是高風險的，因此，需要進行數據保護影響評估（Data Protection Impact Assessment，以下簡稱為DPIA），以表明識別和評估了哪些風險以及如何解決這些風險。當某種類型的處理（特別是適用新技術進行的處理）很可能會對自然人的權利與自由帶來高風險時，在考慮了處理的性質、范圍、語境與目的后，控制者應當在處理之前評估計劃的處理進程對個人數據保護的影響。若多項高風險處理活動屬于同一種類，那么，此時僅對其中某一項活動進行評估即可。hGDPR第35條第1款。這里的DPIA類似于根據《1949年日內瓦四公約第一附加議定書》（以下簡稱為《第一附加議定書》）第36條審查新武器的合法性。

2018年10月23日，第四十屆國際數據保護和隱私專員國際大會發布了《人工智能中的道德與數據保護宣言》。該宣言涵蓋指導原則，將其作為在人工智能發展中維護人權的核心價值，包括：“應提高人工智能系統的透明度和清晰度，以有效實施為目標，特別是：提供有關人工智能系統的目的和效果的足夠信息，以驗證與個人期望的持續一致性，并實現對此類系統的整體人為控制?！逼渌齻€關鍵原則是：人工智能和機器學習技術的設計、開發和使用應在尊重基本人權的前提下并按照“公平原則”進行，包括考慮人工智能對整個社會的影響。人工智能系統應該負責任地設計和開發，這需要遵循“默認的隱私”和“設計的隱私”的原則。應當減少和減輕人工智能中使用數據可能導致的非法偏見和歧視。

GDPR的自動化的個人決策規定可以對自主武器的規則制定提供一些啟示，因為兩者都涉及到了自動化的處理信息問題。GDPR對其采取的是有例外的禁止，而對于LAWS，現在也有完全予以禁止的主張。例如，2013年5月，聯合國人權事務高級專員辦事處法外處決，即決處決或任意處決問題特別報告員發布了一份關于致命自主機器人技術的報告，建議各國暫時停止一些相關的技術發展。2018年，在國際人工智能聯合會議上，2400多名人工智能領域學者共同簽署了《禁止致命性自主武器宣言》（Lethal Autonomous Weapons Pledge）。宣言指出，LAWS會在脫離人類控制的情況下選擇目標并實施攻擊，這帶來了道德及現實層面的雙重危險，人類的生命權決不能交給機器，而且，此類武器的擴散將對所有國家、個人造成極大的威脅。而截至2018年3月，已有22個國家正式表示采取措施禁止完全自主武器系統的發展[10]，這種趨勢也反映在這幾年的GGE會議上。但是考慮到國家實踐和自主武器對國際人道法是否僅具有負面影響等問題尚未明朗，完全對其禁止顯然不可行。那么，是否可以考慮采用有例外的禁止呢？因為，目前尚不明確自主武器會對國際人道法產生何種影響，所以應該在不設預斷的前提下通過研究探討對此作出約定。從這一點來看，有例外的禁止或許能成為一種選擇，如果是選擇了此種方案，就要對例外作出詳細規定，比如可以將部分防御性的自主武器納入到許可范圍。

GDPR規定的個人干涉權也可以反映在關于LAWS的規則中，正如目前已經達成一致的要有人類有意義的控制的建議就與此非常類似。有意義的控制標準顯然可以參考GDPR中人工干涉的標準，即個人具有變更自動化決策的權限，而且這種干涉權是實質干涉等內容。

正如GDPR中在例外情況下自動化處理時，數據控制者還應當采取適當措施保障數據主體的權利、自由、正當利益，LAWS的部署和使用中也應采取適當措施保障包括國際人道法在內國際法的遵守，而這里的國際法也會包括以后有可能就LAWS締結的相關條約。

而自動化處理對自然人的權利與自由帶來風險進行評估的DPIA制度，則對LAWS法律審查提供了有益的借鑒。CCW體系下的新武器審查機制在一些關鍵性的問題上界定不清，操作性不強，以至于《第一附加議定書》第36條確立至今雖已有近40年卻形同虛設的情況下[11]，我們有必要關注歐盟在GDPR下如何實施DPIA，包括制定何種詳細的實施細則，這些都將對LAWS的審查機制提供寶貴的經驗。

四、自主武器國際法規制的核心問題

自主武器系統在武裝沖突中可能會帶來好處：它們可以減少人員傷亡的數量；借助人工智能幫助更精確地瞄準目標，武裝沖突可能會變得更加人道；人工智能可以改善戰場上的醫療；自主武器系統也可能提出新的挑戰；由于被派往實地的人數減少，卷入武裝沖突的政治成本可能會降低，因此，卷入武裝沖突的決定可能會受到較少的限制。但是一個以上的人工智能系統之間的武裝沖突將加速超越人們的理解和控制，從而引發類似于金融市場中的“閃崩”的“閃擊戰爭”。因此，不僅武裝沖突的性質（Character），武裝沖突的本質（Nature）也將發生巨大變化，從而開創人類歷史上的一個全新時代。在此時代，機器將像科幻小說一樣相互對抗。

問題在于人工智能的算法系統可能存在偏差。所有決策都是有偏見的，這是不可避免的，重要的是偏見是合理的和有目的的。算法偏見的許多原因包括對上下文的了解不足、優化標準識別不當、對所選標準缺乏明確的理由、使用給定上下文中不可接受的理由，并且由于實現錯誤和不可靠的輸入數據等原因導致系統無法正常運行。但是，有關人類的人工智能的道德、法規和標準問題仍未解決。

根據《第一附加議定書》第36條規定，締約國在研究、發展和獲取新的武器、作戰手段或方法時，應進行合法武器審查，確保其遵守現有國際法。審查重點是這類武器或系統能否以及如何在攻擊目標時做到與人一樣準確，包括評估預期軍事優勢和附帶損傷、區分戰斗人員與平民、區分健全的戰斗人員與失去作戰能力的戰斗人員等能力。[7]依據《第一附加議定書》第36條的合法武器審查程序，交換相關信息，對自主性技術的國際轉讓實施有效控制，防止擴散和非國家行為體的濫用。自主武器系統引起人們對失去使用武力的控制權的關注，這可能給武裝沖突中的平民和戰斗人員造成嚴重后果。人為控制的概念，無論是有意義的、適當的、必要的、重要的還是其他表達，現在已經牢固地成為在CCW上如何處理LAWS的辯論的核心。對“有意義的人為控制”（Meaningful Human Control）的要求來自兩個前提：第一，普遍認為，施加武力和操作而沒有任何人為控制的機器是不可接受的；第二，人類僅僅根據計算機的指示按下“開火”按鈕，而沒有認知的清晰性或意識，不足以在實質意義上被視為“人類控制”。致命性自主武器系統領域的新技術對于法律武器審查造成的獨特困難，包括測試和自學系統每次自行改變時是否需要對其進行審查。[8]

談到違反國際法時的責任問題，國際人道法將義務強加于國家、武裝沖突各方和個人，而不是機器，這一點已經形成共識，但是關于個人之間的責任分配，還是有不少需要解決的難題。例如，開發武器的技術人員、部署武器的相關人員、指揮武器使用的指揮員以及實際使用的戰斗員的責任如何劃分？此外，還有諸如自主武器未按操作人員的意愿導致額外的損傷等問題，都會成為棘手的解決難題。

關于LAWS的出口管制問題，目前已有《關于禁止發展、生產、儲存和使用化學武器及銷毀此種武器的公約》（簡稱為《化學武器公約》）和《禁止發展、生產、儲存細菌（生物）及毒素武器和銷毀此種武器公約》（簡稱為《生物武器公約》）對軍民兩用技術和產品出口進行管制，側重于使用目的（最終用途）而非一般目的（具體的物質或技術），這可以為LAWS的出口管制提供經驗和范例。

五、結論

因為自主武器并非只有負面影響，以及從世界上的主要國家都在致力于自主武器開發等實踐來看，完全對其禁止顯然不符合現實。但是，我們可以通過適用現存的國際法以及對其進行規范，從而適當地對自主武器的開發和投入使用進行一些規制。《不擴散核武器條約》《化學武器公約》《生物武器公約》、CCW等現有條約對部分LAWS具有可適用性，而作為習慣國際法的國際人道規則也可以約束LAWS。

不能停止或禁止使用各種類型的系統進行自主操作，尤其是民用和軍用人工智能的開發和應用。盡管部署LAWS并沒有技術上的障礙，但是，仍需實施某些國際法律控制。LAWS必須滿足國際人道法中規定的道德和法律要求標準。根據國際法，與LAWS相關的法律必須要求人為控制或介入，因為生死攸關的決策絕不能僅委托給非人為代理。關于LAWS的目標選擇和參與決策，不應完全委托給機器的觀點似乎已經達成共識。GDPR要求僅個人自動化處理個人數據的人員參與會產生與數據主體有關的法律效力或類似地對其產生重大影響，這對LAWS是一個很好的借鑒。

隨著信息與通信技術（Information and Communications Technology，以下簡稱為ICT）的發展以及國家和國際社會的變化，涉及網絡空間和人工智能的新興問題需要以不同的方式處理。這些具有全球性的問題需要通過國際法在全球進行處理。考慮到網絡空間和ICT在全球范圍內相互聯系，需要以跨學科或綜合的方式一起解決那些顯然是個人問題和領域，例如數據隱私、網絡安全和人工智能。軍事環境中的LAWS還需要在數據保護環境中進行自動決策所需的人為因素，各國仍應對其活動以及根據國際法歸因于其的活動負責，而人工智能也不應例外。具有人工智能的機器人將不會處于與人類相同的地位。

我國作為CCW的締約國，也參加了LAWS的三次非正式專家會議和四次政府專家組會議，并在2018年的會議中提交過立場文件，主張：（1）LAWS應被理解為完全自主的致命武器系統。支持就LAWS的具體定義達成協議，為此，首先支持關于LAWS的技術特征（規格，周長）的討論，并在此基礎上尋求明確的定義和范圍。（2）人機交互的必要措施有利于防止因脫離人為控制而造成的不加區別地殺死和致殘。有意義的人為控制和人為判斷等概念相當籠統，應進一步闡述和闡明。（3）基于LAWS的各種不足，在采取適當解決辦法之前，呼吁所有國家采取預防措施，特別是不要濫殺濫傷平民。（4）新興技術的影響值得客觀、公正和充分討論。在進行此類討論之前，不應存在任何可能妨礙人工智能技術發展的預設前提或預先判斷的結果。（5）LAWS原則上應服從國際人道主義規則，包括預防、區分和相稱原則。然而，就這種武器系統而言，上述原則的應用面臨許多不確定性。因此，在探討與LAWS有關的法律問題時，有必要充分考慮一般法律原則對LAWS的適用性。[12]

但是總體上，與歐美國家比較起來，這些尚不能反映我國在人工智能發展方面的當前國際地位，特別是，與其他歐美發達國家有不少高等院校的學者參與會議相比，我國在此方面顯然是比較落后的。以2019年的GGE會議為例，就有包括哈佛大學、劍橋大學在內的來自奧地利、英國、捷克、瑞士、美國、日本、德國、愛爾蘭、丹麥、加拿大、芬蘭、西班牙、澳大利亞等國的諸多高校和科研機構派員參加了會議。我國也可以考慮以后的會議鼓勵國內相關科研機構派員參加會議，這樣，一方面學者可以與政府一同為中國觀點發聲，另一方面還可以通過這樣的高規格會議使得學者得到鍛煉和理論聯系實際的機會，進而起到激發更多學者投入到相關研究的積極性。

關于武器的法律審查機制，在國際層面有不具有強制力的《新武器、新作戰手段和方法法律審查指南》，該指南由國際紅十字委員會于2006年出臺。至于國家層面，目前，僅有瑞典、美國、挪威、荷蘭、比利時、澳大利亞、法國、英國、德國和丹麥建立了武器合法性國內審查機制。[10]我國也有必要通過國內法規，對包括自主武器在內的新武器引入法律審查機制，從而使得我國開發的自主武器符合國際人道法的相關要求。