王玫黎,杜陳潔
(西南政法大學 國際法學院,重慶 40112)
人工智能技術賦予某一特定系統在一個寬泛的環境中得以選擇實現其目標的最好方法的能力[1](P.9),該技術除應用于虛擬游戲外,也逐步走進了現實生活,例如駕駛交通工具、圖片識別、聲音識別、語言翻譯以及疾病診斷等。近年來,人工智能技術已逐步進入軍事領域,開始賦予各類武器系統一定程度的自主性。關于自主性武器所帶來的倫理和法律問題已經在世界范圍內引發了熱議,各方以“自主性武器系統”(Autonomous Weapons System)(1)關于自主性武器系統(Autonomous Weapon Systems)的準確定義,國際社會尚無統一的見解。國際紅十字委員會(ICRC)認為“自主武器系統”是指能夠獨立選擇和攻擊目標的武器,即在捕捉、追蹤、選擇和攻擊目標的“關鍵功能”上具有自主性的武器。美國國防部將其定義為“在激活后,可以在無人操作的情況下自主選擇目標并交戰的武器系統”。羅伯特·斯巴羅(Robert Sparrow)認為,自主性武器系統是指在任何能夠在沒有人類直接監督和人類直接參與致死決策的情況下,瞄準并啟動潛在致命武力使用的系統。參見ICRC. Report of the ICRC Expert Meeting on “Autonomous weapon sysytems:technical, military, legal and humanitarian aspects.”May 9 , 2014;DoD. Directive No.3000.09, November 21, 2012;Peter Asaro.“banning autonomous weapon systems:human rights, automation, and the dehumanization of lethal decision-making.”International Review of the Red Cross, Vol.94, No.886, 2012, p.690。、“殺人機器人”(Killer Robots)(2)人權觀察組織(Human Rights Watch)在他們的報告中多次將“殺人機器人”(Killer Robots)作為與“完全自主性武器系統”“自主性武器系統”“致命性自主武器系統”相等同的概念或通俗化的代稱,在其報告中多次出現“Fully autonomous weapons,also known as killer robost”,“Fully Autonimous Weapons,also called killer robots or lethal autonomous robots”等表述。參見Human Rights Watch. Mind the Gap:the Lack of Accountability for Killer Robots, April 2015, p.1;Human Rights Watch. Losing Humanity :the Case against Killer Robots, November 2012, p.1。、“致命性自主武器系統”(3)在《特定常規武器公約》(CCW)框架下定期召開的會議中,致命性自主武器系統(Lethal Autonomou Weapons Systems)被作為主要討論對象,有的國家(例如日本)要求將討論對象限定在具有致命性的自主性武器系統,而有的國家(如美國)則通常討論的是自主性武器系統,并未強調其“致命性”。參見Japan. Possible outcome of 2019 Group of Governmental Experts and Future actions of international community on Lethal Autonomous Weapons Systems,CCW/GGE.1/2019/WP.3, March 22,2019;USA. Autonomy in Weapon Systems, CCW/GGE.1/2017/WP.6, November 10, 2017。等不同的稱謂為對象進行了討論。現今的人工智能技術仍存在顯著的弱點,在可預測性、可靠性、可解釋性等問題上均存在局限,而具備自我學習能力的機器可能會因種種因素導致錯誤的學習結果而致行為失常,因此,人們擔心具備高度自主性的武器會挑戰人類倫理和國際人道法。此外,不具備法律人格又缺乏人類控制的自主性武器若違法還可能導致歸責真空(Accountability Gap)的問題。為應對以上人道主義危機,一個英國的非政府組織“第36條”(Article 36)提出了“有意義的人類控制”的理念,引起了國際社會的關注和廣泛討論。雖不乏質疑聲,但該理念仍為引導國際社會的對自主性武器軍控問題的深入具有啟發意義。當下,國際社會對該提議的討論存在一定的局限,而從國際法的視角對其進行解析有利于克服技術上的界定難題,凝聚共識。本文擬就“有意義的人類控制”理念的產生背景為起點,以現有的共識、分歧和界定缺陷為基礎,運用國際法思維探討其界定要素及判斷標準,并提出實現“有意義的人類控制”的國際法路徑,呼吁將“有意義的人類控制”從理念轉向法律原則,以務實的心態促進自主性武器國際軍控規則的形成。
聯合國裁軍事務研究所(UNIDIR)出具報告稱:人工智能和機器學習領域的飛速發展對于自主性武器在武器系統中的角色產生了顯著影響。越來越多的智能機械可以在更為復雜的環境中被用于更具挑戰性的任務。[2]為適應不斷加快的戰爭節奏、加倍放大武力、降低運行成本和人力需求,越來越多的國家開始利用人工智能技術開發自主性武器,以減少軍隊的人力開支,提高軍隊在難以進入的地區進行干預的能力,保持在技術方面相對于潛在對手的領先地位等。[3]有專家認為,在接下來的軍隊科技改革中,研發具備自主性的武器系統將是符合邏輯且不可避免的下一步。[4](P.620)
人工智能技術的軍事化已經被納入了世界主要軍事大國的發展規劃中:俄羅斯空軍將領維克多·邦達列夫(Viktor·Bondarev)表示,最早于2017年2月,俄羅斯已經開始致力于研制可以在飛行途中自行切換目標的人工智能導彈;俄羅斯總統普京于2017年9月發表的講話稱:“人工智能技術不僅對俄羅斯,且對于全人類來說都是未來的發展方向……不論誰在該領域領先,都將成為世界的統治者。”[5]2014年,時任美國國防部長的查克·海戈(Chuck Hagel)以發展人工智能技術為核心提出了“第三次抵消戰略”(Third Offset Strategy),認為快速發展的人工智能技術將決定下一代戰爭的形態。[6](PP.2-5)2018年,美國國防部發布了《人工智能戰略》,表示人工智能技術將作為保障美國應對安全威脅的前沿技術,受到高度的重視,甚至聲稱中俄兩國已經針對人工智能技術的軍事化進行了顯著的投入,包括采用可能對現行的國際法規則以及人權形成挑戰的應用方式。[7](P.5)運用人工智能技術研發和部署自主性武器不僅僅存在于大國的發展愿景中,事實上已經有具備不同智能程度的自主性武器開始服役。(4)研究表明,目前世界各國已經部署的自主性武器主要包括:用于船舶和地面近距離防御的反火箭、火炮、迫擊炮系統,用于裝甲車針對導彈、火箭等的“主動防御”武器,可以自主搜索、識別、確定、攻擊目標的“自殺無人機”,可以自主引導魚類偵測、追蹤、攻擊目標的“一勞永逸”型魚雷,用于保護特定場所具有自主鎖定并攻擊的反人員“哨兵”武器等等。參見張衛華《人工智能武器對國際人道法的新挑戰》,《政法論壇》,2019年第4期,第145-146頁。基于自主性武器所帶來的巨大效益,在可以預見的將來,軍隊所配備武器的自主性程度將越來越高,人類將逐漸抽離對武器的控制,甚至有可能實現武器的完全自主。一方面,提高武器的自主性可以減少軍隊的人力成本,提高軍事防御和打擊的效率、速度、準確性,這正是各國軍隊所追求的目標——強化戰爭的不對稱性;但另一方面,具備高度自主性的武器也引起了國際社會的普遍擔憂。
基于人權與人道的考慮是國際社會對自主性武器擔憂的核心內容。戰術優勢是軍事研究的主要目的,而科技能力在軍事競爭力中占據核心位置,自主性武器的設計者很難找到合理的理由去限制武器的致命潛力,因此自主性武器的運用將會導致“高效卻非人道”的戰爭。[8](P.49)機器并不具備人類獨有的倫理觀和判斷力,若任其在人道抉擇上發揮自主性則難以避免違法后果的出現。與此同時,自主性武器法律人格的缺失使得一旦其在脫離人類控制的情況下造成了違法后果,可能產生歸責的真空。
1.自主性武器存在守法困難
國際人道法的核心在于對戰爭手段進行限制,以實現對人道、公共良知的維護,主要表現為“區分原則”(Principle of Distinction)、“比例原則”(Principle of Proportionality)、“預防原則”(Principle of Precautious)。“區分原則”要求戰爭和武裝沖突中的各方必須區分戰斗員與非戰斗員、武裝部隊與平民、軍事目標與非軍事目標。“比例原則”禁止交戰方發動可能導致平民意外死亡、受傷、民用物體受損或已同時包含以上情形的損害結果的襲擊,交戰方對軍事目標進行攻擊時應當最大限度地減少對平民和民用物體的傷害,這種傷害不應當超過軍事行動中所要求達到的具體的、直接的軍事利益。“預防原則”要求交戰方在進行軍事行動時,必須不斷照顧平民和民用物體,必須采取一切可行的預防措施,以避免并在任何情況下盡量減少平民受傷、喪生和民用物體損壞。自主性武器在國際人道法的視角下的法律地位是交戰者與武器的結合,它們能否在發動攻擊時運用人類的價值觀和倫理觀進行判定和衡量,確保其遵守以上三項原則,是自主性武器給國際人道法帶來的重要挑戰。[9](P.149)
2.自主性武器引發“歸責真空”
自主性武器不具備人類的道德倫理觀念,更不享有任何意義上的“法律人格”,無法承擔法律責任。一旦自主性武器的使用造成了違法后果,應當由誰來承擔責任?除國家責任以外,操作員或決策者在缺乏主觀犯意的情況下能否從國際法或國內法層面受到追責?此外,根據現有的國際人道法和國際刑法,缺乏人類控制的自主性武器可能會使編程、開發等階段的相關人員因為缺乏主觀的認知而難以被歸責。[10](P.17)在現有的法律體系下,自主性武器的受害者能否得到充分的權利救濟?在各國追求軍事優勢和國家安全的本能驅使下,人工智能技術的軍事化已是大勢所趨,具備自主性能又缺乏人類控制的武器,挑戰著人類社會的倫理和法律,在存在歸責真空的情況下,自主性武器更容易被非法地研發、使用和販賣,它不僅是一種“工具”,更有可能是一個“潘多拉魔盒”。
現行的國際法體系對作戰工具和作戰手段均存在既有的規范,這些規范能夠對自主性武器起到一定的規制作用,但針對性的缺乏也使得這些既定的規則在面臨自主性武器的特異性時存在漏洞與不力。此外,人工智能技術的軍事化被認為是繼火藥、核武器后的第三次戰爭革命,這一趨勢將催化出一大批自主和半自主性的武器系統,人類戰爭將進入“算法戰”的新時代,數據的準確和運算的速度將成為決定未來戰爭勝負的關鍵。[11]自主性武器軍控規則的缺失也將放任大規模的人工智能軍備競賽,威脅國際和平與安全。
1.國際人道法不直接規制自主性武器
國際人道法的作戰規則總的來說可分為“區分原則”“比例原則”和“預防原則”,其對具體作戰手法的禁止和限制則是對這三個原則的進一步確認與延伸。當我們在討論自主性武器給人道法帶來的挑戰時則應當考慮人道法對武器的要求是什么?美國認為:“自主性武器本身并不具有天然的違法性,國際人道法的規制對象是人,而不是機器,戰爭法并沒有要求武器做合法的決策,而戰爭中的人為了遵行戰爭法,則應當以一種非歧視的、成比例的方式去使用武器。”[12]如前所述,在當下的技術水平內,運用人工智能技術來強化武器的自主性能是國際趨勢,但其如何做到在復雜的作戰環境中對軍事目標和民用目標進行區分,如何判斷其攻擊范圍和損害程度是符合比例的?盡管國際社會認可國際人道法完全適用于所有武器系統,包括自主性武器[13],但其引發的這些問題僅僅依靠國際人道法是無法解決的。
2.國際武器條約對自主性武器的規制缺乏針對性
現行的武器條約主要分為大規模殺傷性武器(Weapons of Mas Destruction)和對特定常規武器(Certain Conventional Weapons)的規制。就大規模殺傷性武器條約而言,這些條約具有明顯的指向對象,即核武器、生物武器、化學武器。縱使自主性武器可能會在某些范圍內與大規模殺傷性武器存在交叉,從而受到這些條約的規制,但就自主性武器本身最具爭議的“自主性能”引發的守法不確定性以及歸責真空等問題而言,這些條約是無法觸及的。此外,《特定常規武器公約》(CCW,下文簡稱CCW)旨在禁止和限制某些具有過分傷害力或濫殺濫傷作用的常規武器,如地雷、燃燒武器、特種碎片武器、燃燒空氣彈、激光致盲武器等。公約本身是對區分原則和比例原則的重申,指出對引起過分殺傷和不必要痛苦的武器的禁止。但同樣的,即便自主性武器完全符合CCW的要求,也不屬于其幾個附加議定書所明確禁止的武器類型,CCW的規則也無法回應自主性武器的守法不確定性和歸責真空問題。這源于自主性武器安全問題的根源——“不可預測性”,即它是否會造成違法后果是不確定的。這個層面上自主性武器就像戰場上的交戰者一樣,我們不能判斷交戰者本身合法與否(童子軍除外),是否會做出違法行為。基于自主武器的自我學習進程和算法的設置,它可能會時而合法時而不合法。而對人類交戰者我們尚可以追責,對自主性武器卻不能。因此國際武器條約也無法觸及自主性武器的根本問題。
針對前述自主性武器給人類倫理以及國際人道法帶來的挑戰,國際社會各成員紛紛獻言獻策,有的國家呼吁立即起草一份具有法律約束力的文件對致命性自主武器系統實施禁令。[3]然而,有部分聲音認為自主性武器只要得到合理的運用,促使軍事的進步,可能在某種程度上使得武裝沖突更為人道化,拯救各方的生命,因此對其進行片面的禁止也不利于保護人的生命權利。[14](P.85)為此,非政府組織“第36條”提出了“有意義的人類控制”(Meaningful Human Control)這一理念。該組織強調,在任何情況下都應當對針對個人的攻擊進行“有意義的人類控制”,世界上不存在完全脫離人類設定的參數運行的全自主武器。[15]此后,該理念受到了國際社會的廣泛討論和青睞,頗有成為引領自主性武器軍控的指導理念之勢。然而,國際社會對“有意義的人類控制”既有的界定嘗試仍然存在明顯的局限性,這意味著對該理念的進一步深入探討需要新的思路和視角。
“有意義的人類控制”理念一經提出即受到來自各界的關注。盡管內涵和實施方式仍有待明確,但多方仍看好其在解決自主性武器引發的人道危機中的有益甚至是核心作用。(5)例如,克里斯托弗·海因斯(Christof Heyns)認為,有意義的歸責取決于有意義的人類控制,自主性武器能否被接受,取決于它是否仍然是人類手中的“工具”,將它們當作工具,即是對它們進行有意義的人類控制。荷蘭政府認為,只要人類在部署自主性武器系統時針對決策程序進行有意義的人類控制,就不會出現歸責真空,現存的法律制度完全足以懲戒違法者。紅十字國際委員會認為“盡管對于其究竟是基于法律、倫理、還是軍事行動或者是政策性的因素,這種控制究竟是‘有意義的’還是‘合適的’抑或是‘有效的’等問題尚不清晰,但各方對于必須保留針對武器系統和使用武力的人為控制已經形成了廣泛的共識”,并且紅十字國際委員會也認為人類的控制是解決自主性武器系統所帶來的法律、倫理問題的基本路徑之一。參見Christof Heyns. “Panel on Human Rights and Lethal Autonomous Weapons Systems.”CCW Meeting of Experts on LAWS, April 16, 2015, pp.3-5; Netherlands,Examination of various dimensions of emerging technologies in the area of lethal autonomous weapons systems, in the context of the objectives and purposes of the Convention, October 9, 2017, p.3; ICRC. “Views of the International Committee of the Red Cross on Autonomous Weapon system.”CCW Meetings of Experts on LAWS, April 11, 2016, pp.3-4。在此基礎上,“有意義的人類控制”也被納入了自主性武器軍控的國際議題中。2014年起,國際社會以《特定常規武器公約》締約方會議(CCW會議)(6)該會議最初是以締約方非正式會議的形式進行,2017年后轉為政府間專家組會議,為敘事簡便,本文統稱為CCW會議。為平臺,對“新興技術領域的致命性自主武器”進行了數年的討論。2015年,CCW會議就開始了對“有意義的人類控制”這一理念的關注。其后,部分代表團建議可以將“有意義的人類控制”作為評估致命性自主武器的法律、道德和倫理問題的框架。[16]2018年,各國已經普遍在CCW會議中達成共識,認定人類控制是專家組未來工作的核心理念。[17]2019年,CCW會議對“有意義的人類控制的討論”已從理念的提出與強調深入至實施的方式、實施的界限等問題。同年,CCW會議還通過了11項專家組確立的針對自主性武器的指導原則[18],這些指導原則成為了2020、2021年會議的討論核心。其中對人類責任、人機互動、國家審查、風險評估等措施的強調,實質上都是“有意義的人類控制”理念延伸出來的具體手段。
然而,美國對“有意義的人類控制”這一理念的表述、操作性等方面表達了質疑,認為“有意義的人類控制”這一表述具有較強的主觀性且難以理解,建議以“適當的人類判斷”(Appropriate Levels of Human Judgment)作為替代。[19]美國空軍一研究機構從該理念的判定標準等實踐操作中的問題上質疑該理念的實踐意義。(7)該報告肯定了“有意義的人類控制”理念具有直觀吸引力,但指出其仍然需要面臨和定義的問題:“有意義的人類控制”到底是什么?它要求人類從物理層面上真實地操縱該武器系統嗎?還是說即時的監控就已經足夠?人類被抽離出回路外或者說完全自主性的武器能否達到“有意義的人類控制”的標準?以上這些問題均沒有任何的共識,這使得有意義的控制標準在實踐中喪失了意義。見Adam Cook, Lieutenant Colonel, USAF. “Taming Killer Roberts:Giving meaning to the ‘Meaningful Human Control’ Standard for Lethal Autonomous Weapon Sysytems.”JAG School Papers, Alabama: Air University Press, 2017, p.18。客觀上來說這些質疑有一定的現實基礎,但也不乏維護其自身利益之嫌。美國信任技術的發展可以解決人們的擔憂,試圖用“判斷”替代“控制”,以充分地利用自主性能的先進性。[20]這種論調下實際上是將是否運用自主性能,多大程度地運用自主性能置于操作員和指揮官的主觀決定之下,與客觀上控制自主性能的適用相去甚遠,兩者體現了完全不同的路徑選擇。[21](P.144)而非政府組織“禁止殺人機器人運動”(Campain to Stop Killer Robots)就不認同美國的提議,認為相比于“控制”,“判斷”和“干預”等術語都弱化了人類角色,不足以解決問題,而“有意義”這一修飾語則保障了控制的實在性。[22](P.2)
綜上,“有意義的人類控制”由于其易懂性、適當的模糊性以及其所發揮的將自主性武器討論焦點從具體的概念問題上轉移開,并引導國際社會帶著解決問題的思路前進的作用,贏得了國際社會的廣泛青睞。[23](P.5)誠然,質疑的聲音告訴我們要具體地描繪這一理念是充滿了現實挑戰的,但并不代表這不值得國際社會為此而努力。實現“有意義的人類控制”所面臨的挑戰正是國際社會應攜手努力的方向。
國際社會深知要想從“有意義的人類控制”這一理念上找到自主性武器軍控的突破口,就必須解決定義問題。于是,部分非政府組織和學者開始通過列舉控制要素的方式來試圖厘清其定義。這些嘗試主要呈現出以下特征:
1.聚焦武器應用環節
在理念產生之初,各界傾向于將其限制在武器最終的應用環節,關注在武器被部署、使用的階段內實施控制的抓手。例如,“第36條”作為理念的提出者,概括了“有意義的人類控制”的三大要素:信息、行動和歸責。(8)第36條認為“有意義的人類控制”應包含以下要素:1.信息,人類操作員或其他對于攻擊計劃負有責任的人員需要充分了解目標區域的情境、任何特定目標被提議作為襲擊對象的理由、任務的目標,以及在該情境下該次襲擊所會造成的即刻和嗣后的長效反應;2.行動,發動該次襲擊需要人類操作員的積極行動;3.歸責,那些負責評估數據以及執行襲擊的人員應當對該次襲擊的結果承擔責任。見Article 36.“Killer Robots: UK Government Policy on Fully Autonomous Weapons.”April 2013, pp.3-4, http://www.article36.org/wp-content/uploads/2013/04/Policy_Paper1.pdf。其中歸責這個要素看似超出了應用環節,但實際上仍著眼于應用期間進行數據評估和執行襲擊的人員。國際機器人軍控委員會(ICRAC)認為有意義的人類控制意味著指揮官應當對于目標區域的背景和情境有著足夠的認知,并且能夠感知到自計劃襲擊以來可能出現的任何情境和變化并對其作出反應。[24]瑪雅·布雷姆(Maya Brehm)從反面列舉了不能被接受的人類控制的情形,并進一步強調,為避免以上三種情況,“信息的獲取”是控制的核心因素,只有獲取了充足信息,相關人員才能夠合理地預見使用武力的結果,才能夠進一步做出使用武力的合法性評估。(9)不能接受的控制方式包括:1.使用無法在時間和空間上對其進行控制的武器;2.使用具有移動組件的武器系統,該組件可以自由漫游并在多個位置施加武力,而無需在很長一段時間內向人報告;3.人類的控制僅僅體現為每次亮燈時按下按鈕,而并不需要獲取任何信息,因此并非所有形式的人類控制都是充足、有意義的。Maya Brehm. “Meaningful Human Control.” April 14, 2015, p.7, https://docs-library.unoda.org/Convention_on_Certain_Conventional_Weapons_-_Informal_Meeting_of_Experts_(2015)/BREHM_Presentation%2Bon%2BMHC_14.04.2015.pdf.新美國安全研究中心(CNAS)在“第36條”等組織和學者的研究基礎上,結合當下對武器控制的實踐情形得出“有意義的人類控制”應當包含以下三個要素:“(1)人類操作員在獲得信息的基礎上就武器的使用作出理性的決定;(2)人類操作員獲得了充分的信息使其知曉目標、武器以及行動的背景等問題,以保障其作出合法的行動;(3)為保證對武器的有效控制,對其進行設計并測試,人類操作員也應當得到合適的訓練。”[25](P.15)非政府組織“國際非暴力組織”(Nonviolence International)認為,有意義的人類控制意味著人類將參與武器部署的每一個部分,包括啟動、發射、選取或取消目標、召回以及關閉等階段。[26](P.10)不難看出,以上對“有意義的人類控制”的界定均重點關注武器的應用環節,具有較強的實踐性和技術性。然而,技術畢竟是日新月異的,今天關于具體操作和應用的討論或許明天就已經不再成立,過分關注實際應用操作中的控制手段則容易導致“一葉障目”,難以從預防、追責的角度宏觀地把握該理念的內涵,也難以真正地實現對自主性武器守法困境和歸責困境的化解。
2.缺乏現實性和靈活性
部分提議強調操作員充分的信息獲取以及完美的目標及其環境認知,且要求必須存在能夠迅速中止或終止襲擊的方法。實際上,在現實的戰場環境中操作員對信息的獲取時常是有限的,而這些提議所要求的充分信息究竟到達什么程度?如果一定要圍繞著這個技術性問題進行爭論則很可能將議題引入歧途。此外,這些提議在聚焦武器應用環節的同時,也存在著過于具體化的問題,這就意味著適用范圍的局限。新美國安全研究中心不斷地強調人類操作員的重要性,但又曾提出過“放手讓機器自主行動能得到比人類參與更符合國際法的結果時,也可以說是一種有意義的控制”的說法[27](P.6),兩者存在著潛在沖突。將控制著眼于當下人類操作員的顯在角色,同時也預見到未來脫離人類操作員的武器可能會產生更加符合“有意義的人類控制”的結果,這些提議明顯脫離了戰場的現實,過于理想化,不僅沒能涵蓋既存的現實情況,也沒能延伸到因武器自主性的提升導致的可能出現的新情況。[25](P.10)
綜上,不論是從正面、反面,抑或是從信息的獲取還是操作員的培訓等角度出發,這種從技術與應用層面對“有意義的人類控制”進行的定義,往往難以同時保證其現實可行性和對科技發展的預見性。缺乏詳盡、明確性和高度適應性的語言表達會導致無法發揮對國家行為有意義的規制作用,因此“有意義的人類控制”這一術語并未被納入CCW會議所確立的11項指導原則中。[28](P.2)然而,這并不意味著“有意義的人類控制”這一理念在自主性武器軍控進程中的重要性被削弱,相反,11項指導原則所提及的“人類責任”“人機互動”等要求均是“有意義的人類控制”的題中之義。因此,國際社會未來應以該理念為著力點,轉變視角,開發新思路,賦予“有意義的人類控制”更清晰、普適且具有操作性的界定表述。
如前所述,由于“有意義的人類控制”這一術語現有的界定嘗試存在缺陷,國際社會對其內涵也有著不同的認知,所以它尚不具備直接廣泛約束國際社會成員的能力和適應性。就武器的自主性和“有意義的人類控制”而言,我們在建立共通定義和術語方面,還有很長的路要走。[29](P.56)除了要研究人類應當在自主性武器的哪些方面進行“有意義的人類控制”以外,還必須明確由誰來進行控制,除非明確控制行為的主體,否則無法使這一理念在法律層面得到確認并據此建立責任制度。[30](P.867)“有意義的人類控制”需要共同、普適且能適應技術變革的共通定義,也需要在法律層面予以確認并保障實施。首先,法律規范的抽象性和概括性可以解決界定時技術性的細枝末節引發的爭議;其次,自主性武器引發的是國際安全問題,而同時又涉及主權與內政,這意味著國家須得以主權讓渡的形式為“有意義的人類控制”做出承諾。基于此,國際法的視角或許能為我們提供新的思路。
法律規則具有兩點特征:其一是有效性,即法律拘束力;其二是一般性,即非僅適用于特定事件。[31](P.125)首先,區別于道德、倫理、政策等,法律是一種代表著國家意志且具有國家強制性的社會規范[32](P.93),法律拘束力為“有意義的人類控制”提供了實施的保障。其次,法律的一般性賦予其抽象且反復適用的特性[32](P.93),為凝練和概括“有意義的人類控制”的關鍵要素提供了規范性的基礎。而國際法作為法律規范的一種(10)《奧本海國際法》(第8版)在一開始就論述“國際法是法律”。參見勞特派特修訂《奧本海國際法》(平時法第一分冊),王鐵崖、陳體強譯,北京:商務印書館,1981年,第3頁。同樣存在有效性與一般性兩個基本特征,同時又因其特殊性對自主性武器的規制和“有意義的人類控制”的界定和實施有著獨特的作用。國際法的主體主要是國家,制定者是國家,國際法的強制力依靠國家單獨或集體的行動。[33](P.3)國際社會是一個平行社會,各國的國內法只能管控其主權范圍內的事務,不得干涉他國的內政。由于各國對軍事利好和國家安全的本能追求,“有意義的人類控制”無法依靠主權國家的道德感與自覺性得到落實,必須通過國際法這種確立國家之間的權利與義務的法律形式賦予其法律拘束力。基于此,國際法因自主性武器受到威脅,而國際法又是自主性武器軍控的目標,因而也得以成為“有意義的人類控制”的理想界定工具。
1.國際法的界定方式是一種目標導向的務實進路
有效的軍控制度應當包含可信的承諾,而可信的承諾取決于其是否具有法律拘束力,法律拘束力越強,則違反該承諾的名譽成本就越高,在缺乏拘束性義務的情況下,違背承諾可能成為一種常態。[34](PP.128-129)為最大限度地降低自主性武器給國際和平與安全帶來的負面影響,許多CCW與會者表達了對“搶先性規制”(Pre-emitive Regulation)的支持(11)國際機器人軍控委員會(ICRAC)、斯里蘭卡、巴基斯坦、中國等國家和非政府組織均表達過對搶先性規制的支持。見ICRAC. International Committe for Robot Arms Control opening statement to the CCW Meetings of Experts on LAWS, April 13, 2015; Sirilanka. Statement by Sirilanka, Informal CCW Meeting of Experts on Lethal Autonomous Weapon Systems (LAWS), April 13, 2015; Pakistan. Statement by Pakistan Delegation during the Session on“Way Ahead”, Informal CCW Meeting of Experts on Lethal Autonomous Weapon Systems (LAWS), April 17, 2015; China. Statement of the Chinese Delegation of the Thematic Discussion on Conventional Arms Control at the First Commitee of the 74th Session of the UNGA, NewYork, October, 2019, p.3。,這意味著國際社會要致力于形成一個規范自主性武器的國際條約。若將此作為規范自主性武器的階段性目標,則對“有意義的人類控制”的界定方向就變得更加清晰。在以國際條約為導向的界定過程中,技術性的問題不應被忽視,但也不能被作為主要的界定要素。我們應當思考的是,國際社會需要通過這項國際條約就哪些事項為哪些主體設置義務?這些義務應當包含哪些具體的事項?簡而言之,運用國際法的視角來界定“有意義的人類控制”就是在國際條約中明確哪些國際法主體應對涉及自主武器的哪些事項履行哪些義務。這樣一來即可避免當下對該理念界定的局限視角以及缺乏靈活性的問題。
2.國際法的界定方式是一種問題導向的高效進路
如前所述,國際社會對自主性武器的擔憂主要集中于其潛在的守法不確定性及其導致的歸責真空問題。而現行的國際法規又無法針對性地解決這些問題,因此“有意義的人類控制”這一理念的提出具有內在的指向性——針對性地解決自主性武器帶給國際法的獨特挑戰,進而言之即解決其守法不確定性和歸責真空問題。一個法律漏洞的產生無法通過技術的發展得到完美地解決,只有同樣運用法律手段才能填補其漏洞。只有運用國際法的進路才能夠通過確立國際義務的方式約束主權國家片面追求自主性武器的自利行為,要求各國在研發、部署自主性武器時堅持審慎原則,更加謹慎地考量其中的人道因素,以求國際人道法得到更好地遵守;只有運用國際法的進路才能夠促使國際社會和各主權國家完善國際國內相關法律制度,確立問責制度,避免歸責真空。總而言之,運用國際法的進路能夠對自主性武器帶來的問題點對點地進行解決,是一種現階段更為高效的選擇。
正如美國在CCW會議上提出的關于“致命性自主武器系統”定義的看法:嘗試去對這種復雜的機器智能問題作出準確的定義是不正確的,問題的關鍵在于從法律角度而言什么是重要的。[35]依據這一思路,堅持從技術的角度來探討“有意義的人類控制”的定義或許也是一條“彎路”,要使這一理念能切實地解決自主性武器所引發的人道主義危機,就不能將其限定為一個技術性的理念,而應當讓法學家、倫理學家、政治學家以及科學家甚至普通民眾都能夠讀懂。湯普森·成格塔(Thompson Chengeta)曾嘗試從法律的角度去界定“有意義的人類控制”,認為如果要將“有意義的人類控制”定義為一個法律術語,至少作為一個法律責任的術語,就需要將其定義縮小至某一特定主體上,即作為該武器最終使用者的戰斗員。[30](PP.868-883)這種法律的進路為“有意義的人類控制”的定義提供了一種新的思路,通過界定控制主體、控制目的、控制方式等問題來應對科技水平不斷變化,賦予了“有意義的人類控制”較強的靈活性與適應性。如前所述,國際法是界定“有意義的人類控制”的理想工具,而國際法作為法律規范的一種本身所具有的特點為“有意義的人類控制”理念的清晰化提供了獨特的思路。
1.國際法視角下“有意義的人類控制”的主體是主權國家
除湯普森·成格塔建議將“有意義的人類控制”的主體確立為最終使用者外,也有組織呼吁要求所有與自主性武器有關的人和組織均應當保持對其的“有意義的人類控制”,進一步擴大了主體范圍。[28](P.3)但從國際法的視角來看,“有意義的人類控制”的主體界定為主權國家才能在符合法理的情況下具備現實可行性。從法理上來說,國家是國際法的基本主體,國家也是通過締結條約享有權利、承擔義務的最重要主體。因此,以締結條約為目標的自主性武器軍控中,國家是最重要的軍控實施者,也是“有意義的人類控制”最基本的實施主體。從實踐上來說,國家是主權的享有者,國家主權對外表現為獨立權,對內表現為控制權。[36](P.75)主權實質上是一種治理權,是社會中一部分人的權利,它意味著在一個確定地域之內主掌者對于群體的命令,群體因而承受強加的成本,服從于主掌者的意志。[37](P.209)因此,只有擁有對內最高控制權的國家,才可以全面貫徹執行人類對自主性武器保持“有意義的人類控制”。
2.國際法視角下“有意義的人類控制”的范圍是自主性武器生命周期的所有環節
2016年,“第36條”將控制的焦點從單一的應用環節擴大到設計和開發階段,并提出了人類控制的“三層進路”——戰前、戰中、戰后,即人類的控制應當通過戰爭前后的一系列機制得到保證。[38](P.4)具體而言,除襲擊時的人類控制外,它建議戰前環節制定政策劃定邊界,同時強調武器的設計、開發以及獲取和操作人員的訓練;而在戰后則強調歸責的有力。[38](PP.5-6)以參戰與否作為劃分節點顯然與現實存在一定的落差。實際上,大多數武器并不會真實地參與武裝沖突,而即便真實地參與到了武裝沖突中,其生產者與使用者也可能存在差異,這種界定方式給法律條文的設置加大了難度。國際機器人軍控委員會認為“有意義的人類控制”應當設定為一項普遍性的條文,下設“訓練”“設計”“使用”三個部分。[23](P.4)這些界定雖仍存在局限,但就擴大“有意義的人類控制”的適用范圍而言,是具有啟發性的。只有擴大視角,將目光從單純的應用層面拔高才能全面地把握問題的解決之道。而考慮到法律條文的一般性,概括性的語言是其具有廣泛適用性的根源,因此“有意義的人類控制”的對象應界定為自主性武器生命周期(Life Cycle)的所有環節。2020年,瑞典代表團提交報告表示,人類的控制應當貫穿武器系統的整個生命周期,包括使決策者充分認知到武器系統的特性、賦予復雜的武器系統以嚴密的操作規范等,這些都是人機交互措施的一部分。[39]這項建議是符合現實且具有較強適應性的。
3.國際法視角下“有意義的人類控制”目的是平衡軍事利好與人道考量
湯普森·成格塔提出“有意義的人類控制”目的在于彌補可能存在的歸責真空。[30](P.870)實際上,全面地禁止自主性武器也可以防止歸責真空的出現,但與“有意義”這一要求背道而馳。自主性武器不僅給國際社會帶來了挑戰,也給各國軍隊帶來了難以抗拒的軍事利好。以美國為首的部分國家始終強調自主性武器潛在的守法優勢,相信技術的發展可以使得這類武器的使用可以產生更好的守法效果,主張自主性武器某種程度上是與國際人道法的要義完全契合的。[12](PP.3-4)基于挑戰與利好的同時存在,國際社會就不能以禁止和限制人工智能技術發展為導向去進行“有意義的人類控制”。因此,也只有兼顧了軍事利好與人道考量的控制手段,才是“有意義的”。正如弗蘭克·索爾(Frank Sauer)所說:“將人類與計算機的力量結合在一起,配以做出瞄準、攻擊目標等決策時的‘有意義的人類控制’,才能夠更好地實現軍事目標,從策略、法律以及倫理角度而言,也只有這樣才是最明智的道路。”[40]如何判斷控制手段達到了平衡?或者說如何判斷其“有意義”呢?專家們和國際組織倡導人類應該“在回路中”(Human in the Loop),但并未明確人類參與程度。“在回路中”可以是僅僅按下按鈕表明目標已被檢測到,也可以是在對目標發起攻擊前針對其合法性進行完全的人類判斷。[41](P.4)國際機器人軍控組織認為“有意義的人類控制”有三個層面的要求:首先必須要提供一個“防錯機制”(Fail-Safe Machanism);其次要促進歸責的進行;最后,要確保其具有道德性。[23](P.2)這為我們對控制力度的細化提供了思路,至少可以明確控制的下限在于保證自主性武器造成違法后果后能夠依法追責到相關責任主體。
運用國際法界定“有意義的人類控制”目的在于化解自主性武器對國際法的挑戰,實現國際法對其的有效規制。因此運用國際法實施“有意義的人類控制”是本文,也是國際社會應對自主性武器人道危機的邏輯必然。
1.在CCW框架下形成針對自主性武器的附加議定書
CCW旨在約束戰爭和武裝沖突中各方的作戰手法,并禁止使用可能引起過分傷害或者不必要的痛苦的武器、彈藥、材料和作戰方法,是一個致力于在軍事必要性和人道主義考量中達成平衡的公約。[42](P.2)CCW為自主性武器提供的討論平臺擁有最多元化的參與者,是國際社會對自主性武器討論最深入、成效最突出、影響最廣泛的場合,也是最有可能形成具有針對性的自主性武器軍控制度的場合。[9](P.154)對此,俄羅斯代表表示,CCW作為能夠最大程度地保證人道考慮和國家合法的安全利益之間平衡的國際法工具,是討論自主性武器問題最合適的平臺。[43](P.1)這一觀點也得到了會議專家組的肯定,他們強調CCW的模塊性質和不斷演變的性質,及其力求在人道主義考慮和軍事必要性之間取得平衡和為多個利益攸關方提供參與的機會,使其成為可以就該議題開展針對性和參與性討論并達成共識的理想平臺。[17]2018年,智利、奧地利、巴西共同提交了一項提案,表示各國應當在CCW框架下就針對致命性自主武器進行“有意義的人類控制”的問題協商達成一項具有法律拘束力的文件。[44]2019年,CCW會議專家組根據各方共識,將“CCW提供了適當的框架,可在CCW的目標和宗旨的范圍內處理致命性自主武器系統領域新技術的問題,力求在軍事必要性和人道主義考慮之間求得平衡”確立為當下應對自主性武器挑戰的原則之一。[45]CCW本身具有一定的宣言性質,包含五個涉及特定常規武器的附加議定書。這種規范模式正好契合自主性武器的規制需求。
2.確立“有意義的人類控制”作為自主性武器軍控的指導性國際法原則
諾埃爾·沙基(Noel Sharkey)很早就為國際社會有效實施“有意義的人類控制”提供了一個建設性的思路——“國際社會必須將人類的監管控制確立為法律原則”[41](P.21)。羅納德·德沃金(Ronald Myles Dworkin)認為:法律規則與法律原則之間存在質的差別,他們在適用方式、例外可否被完全列舉、是否具有重要性維度等方面存在差異。[46](P.26)具體而言,法律規則要么適用,要么不適用,而法律原則的適用則存在一定的權衡和比對;法律規則的例外可以完全列舉,而法律原則反之;法律規則不具有重要性維度,而法律原則具有。[47](P.23)法律原則相較于法律規則具有一定程度的模糊性和宏觀性,它帶著立法者的價值判斷,也指導著具體規則的價值和文本構建。美國學者莎拉·克雷普斯(Sarah E. Kreps)經過對各類軍控協議文本進行研究后認為“法律化程度越高并不必然導致合作,相反還可能會阻礙合作”;“當涉及簽訂長期協議所面臨的不確定性時,國家往往更青睞擁有更加靈活機制的軍控協議”。[34](PP.131-132)如此一來,由于其模糊性與宏觀性,法律原則的先行確立就是國際社會凝聚共識的可行之路。據此,國際社會處理國際海底資源的經驗值得借鑒。
20世紀60年代,鑒于國際海底資源的國際法規制尚處空白,而國際社會已有搶占該區域之趨勢。1967年,馬耳他駐聯合國代表阿維爾·帕多(Avrid Pardo)在第22屆聯大會議上提出宣布深海大洋底是人類共同繼承的財產的建議。據此,聯大通過第2340號決議,即“各國現行管轄范圍以外,公海海洋底及其底土的和平利用,以及資源用于人類福利問題”的決議。[48]阿維爾·帕多后續的辯論中提出了一系列設想:遠期設想即建立一個為人類共同利益服務的特別機構,該機構將被賦予充分的權力以對國家管轄外水域及其底土進行管理,但由于時間倉促以及該設想尚未得到充分討論,近期應以提出相應的指導原則為主要任務。這些原則綜合而言,即是“人類共同繼承的財產原則”。(12)這些原則包括“(a)國家管轄范圍以外的海床洋底不應為任何國家所占有;(b)區域勘探應遵從聯合國憲章的原則和目的;(c)區域的利用和經濟開發應保證人類利益為目的,并應主要用于促進貧窮國家的發展;(d)區域應保留轉為和平目的”。 UNGA.Examination of the question of the reservation exclusively for peaceful purposes of the seabed and the ocean floor, and the subsoil thereof, underlying the high seas beyond the limits of present national jurisdiction, and the use of their resources in the interests of mankind Page General debate, A/C.1/PV.1515, November 1, 1967.此后,聯合國大會于1970年通過了第2749號決議,即“管理國家管轄范圍以外海床洋底及其底土原則宣言”,正式確立了國際海底及其資源屬于“人類共同繼承財產”這一法律原則。[49]該原則的確立,極大地提高了后續第三次海洋法會議制定國際海底開發制度的效率,成為了指導各國談判的基本原則。
當問題已經凸顯,而關于具體措施的共識尚需醞釀中時,國際海底區域的經驗顯示出原則先行是可行且有效的。相似地,隨著人工智能技術的軍事化,武器的自主性能不斷提升,人道主義危機已經迫在眉睫,而軍控規則卻仍為赤字。國際法為了協調不同國家的利益,必然以一定程度含混模糊的方式呈現,以使所有簽字國認為該法律文件承認其國家利益。[50]就自主性武器軍控而言,國際社會有一定的共識基礎,但仍缺乏對具體措施的探討,因為這勢必將觸及某些國家的利益,當下對其進行談判將是艱難且耗時長久的,不符合人道危機迫在眉睫的現狀。此外,這種路徑也能夠避免條約因科技的進步而過時。[51](P.3)因此,以一定程度上含混模糊的方式先行確立指導軍控的法律原則既能鞏固共識,又能初步提高各國對自主性武器管控的意識,是目前應對挑戰的最為可行之路。而其本身具有的“有益的模糊性”也是“有意義的人類控制”受到國際社會青睞的重要因素。[23](P.5)國際法為國際社會提供行動的原則和指引,各主權國家積極響應國際法的要求,認真貫徹落實國際法所確立的法律原則,才能實現一個國家的國際義務與國內權力的良性互動。
條約必須遵守被稱為國際社會交往的重要原則之一,它意味著各政治體作為一個獨立的機構,在與其他政治體進行國際交往時,須按照所參加條約的規范行事;當條約的內容涉及國內民商事主體的行為時,各政治體必須妥善處理所參加的國際條約與國內法的關系。[52](PP.200-201)締約國有義務通過其對內主權促使“有意義的人類控制”原則在其國內得到落實,而這些具體的手段與措施應被作為一個可持續的議題,以應對可能出現的新技術與新動向。
1.宏觀上為實施“有意義的人類控制”做出政策指引
一個國家的政策方向影響著其國內各行各業的發展態勢,如果一國的宏觀政策僅強調人工智能技術的發展和運用,不考慮其中所涉的任何法律和人道因素,則在該政策引導下的相關行業、產業、部門、單位都不會將法律和人道的考量作為研發、生產或部署自主性武器時的評估標準。例如,美國國防創新委員會于2019年發布了《人工智能原則:國防部人工智能應用倫理的若干建議》,要求人工智能的軍事應用應當堅守“公平、負責、可控、可靠、可追蹤”等原則[53],這些原則受到了國防部的認可與采納,從而進一步為自主性武器的安全運用劃定了界限。2019年,中國國家新一代人工智能治理專業委員會發布《新一代人工智能治理原則——發展負責任的人工智能》,其中強調了人工智能技術發展中的可控性和責任承擔問題。[54]2021年,該委員會又發布《新一代人工智能倫理規范》,要求將倫理道德融入人工智能全生命周期,再次強調人工智能的可控可信和人類的責任擔當。[55]這些均是從宏觀政策層面引導人工智能技術發展的有益嘗試。在“有意義的人類控制”原則指導下各締約國通過在其國家政策中強調軍事人工智能以及自主性武器的安全問題,強調研制、開發和后續一系列進程中的倫理和法律考量,可以為后續的一系列針對“有意義的人類控制”的工作落實提供有力的政策基礎和價值指引。
2.微觀上對自主性武器整個生命周期進行“有意義的人類控制”
在自主性武器中保持人類的介入需要解決兩個問題:其一,如何保障人類的介入在“質”的層面合適;其二,如何建立屬于人類操作員的控制特權。要解決這兩個問題,將目光局限于武器的部署和使用階段顯然是不夠的。[23](P.8)在自主性武器與人類的互通過程中存在“人機交互界面”,其中有以下接觸點:(1)發展前階段的政治方向;(2)研究與發展;(3)測試、評估和認證;(4)部署、培訓、指揮和控制;(5)使用和中止;(6)使用后評估。[17]這些接觸點實質上就是自主性武器生命周期中的關鍵環節,各國在履行控制義務時可以從以上接觸點入手,對自主性武器保持足夠且適度的控制。例如,前期的法律審核、中期的合法性監管、完成后的合法性測評;從立法的層面明確設計者、編程者、生產者的責任;在啟動階段,對任務類型、目標類型、武力類型、運作的環境、時間等因素進行限制。[10](P.13)CCW會議專家組于2019年形成了11項適用于自主性武器的原則,其中許多內容都涉及在自主性武器生命周期中的微觀控制。例如,應考慮到實體安保和適當的非實體保障(包括針對黑客攻擊或數據欺騙等)網絡安全、落入恐怖主義團體手中的風險和擴散的風險等問題;應考慮在武器的設計、發展、測試和部署周期中采取風險評估和減小風險的措施。[45]除此之外,恐怖分子也在積極尋找這類系統,非法的轉讓可能意味著致命性自主武器系統落入非國家行為體之手[16],因此有必要考慮設置流通限制,并建立相關的問責制度。
3.強調法律審查和問責機制的構建
就法律審查而言,1997年的《日內瓦公約第一附加議定書》第36條明確要求,在對新武器、新的戰爭手段或方式進行研究、開發、獲取、適用等情形時,締約國有義務判定其在某些情形下是否受到該議定書或其他于該締約國有效的國際法規則所禁止。據此,法律審查義務本身就存在國際法基礎,而在“有意義的人類控制”原則下對其的再次確認與強調集中突出了對自主性武器進行法律審查的迫切和必要性。法律通過對于行為模式的后果設定來指引行為體(法律行為者或者法律主體)何種行為受到鼓勵、何種行為被容忍、何種行為被限制、何種行為被禁止。[56](P.91)國際法亦然,對違法行為的歸責是國際法的基礎問題,它不僅關系到受害者的救濟權,還能樹立法律權威,起到警示作用。[57](P.5)“有意義的人類控制”被認為是填補可能存在的歸責真空的重要路徑。由于國際法對于個人的追責方式、情形以及涉及的罪名有限,單純依靠國際法來建立對自主性武器在研發、生產、部署、適用等環節的所有相關人員的問責制度并不簡單,也不現實,畢竟各國有著不同的意識形態和法律制度。就目前的國際法而言,除國家、戰斗員與指揮員以外,向自主性武器所涉其他環節的相關企業、研發人員進行追責相當復雜與困難。(13)例如《羅馬規約》《前南國際刑事法庭規約》以及《盧旺達國際刑事法庭規約》都對個人(無論是自然人還是法人)承擔國際刑事責任做出了主觀故意的要求。為此,在“有意義的人類控制”原則的指引下,要求締約國建立相關問責制度能夠從國內法角度彌補過失犯罪在國際刑法中難以被歸責的漏洞,保障受害人的權利得到有效救濟。
雖面臨界定的難題,“有意義的人類控制”仍因其適當的模糊性和概括性成為自主性武器系統軍控的指引性理念和國際社會達成共識的潛在焦點。近年來,各方對該理念的界定嘗試未能從實踐性和預見性等角度描繪其全貌。而當下,人工智能技術的軍事化已經不可避免,主權國家片面追求武器高自主性的自利行為也難以控制,這種趨勢帶來的人道主義危機是不容忽視的。基于這種迫切的危機和規范需求,國際社會應轉換思路,從技術性的視角轉換至法律性的視角,探討如何運用國際法的思維界定和實施“有意義的人類控制”,這是從法理和現實角度邏輯的必然。中國將“構建人類命運共同體”作為新時代大國外交的基本綱領與行動指南,它以人類長遠、整體利益為出發點,超越了大國爭奪主導權的思維,將促使各國休戚與共、合作共贏謀求共同發展,并對地區和世界的和平繁榮發展產生了重大而長遠的影響,更利于人類的可持續發展和長久利益。[58](P.21)中國作為安理會常任理事國與國際裁軍事務的重要參與者應當在此議題上發揮更大的作用,但當下的參與度仍顯不足。[21](PP.147-148)“有意義的人類控制”這一概念雖然仍有待進一步的研究和解釋,但它能夠為我們提供一個思路和方向。于中國而言,保障法律拘束力的同時賦予其靈活性,不僅有利于在國際社會間達成共識,也有利于為我國在實踐中探求軍事利好與人道考量的平衡積累經驗。在未來的自主性武器軍控議題中,中國對“有意義的人類控制”理念的理解和充實,以及自主性武器國際軍控的中國方案,值得期待。