人工智能軍事應用面臨的人機關系困境

尹 恒

作為人的本質力量對象化的最新產物，人工智能與人有著千絲萬縷的聯系。一方面，人工智能的發展進程體現了人類思維活動的變化過程，人工智能的行為模式與人類自身的發展需求、價值定位、文化背景等息息相關；另一方面，擬人化的行為特征使得人工智能相較以往任何一次技術革命，將對人類現有的生活生產方式造成更為劇烈的沖擊，從而導致人類社會關系的深刻變革和調整。在軍事領域，人工智能的出現將對現有作戰基本方式和軍隊組織結構產生顛覆式影響，人在軍事活動中的主體地位也會隨之受到沖擊，在這樣的情況下，如何最大限度消除人工智能對軍事活動參與者的不利影響，使其受人控制、為人所用、引人向善，將成為人工智能軍事應用倫理研究的重中之重。

機器替代人導致的價值缺失

開發人工智能的初衷是讓人從繁重、繁瑣的程序性工作中解放出來，在為社會創造巨大生產力的同時使人獲得更多的自由時間。與此同時，人工智能的大面積應用也將擠占大量工作崗位，造成社會普遍失業現象。人工智能在軍事領域的應用同樣可能導致類似問題的出現。相較于軍隊人員，人工智能在情報獲取、決策支持、特種戰斗等方面都有著更為穩定和可靠的表現，無論是從經濟效益還是戰斗力生成的角度來審視，都有著更為明顯的優勢。而一旦人工智能在軍事領域廣泛應用，原有屬人的職能將被不同程度替代，軍人群體將不可避免地面臨自我認同危機。現代社會轉型對自我認同的侵入是通過對日常生活、權威系統（專家系統）、文化思想系統的解構從而威脅到個體本體安全的方式進行的。由于軍隊特殊的職能任務，軍隊內部環境具有相對封閉性，這就使得軍隊內部人員在接收外部社會環境變化釋放的信息時具有一定的滯后性。軍人自我身份的構建在很大程度上依賴于國家和社會對于這個群體的評價，一般情況下，軍人離開軍隊時出現的不適應狀況往往能通過國家的政策指引和社會的接納吸收得到有效緩解。而每當社會出現重大轉型時，巨大的軍轉再就業需求往往會超出社會的承載能力，致使一部分軍轉人員得不到妥善安置，從而產生自我認同危機。人工智能在推動社會由信息化、數字化向智能化轉型的同時，也會引起軍隊在人員結構上的“大換血”。一大批知識技能相對較弱的軍隊人員將面臨被人工智能“淘汰出局”的窘境，當社會的轉型需要與他們的能力狀況不相符合時，就必然會出現沖突和矛盾。這部分人群可能被社會無意識地邊緣化，產生被拋棄、被遺棄的感覺和沮喪、失落，甚至悲觀、厭世的消極情緒，成為社會的不穩定因素。

對于仍然留在軍隊中的人員，也同樣面臨著如何與人工智能共處的困擾。人工智能在軍事上的應用，將使人機關系由單純意義上的從屬關系過渡為特定場景下的共存和協作。人工智能作為整個指揮鏈條的關鍵環節緊密嵌入其中，充當不同指揮層級之間的橋梁和紐帶。參謀人員將輔助決策的職能讓渡給人工智能，戰斗人員將從作戰執行端轉移到控制端，具體作戰任務將由智能化無人系統自主或半自主地實施。從微觀層面看，軍隊人員原有的工作任務被人工智能部分或全部地代替，在解放體力和腦力的同時也會導致自我價值和認同感的弱化，這樣的問題長期無法得到解決，必然會滋生一系列心理問題，從而對軍隊和社會安全產生影響。從宏觀層面看，軍隊傳統的價值體系在人工智能的沖擊下面臨調整和重塑，勇氣、榮譽等傳統武德，隊列、體能等軍人基本養成模式呈現邊緣化、形式化的趨勢。這在一定程度上削弱了軍隊的集體凝聚力和向心力，造成軍人群體的歸屬感缺失，各種形式的違紀違規行為將變得更容易發生。

人工智能可以使人們從繁重的程序性工作中解放出來

機器殺戮人引發的道德危機

縱覽人類歷史，但凡發生戰爭，總免不了人員傷亡，其中既包括戰斗人員傷亡，也包括附帶的非戰斗人員傷亡。隨著人類社會文明程度的提升，人們開始越來越多地關注戰爭中的人員傷亡情況。一方面，各類精確制導武器的出現使得戰爭可以在更短時間、更小范圍、更低傷亡的情況下進行；另一方面，各類國際法的出現也對戰爭的限度進行了規定，并突出對非戰斗人員的保護。1977年的《日內瓦公約第一附加議定書》《日內瓦公約第二附加議定書》以及隨后的各種形式的武器法均對于保護平民在軍事行動中免受傷害進行了具體規定，而從現代戰爭的演變趨勢來看，各國在開展軍事行動時也都不同程度地受到這一基本原則的規制和約束。人工智能的出現使得情況變得復雜起來：人工智能不同于普通士兵，也與傳統意義上的常規武器有著本質的區別，當戰場上的人工智能錯誤地對平民和非軍事目標發動攻擊，造成非戰斗人員傷亡，是否屬于對區分原則的破壞和對人權的侵害？

一些人認為，人工智能在戰場中能夠更加遵守原則

國外學術界圍繞這一話題展開了激烈討論，其中兩位該領域權威專家的意見基本上代表了對于在戰場上應用人工智能態度的兩極：羅納德·阿爾金認為，自主武器系統不會被恐懼或憤怒等情緒所左右，這些情緒通常會促使人類做出不道德的行為。與人類士兵相比，致命性自主武器系統在戰場上的表現可能更符合倫理要求。羅伯特·斯派洛則指出在復雜的城市環境中，自主武器系統難以滿足區分原則和比例原則的要求，尤其是在敵軍投降或其它復雜情況下，無法正確區分合法與非法目標，甚至有可能直接攻擊俘虜和平民，因此是不道德的。通過歸納，可以得出雙方的基本論點如下：支持方認為，由于人工智能不具備做出過激反應的生理結構，在使用時能更好的地符合比例原則。反對方則認為，由于人工智能無法像人一樣通過直覺運用常識進行判斷，在復雜情境下必然會出現誤判，從而錯誤發動攻擊。

借用倫理學領域的著名思想實驗“電車難題”，可以對該問題有一個更為明晰的認識。電車難題的經典版本是這樣的：一輛電車失去控制，正高速沖向五個無法移動的人。軌道旁邊有一個操縱桿，如果拉動操縱桿，電車將轉向另一條軌道，那里只有一個人（同樣無法移動）。如果拉動操縱桿，你會殺死一個人，但會拯救五個人。那么，你拉還是不拉？

功利主義認為，五個人的生命要比一個人的生命更加重要，因此拉動操縱桿是在這種情境下最不壞的選擇。道德義務論則認為，一個人只要沒有犯錯，就不得為了任何目的以任何理由對其施加懲罰，根據實踐純粹理性的命令，不得改變電車原有行駛路線。但仔細分析，二者都存在缺陷。對于功利主義來說，忽略了一個前提，那就是電車本來行駛在撞向五個人的軌道上，而其余的那個人是絕對安全的，因此，即便從量的角度看五個人的生命之和要高于一個人的生命，也并不能成為改道的直接理由。對于道德義務論來說，不拉動操縱桿，會導致五個人被撞死，而這五個人同樣是沒有犯錯的，那么罪責相等原則又如何體現？尤其是，當電車難題中兩條軌道的人數比變化為10:1、100:1、1000:1，那么仍然堅持原有的選擇會不會是對道德義務的一種執念？

回到人工智能在戰場中的場景，會發現二者的相似之處。支持一方類似于電車難題中的功利主義者，反對一方則更接近電車難題中的道德義務論者。而希望電車難題中無法解決的問題在人工智能軍事應用倫理領域找到答案，顯然是不現實的。另外，電車難題只是一種高度抽象的倫理模型，在現實中不可能找到完全還原的情境。同樣，關于人工智能是否該在戰場上使用的兩派論點也是基于高度理想化場景的極端假設，是一種靜態思維的體現。馬克思主義哲學認為，一切事物都是在不斷運動變化中的，事物不同狀態的飛躍必須經過量的積累，后一階段的某些特征已經潛在地包含在前一階段中。回到現實，不難發現，無人機已經開始在戰場上大面積使用，那么無人機是更接近人工智能還是更接近傳統機械化裝備？至少從技術層面來看，很難給出確切的答案。筆者認為，與其靜態地討論該不該發展人工智能軍事應用，不如動態地把握如何規制人工智能軍事應用。把人類武器形態發展變化作為一個整體，辯證地看待不同武器形態之間的內在聯系，使其沿著更為人道、更加安全的方向前進，才是當前最緊迫的課題。

人對機器依賴加深下的隱憂

機器大工業時期，資本自我增值的需要使生產者從行會的控制和學徒、幫工制度的約束下解放出來的同時，將其拋入除了自身的勞動力之外沒有任何東西可以出賣的境地。社會必要勞動時間隨著機器的引入大幅降低，原始手工業生產逐步喪失了競爭力，工人只有將自身緊緊依附在機器之上，才能將勞動力的完整價值生產出來。正如馬克思所指出的，變得空虛了的單個工人的局部技巧，在科學面前，在巨大的自然力面前，在社會的群眾性勞動面前，作為微不足道的附屬品而消失了；科學、巨大的自然力、社會的群眾性勞動都體現在機器體系中，并同機器體系一道構成“主人”的權力。

經典的電車難題

隨著人工智能在軍事領域的深度應用，人類也會出現某些能力的衰退

雖然馬克思是在機器大工業時期作出對勞動者與機器關系的如上判斷的，但我們同樣可以借用這樣的分析思路來審視軍事領域中人工智能與人的關系。理想狀況下，當人工智能用于軍事決策輔助時，決策者對人工智能提供的最優方案進行評估，如不滿意，可返回上一級對原始方案進行篩選，若仍存在疑問，可調用底層數據重新擬定方案。當人工智能投入戰場使用時，在執行任務過程中操縱員可根據具體情況隨時終止或改變任務目標，確保全過程的安全。但由于以上環節均是在人機交互的過程中實現的，實際情況遠比假設要復雜得多。首先，無論是決策者還是操作員，作出以上判斷均需要極強的洞察力和判斷力，而這樣的能力因人而異；其次，對于人工智能系統的信任必然會隨著一次次的正向反饋而逐步加深，在人工智能給出的“答案”面前具有思維局限性的個人將難以堅持自己的判斷；最后，如果選擇其它手段重新開始任務，意味著要承擔巨大的時間沉沒成本，而在以“快”為制勝密碼的未來戰爭中，這樣的選擇往往可能貽誤戰機甚至影響全局。正如生產者在與機器的結合過程中逐漸喪失掉自身的主觀能動性，人工智能在提升軍隊運轉效率和作戰能力的同時，對人工智能的高度依賴也可能會使人逐漸成為機器的“附庸”，從而導致人的能力在某些方面的衰退。同樣，正如機器大工業時期的工人不把自己與機器綁定在一起，就無法獲得每天必需的生活資料，智能化時代的軍人不借助人工智能進行思考、決策、行動，也將難以正常開展各項軍事活動。因此，人工智能的引入對于現代軍事而言絕不是提供了一個全新的選擇或是進行了一次升級那么簡單，而是會對構成現代軍事的各個要素尤其是人這個關鍵因素產生持久而深遠的影響。如果只關注人工智能會為現代軍事帶來什么，而不從整體出發去審視人工智能會影響什么、改變什么，那么人類必然沿著錯誤的軌道越走越遠。

1981年9月，中國常駐聯合國代表簽署《特定常規武器公約》

機器脫離人控制的潛在風險

將人工智能軍事應用的自主程度限定在一定閾值下，并保留對其最后控制權，已成為國際社會的基本共識。來自英國的非政府組織“第36條”率先提出了“有意義的人類控制”的理念，主張在任何情況下都應當對自主性武器針對個人的攻擊實施“有意義的人類控制”，這一理念隨后受到了國際社會的廣泛關注和高度重視，并引起了以《特定常規武器公約》締約方會議（CCW會議）為代表的各類國際組織會議的激烈討論。美國對此表示質疑，認為該理念存在較大的主觀隨意性，建議以“適當的人類判斷”作為替代，從而進一步提高人工智能軍事應用的自主權限。兩者雖然在概念的內涵、外延、應用范圍上有著明顯區別，但在基本觀點上是一致的，即都認為對人工智能軍事應用的自主性進行一定的限制是必需的。

在具體環境下的實際應用中，以上理念能否得到普遍遵循和有效實行，仍存在諸多不確定性。首先，用在防御作戰的“人在回路外”式自主武器已經出現（例如韓國在朝韓邊境布置的SGR-1哨兵機器人），而將“人在回路外”的模式從防御作戰用于進攻作戰，從技術上來看并不是無法跨越的鴻溝。其次，現代戰爭對速度的要求越來越高，完全自主的人工智能系統在作戰響應速度上有著巨大的優勢，這一優勢在作戰雙方武器裝備不存在代差的情況下，很有可能成為左右戰局的關鍵因素，這一特質很有可能導致部分國家秘密研發具備完全自主能力的人工智能軍事應用，作為戰略底牌和保底手段。最后，現代戰爭復雜的電磁環境和惡劣的通信狀況也會使得在戰場上對武器系統進行不間斷地實時控制變得越來越困難。

一旦具備完全自主能力的人工智能開始在軍事領域應用，將會帶來極為復雜的倫理和法律問題。例如，攻擊者有可能躲在無辜平民形成的“人肉盾牌”后面朝機器人開火，故意招致機器人還擊以造成機器人戰士濫殺平民的事件，甚至導致自相殘殺或非故意沖突升級的風險。再譬如，無人控制的自主武器在交戰中誤殺平民或導致戰局擴大，將會給戰后責任判定帶來極大干擾，并對現有國際法體系造成嚴重破壞。總而言之，保持一定的人類控制，是各國在發展人工智能軍事應用時需要遵循的前提條件之一，但這一條件能否得到普遍遵守，在現實中仍存在諸多疑點，這也提醒我們時刻保持冷靜，切勿對人工智能在軍事領域的發展持盲目樂觀的態度和盲目冒進的指導策略。