人工智能發展的道德倫理困境

人工智能自誕生以來，理論和技術日臻成熟，正廣泛運用到軍事領域，在智能化信息感知與處理、指揮控制輔助決策、無人化軍用平臺和機器人等方面扮演著越來越重要的角色。這在催生新的戰爭樣式、改變戰爭制勝內在機理的同時，也會挑戰人類倫理與道德底線，產生涉及法律、道德、信任、技術等的一系列難題。

改寫戰爭倫理道德標準

戰爭的原始本性就是殺生，一定會帶來生命和財產的巨大損失，但無論是什么樣的戰爭，都要考慮作戰倫理與道德，這方面是有明確國際法可循的。例如，根據1949年簽訂的《日內瓦公約》，任何戰爭都必須要對參與戰爭者和非參戰者進行差別對待，不可屠殺平民，不可殺害俘虜等。

但隨著人工智能技術的不斷發展，這些傳統的戰爭倫理與道德標準正面臨巨大挑戰。首先，戰爭責任的認定受到沖擊。在傳統的正義戰爭理論中，人類作為唯一的責任主體，相關責任方是相對比較明確的，往往由戰爭的發起者和實施者負主要責任。但在智能化戰爭中，戰爭責任的認定將面臨前所未有的困難。例如，高度智能化的無人裝備能否承擔戰爭責任，在智能武器研制、生產、裝備與應用的過程中，可能涉及的操控者、軍火商、程序員、采購員、戰地指揮員及相關維護人員，他們的責任追究是否有明確規定，因無人智能作戰引發的非正義軍事行為如何進行責任追究，都是難以解決的問題。

此外，在未來智能化戰爭戰場上，絕大多數作戰任務都將交由戰斗機器人來完成。一旦這些機器人取代人類成為未來戰爭的決策者，人道主義原則的執行可能面臨諸多挑戰。根據戰爭法規定：沖突各方必須避免不必要的破壞并避免給對方帶來不必要的傷痛；必須善待平民、受傷與無作戰能力和被俘的軍人。而機器人雖然有人工智能，但卻沒有憐憫或悔恨等情感，即使殺人也沒有任何的愧疚感。一旦這群毫無感情、不知疲倦殺人的機器人智能化超過一定程度，并被人類授予了“開火權”，會不會漠視甚至踐踏人類奉為最高價值的生命和尊嚴，自作主張，濫殺無辜，將戰爭變為單純的屠殺，成為《戰爭論》中所提出的“絕對戰爭”，都是未來軍事智能技術發展必須思考的問題。

易于失控造成災難性后果

實際上，人們對于智能技術發展可能會導致機器失控的擔憂，從命名伊始就初見端倪。機器人的英文單詞是“Robot”，最早由捷克作家卡雷爾·恰佩克在其科幻作品中首創，原意是“農奴式被強迫的勞動者”，并借此稱呼那些可能會造反的機器仆人。而在1991年出版的《無人戰爭——未來戰場上的機器人》，也對軍用機器人使用后的失控問題提出了嚴肅的思考。

從理論上講，武器裝備的智能化程度越高，其內部電腦控制軟件的規模就愈加龐大和復雜，出現故障的概率也就相應越高，極有可能出現失控問題。目前，在復雜戰場環境下，智能武器由于受到電磁干擾、識別錯誤、通信降級等諸多因素干擾，存在巨大不穩定性和風險性。各種人為錯誤、機器故障、環境擾動等因素都可能使得系統失去戰斗效力。而且，如果對手通過惡意代碼、病毒植入、指令篡改等手段攻擊擁有高度智能的無人作戰系統或武器裝備，還將導致戰術失利，甚至帶來災難性的后果。

2005年，美國空軍的一架戰斗機突然自動向地面重要設施發射了一枚導彈，其原因是飛機上火控系統的電腦出了故障，無法準確判斷而產生的戰場失控。2015年7月，美國一臺“發瘋”的機器人也曾“失手”將一名裝配工人殺死。此外，戰場上的敵我識別對智能武器而言同樣并非易事，甚至可能在遭受敵電磁、網絡攻擊后出現“臨陣倒戈”的問題。例如，在伊拉克戰爭期間，美軍的導彈系統就曾因為無法準確判斷，把己方飛機擊落。

此外，隨著相關技術的不斷發展，人工智能在某些領域超越人類已是不爭的事實，人類對于智能機器的控制也越來越難。例如，隨著“機器人”智能化水平的不斷提高，未來很有可能不愿意再接受“自然人”的控制，并由此與“自然人”發生矛盾沖突，而一旦失控，則很有可能造成災難性后果，甚至完全脫離人類控制而實現自主攻擊，就像電影《終結者》中所描述的那樣，與“自然人”爆發生死大戰，并最終取代“自然人”的地位成為“人類終結者”。這將是人類面臨的重大挑戰，也是對人類命運的最大考驗。

未來必須掌握“主動權”

隨著計算機技術、信息技術與傳感技術的快速發展，人工智能的軍用發展迎來了新一輪機遇期，開始呈現井噴式發展。在當前信息化戰爭不斷深化的背景下，未來人工智能與戰爭技術的深度融合，將是不可避免的發展趨勢，而高度智能化的武器會改變傳統戰爭模式形態，甚至會導致人類文明史終結的想法，也并非“杞人憂天”，而是一個值得我們高度重視的問題，有必要未雨綢繆。

從人類創新發展智能化武器的目的來看，主要是用于減少傷亡，而不是威脅和挑戰人類自我的主導地位。因此，在發展人工智能武器體系時必須設定一條底線，那就是不能威脅到整個人類的生存。一方面，在編寫智能武器控制軟件中加入相關控制程序，對智能武器的攻擊目標和攻擊方式進行明確限制，牢牢控制智能武器的“思維”；另一方面，在高智能武器出廠啟用前，提前設置“后門”式自毀模塊，可在人類需要情況下實現智能武器的徹底死機或自行報廢，從而避免出現人類被完全排斥在“戰爭回路”之外而束手無策的情況。

也要自信，戰爭的決定因素仍然是人，人的主觀能動性仍是智能化戰爭勝負的關鍵。人工智能并非萬能，也無法完全取代人類決策，特別是在復雜多變的動態環境中，人工智能的認知能力還遠遜于人類。人工智能作為個別技術領域的突破，不過是人類智能的延伸，無法取代人類智能的支配地位。在未來智能化戰爭中，無論戰斗機器人系統如何高度智能化，人作為戰爭的主導因素始終沒有改變，改變的只是人與戰斗機器人的戰場協作方式。人工智能武器帶給人類的究竟是威脅還是發展，關鍵在于如何利用。只要牢固確立人類是人機關系主導者的思想，始終處于“觀察—判斷—決策—行動”的戰術循環過程中的核心地位，使得智能武器按照人類預先編程設想作戰，牢牢掌握智能武器的“開火權”，實現對人工智能安全的有效控制，就能避免人工智能武器產生的一系列挑戰問題，讓其為人類和平福祉服務，而不是成為“惡魔的幫兇”，甚至“惡魔”本身。

（作者為國防科技大學國際關系學院副教授）

（本組文章均摘自《世界知識》2018年第18期）