殺手機器人：未來無人戰(zhàn)爭之憂

楊智杰

致命性自主武器系統(tǒng)足以構成第三次武器革命的威脅——前兩次革命分別是火藥和核武器。這種技術一旦開發(fā)成功，將有可能把戰(zhàn)爭沖突升級至從未有過的規(guī)模，而且會達到人類難以控制的速度。

“我能和你們一起嗎？”2078年的天狼星6B行星上，手拿泰迪熊的小男孩孤零零地站在危機四伏的廢墟里對聯(lián)盟軍人求助，畫面溫情。但他們很快就發(fā)現(xiàn)，這個男孩竟然是由聯(lián)盟研制的電子殺人武器“尖叫者”（screamer）自我進化而成的。故事從此刻開始緊張起來，原先用來絞殺敵人的小型機器人喬裝來到主人面前，它的武器鋸齒圓輪飛向了人類。

這是1995年好萊塢推出的電影《異形終結》的一幕。 從上世紀后期至今，《西部世界》《終結者》《我，機器人》等科幻電影和小說就開始展現(xiàn)人類設計并主導的“殺手機器人”最終成為反叛者，擁有獨立意識，從戰(zhàn)爭的輔助工具轉變?yōu)榕c人類為敵的殺戮者。

耶魯大學生物倫理學研究員瓦拉赫等人在《道德機器：如何教會機器人辨明是非》一書中提到，人工智能技術最有前途的應用領域有三個：軍用機器人，以減少人力投入和傷亡;性愛機器人，滿足單身人士的生理需求以降低性犯罪率;工業(yè)機器人，以應對人口老齡化帶來的用工荒。

然而，人們在享受機器人帶來的進步的同時，也從未停止過擔心。尤其是在進入21世紀的第二個十年以后， AlphaGo戰(zhàn)勝世界圍棋冠軍，國際知名技術公司開發(fā)的無人駕駛汽車紛紛上路……

隨著人工智能的不斷發(fā)展，人們對軍事領域“殺手機器人”的擔憂也由虛構空間開始轉向了真實世界。

未來的無人戰(zhàn)爭

今年8月20日，在墨爾本舉行的2017國際人工智能聯(lián)合大會上，包括美國特斯拉電動汽車公司CEO伊隆·馬斯克、DeepMind聯(lián)合創(chuàng)始人穆斯塔法·蘇萊曼在內(nèi)的116位機器人和人工智能公司創(chuàng)始人發(fā)表公開信，呼吁聯(lián)合國在國際范圍內(nèi)禁止“致命性自主武器系統(tǒng)”的使用。

公開信指出，致命性自主武器系統(tǒng)足以構成第三次武器革命的威脅——前兩次革命分別是火藥和核武器。這種技術一旦開發(fā)成功，將有可能把戰(zhàn)爭沖突升級至從未有過的規(guī)模，而且會達到人類難以控制的速度。公開信的簽署者們認為，致命性自主武器可能成為獨裁者和恐怖分子殘害無辜的手段，或者被黑客挾持。

致命性自主武器系統(tǒng)實際上是一種軍用機器人，它可以不經(jīng)過人類干預，自主選擇和攻擊包括人員和裝備在內(nèi)的軍事目標，所以也被叫做“殺手機器人”。目前，擁有“人格”的智能技術尚未被從科幻電影搬到現(xiàn)實中，但是與此有關的技術的確正在朝著這個方向發(fā)展。

當然，無人武器系統(tǒng)并不等同于致命性自主武器，它還包括自動化武器和遙控武器。軍事科學院系統(tǒng)工程研究院曹華陽博士及其團隊較早就開始關注這個領域的相關問題，他們在最近發(fā)表的論文《致命性自主武器系統(tǒng)的定義方法》中區(qū)分了“自動化”和“自主性”的概念。

自動化武器，以自足完備和獨立的方式運行，在設定好的可控環(huán)境中嚴格執(zhí)行預編程行動或序列。它們的攻擊目標、攻擊決策以及攻擊方式都是由人類預先設定的。遙控武器，一般由戰(zhàn)區(qū)之外的操作員控制著進行戰(zhàn)斗，可以被固定在一處，也可以自行移動。而自主性武器的特殊之處是，在某些關鍵性的能力（如決定人類的生命）方面，機器可能給出并執(zhí)行自己的決策，而不是按照人類預先設定好的程序或者人類遠程的遙控來執(zhí)行。

實際上，目前的軍事武器技術已經(jīng)不止停留在自動化水平上。北京一名不愿透露姓名的軍事專家對《中國新聞周刊》介紹，在自動化時期，例如美軍艦艇上的“密集陣系統(tǒng)”，可以實現(xiàn)對攻擊范圍內(nèi)所有目標無差別地發(fā)起自動打擊。而目前的人工智能技術已經(jīng)可以進一步做到對目標進行識別，在武器系統(tǒng)內(nèi)對不同目標采取不同反應。

電影《終結者：創(chuàng)世紀》劇照。

例如，2016年8月，美軍測試了一款6旋翼小型無人機，該系統(tǒng)安裝了人工智能軟件，不需人類操縱即可自行搜尋并識別村莊里手持AK-47沖鋒槍的人。

據(jù)上述軍事專家介紹，具備無人特征的武器的初級形態(tài)是由人類全程遙控的，目前技術先進的國家已經(jīng)掌握這一水平的技術，如遙控無人機、遙控炮臺、遙控戰(zhàn)車等。

自主程度中等的半自動武器，在面對一些簡單問題時，不需要人類指揮即可自行解決，只在面對復雜環(huán)境和關鍵問題時需要人類控制。當前美國的SSV地面戰(zhàn)車、德國的MV4爆炸物處理機器人即可以實現(xiàn)這類效果。除此之外，軍事領域比較知名的半自動武器還有韓國三星生產(chǎn)的SGR-A1哨兵機器人、英國的Taranis無人機、俄羅斯的Uran-9坦克機器人、美國的Sea Hunter自主戰(zhàn)艦等。

自主程度最高的則是全自主武器，它可以自行在戰(zhàn)場上執(zhí)行完整的任務，但目前還沒有具備這種能力的武器系統(tǒng)出現(xiàn)。

伴隨著機器人武器的發(fā)展和擴散，國外有軍事專家和機器人專家預測，在20到30年內(nèi)，人類就可以開發(fā)出號稱“殺手機器人”的全自主武器。

有人認為，在未來，致命性自主武器系統(tǒng)如果應用于戰(zhàn)爭，在軍事方面會起到許多正面作用。例如，降低己方士兵的風險，降低人與人之間近距離戰(zhàn)爭的代價。此外，自主武器系統(tǒng)也省去了軍人的薪水、住房、養(yǎng)老、醫(yī)療等開銷，又在速度、準確性上高于人類，而且不用休息。有別于人類戰(zhàn)斗員會在戰(zhàn)場上出現(xiàn)心理和情緒波動的特點，人工智能武器更穩(wěn)定，并且能夠抵達人類不可及之處，完成搜救和保護任務。

西安政治學院軍事法學系教授宋新平分析，致命性自主武器的運用，意味著自然人在武裝沖突中直接發(fā)揮的作用越來越小，武器所發(fā)揮的作用則越來越大，將影響并改變未來戰(zhàn)場的戰(zhàn)斗員構成與戰(zhàn)斗能力的變化，特別是這種武器的集群式運用，對未來作戰(zhàn)的指揮體制、力量運用、供給保障等方面將產(chǎn)生革命性影響。endprint

爭議“殺手機器人”

但是，隨著致命性自主武器系統(tǒng)的發(fā)展，它所帶來的爭議也越來越強烈。

首先，有人擔憂，機器打仗使得人員傷亡大大減少，反過來又會降低戰(zhàn)爭發(fā)動的門檻，武裝沖突發(fā)生的機會會增加，而戰(zhàn)爭的人員損失將從戰(zhàn)斗員轉移到交火區(qū)域的平民。

其次，如同所有戰(zhàn)爭中的武器一樣，致命性自主武器系統(tǒng)要運用在戰(zhàn)爭中，必須符合《日內(nèi)瓦公約》，即國際人道法。反對者認為，該武器系統(tǒng)違反國際人道法中的“區(qū)分原則”，即機器人武器很難做到和人類一樣區(qū)分平民與戰(zhàn)斗員、有戰(zhàn)斗能力的戰(zhàn)斗員和喪失戰(zhàn)斗能力的戰(zhàn)斗員（如傷者、病者及戰(zhàn)俘），以及作戰(zhàn)人員和攜帶輕武器從事非戰(zhàn)斗任務的人員。

在倫理方面，致命性自主武器運用于未來的武裝沖突中，這意味著將剝奪自然人生命的權利交給非自然人。有學者認為，這是將人的生命和人格尊嚴交給機器來判定，不具有平等性，也是對人類生命權以及人格尊嚴的侮辱。

法律上的責任更是不能忽略。自主武器兼具“戰(zhàn)斗員”和“戰(zhàn)斗武器”兩種角色，如果它違背國際人道法，國際社會將面臨如何追究責任的問題，而被追究的主體應該是設計者、制造者、操作者還是機器本身？

今年8月發(fā)出的公開信不是伊隆·馬斯克等人第一次對致命性自主武器系統(tǒng)提出警示。早在2015年，同樣在國際人工智能聯(lián)合大會上，物理學家斯蒂芬·霍金、蘋果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克等1000多名人工智能領域專家聯(lián)合譴責人工智能時代的軍備競賽，呼吁禁止自主武器。容易引發(fā)軍備競賽、威脅世界和平，是反對者擔憂的原因之一。

但是，也有人認為以上反對意見作為禁用致命性自主武器的理由站不住腳。研究人工智能哲學的復旦大學教授徐英瑾在《技術與正義：未來戰(zhàn)爭中的人工智能》一文中進行了反駁。比如，對于“無人智能武器的出現(xiàn)，會使得殺戮變得更為容易，因此，也會使得軍事暴力在未來變得更為頻繁”的說法，徐英瑾提出，按照殺戮效率提高會對和平構成威脅的邏輯，那是否為了降低殺戮效率，就制造盡量劣質的槍支，鼓勵士兵降低擊中率？這顯然是荒謬的，相反，人工智能技術運用于軍事，會使得人類作戰(zhàn)意圖得到更精確的貫徹，可使得正義戰(zhàn)爭快速結束。

徐英瑾也不同意軍用機器人的殺戮無心理壓力的說法，他認為，一些設計者會在軟件層面模擬出“憐憫”等人類情緒，故殺戮效率高并不等于濫殺無辜。

徐英瑾也不贊同自主武器系統(tǒng)會造成戰(zhàn)爭門檻降低的說法。他認為，即使沒有致命性自主武器，西方軍事強國與弱國相比已經(jīng)擁有巨大的軍事優(yōu)勢，但是發(fā)動戰(zhàn)爭還要考慮各國憲法以及政治和經(jīng)濟因素。任何戰(zhàn)爭都無法避免，特別計較機器帶來的誤傷，是設置了雙重標準。相反，高度自主化技術可能還會減少誤傷。

正在海上進行試驗的美國SeaHunter自主戰(zhàn)艦。

關于致命性自主武器的討論是伴隨著近些年人工智能技術的快速進步而出現(xiàn)的。2012年，人權觀察組織發(fā)表《失去人性：反對殺人機器人》的報告，呼吁世界各國政府禁止全自主武器系統(tǒng)。同時，美國、英國、日本等國家也從2012年起對本國自主武器研發(fā)情況進行討論和規(guī)定。聯(lián)合國《特定常規(guī)武器公約》締約國自2014年起，即以非正式專家會議的形式專門討論致命性自主武器系統(tǒng)。

人工智能公司、國際組織紛紛呼吁禁止致命性自主武器系統(tǒng)，但現(xiàn)狀是，至今國際社會仍然沒有就致命性自主武器系統(tǒng)問題達成統(tǒng)一認識，甚至還沒有統(tǒng)一的定義。

據(jù)曹華陽等人分析，各國間存在分歧的根本原因在于各自的國家利益。智能化、無人化武器已經(jīng)在現(xiàn)代軍事行動中展現(xiàn)出特有的優(yōu)勢，美、英、以色列等技術先進的國家不希望其自主武器系統(tǒng)相關裝備和技術的發(fā)展受到限制，因而傾向于將致命性自主武器限定為“未來的武器系統(tǒng)”，從而避免現(xiàn)有無人裝備受到軍備控制。

而自主武器系統(tǒng)技術門檻高、經(jīng)費投入大，中小發(fā)展中國家難以超越，為避免在未來戰(zhàn)爭中陷入有人裝備對抗無人系統(tǒng)的不利局面，它們則期望將致命性自主武器的范疇擴大，并通過限制性條款制約此類武器的部署和應用，古巴等國更是在致命性自主武器定義尚未明確的情況下就要求禁止該系統(tǒng)。

聯(lián)合國《特定常規(guī)武器公約》成員國已經(jīng)建立了一個致命性自主武器系統(tǒng)的政府專家小組，這個小組的第一次會議預定將于今年11月召開。伊隆·馬斯克等公開信簽署者希望專家小組努力尋求方法，防止這類武器的軍備競賽，保護平民免受武器濫用的傷害，避免這些技術給世界的未來帶來嚴重的后果。endprint