無人機首次自主殺人“潘多拉魔盒”已打開？

文/ 蘭順正

近日，聯合國披露的一份關于2020年3月利比亞軍事沖突的報告中稱，土耳其STM 公司研制的卡古-2 四旋翼無人攻擊機被編程為在不依靠操作員的情況下自主攻擊撤退的哈夫塔爾指揮的“利比亞國民軍”，并很有可能造成了1 名國民軍成員死亡。

這是有史以來第一例記錄在案的無人機在沒有人為命令的情況下向人發動攻擊的案例，引發了各界對于人工智能與自主武器的關注。

機器自主殺人的擔憂

▲ 具備AI 的無人機已經擴散到越來越多的國家，并且價格低廉，種類繁多

▲土耳其國防技術工程與貿易公司卡古無人機

隨著技術進步，人工智能已經得到廣泛應用，可隨之而來就是與之相關問題的爭論。

就近期來說，人工智能在軍事領域大顯身手的同時也是毀譽參半。目前，軍用人工智能的發展主要集中在自主情報分析、自主指揮控制系統和自主武器3 個方面。

自主情報分析：具有機器算法的快速、準確、無疲勞等特點，可以高速開展目標識別和數據分析，提取有效情報，將大量的數據轉換為有價值的信息。

自主指揮控制系統：人工智能可以依據戰場情況和作戰需求的變化發展，動態生成作戰指揮命令，快速實現作戰形態的自我聚合與分解，為作戰指揮提供前所未有的自主性和靈活性。

自主武器：對于自主武器系統概念的界定，依據美國國防部2012年的定義，自主武器系統是“一種激活后就無需操作人員進一步干預，可以自主選擇和攻擊目標的武器系統”。國際紅十字委員會在2014年將自主武器系統定義為可以獨立選擇和攻擊目標的武器，即在獲取、跟蹤、選擇和攻擊目標等“關鍵功能”方面具有自主權。

雖然前兩方面人工智能會參與作戰行動的策劃與指揮，但畢竟沒有親自手動，而自主武器系統的最大特點是能夠在不依賴外界指令和設備支持的情況下，在復雜作戰環境中依靠人工智能系統獨立作出開火決定，讓機器殺人成為現實，因此，爭論的焦點更多集中在自主武器上。

“兩面開刃”的自主武器

現在爭論的核心是自主武器該不該被使用，對于使用自主武器的后果，各方存在較大分歧。

一方面，美俄等國家從鞏固技術先發優勢的立場出發，提出自主武器系統具有人類戰士無可比擬的優越性。有人認為，智能化自主武器系統不僅能夠使人與武器實現實質性分離，使實際傷亡率無限趨近于0，而且自主武器系統無需考慮自身安全，不受主觀情緒左右，具有“理性優勢”。

如果加上更快的信息處理速度，武器的使用效率和不同武器之間的協作也將大大提升，可以最大限度地獲得戰場主動權。因此，未來具備人工智能的“無人軍團”必將成為軍事大國的“標配”，進一步拉大國與國之間的軍力差距，甚至出現單方面“碾壓”。

▲ 卡古-2 四旋翼無人機

另一方面，聯合國、國際紅十字會和一些技術后發國家基于潛在的安全風險指出，擺脫人類控制的自主武器裝備系統將使戰爭更加冷血，在戰場上被授予了“自由開火權”，人工智能可能會自作主張，濫殺無辜，將戰爭變成一場場無法“重啟”的游戲。

有分析認為，從道義角度出發，如果讓機器來決定人類生死，就會從根本上抹去人性在戰場上的存在感，使人類缺乏對殺戮行為的道德負擔，其結果必然使殺戮變得毫無人性。同時，在戰場上作出“開火”的決定，是綜合衡量大量復雜因素的結果，但目前的機器算法存在區分目標的盲區，無法可靠地區分合法目標與非法目標。

▲ 土耳其的卡古-2 無人機

另外，即使自主武器在“主觀”上并不想與人類為敵，但因為受控于計算機軟件，就一定有出錯的可能。例如，在2007年10月，美軍第3 機步師下屬部隊攜帶3 臺利劍機器人進攻一個反美武裝據點，由于沒有及時更新軟件，其中1 臺“利劍”竟把槍口對準美軍操作人員，即便在操作人員發出“行動取消”指令后，失控的“利劍”依然不聽指揮，直到另一名美軍上尉用火箭彈把它炸翻才化險為夷。

本文開頭提到的卡古-2 無人機由土耳其研制，是卡古無人機的升級版。“卡古-2”重約6.8 千克，最高時速約145 千米，續航時間約30 分鐘，可攜帶1.36 千克重的武器，還擁有面部識別能力，可以尋找特定的個人。而當被設定為“高效的自主模式”時，無需操作員的指令，該無人機就可瞄準目標自爆。

此次聯合國專家在報告中指出，這是一次真正的“發射后不管”，也是第一次在利比亞發現使用這種無人機，違反了聯合國第1970號決議的第9 條。

總之，“卡古-2”在利比亞沖突的表現打開了機器自主向人類攻擊的“魔盒”，各方對此必須予以高度重視。★