人工智能軍事應用面臨的技術倫理困境

尹 恒

人工智能自誕生之日起就引起人們無限的想象和憧憬，同時也伴隨著巨大的倫理爭議。在諸多成因中，人工智能技術的安全性問題引發的倫理爭議尤為激烈。一方面，人工智能在增強人類應對和解決安全危害能力，提高安全控制水平方面將發揮重要作用；另一方面，受制于技術本身的特點和缺陷，擁有自主能力的人工智能則很有可能成為全新的安全威脅。相較于社會其它領域，人工智能在軍事領域的應用起步較晚，但由于軍事活動自身的特殊屬性，人工智能一旦大面積應用到軍事活動中，其內在缺陷引發的倫理風險必然呈現放大的趨勢。在新一輪世界軍事科技革命風起云涌的關鍵時期，對人工智能技術層面的局限性和不確定性進行分析，結合軍事活動的實際特點進行合理推想，從而挖掘潛在的倫理風險，顯得尤為緊迫而必要。

算法缺陷引發的倫理風險

算法安全通常是指由于算法本身不完善，使設計或實施過程中出現與預期不相符的安全性問題。如：由于設計者定義了錯誤的目標函數，或者選用了不合適的模型而引起安全問題；設計者沒有充分考慮限制性條件，導致算法在運行過程中造成不良后果，引起的安全問題等。

人工智能發展到當前階段，深度學習已成為掀起第三次人工智能浪潮的核心算法。通俗地講，深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，通過模仿人腦的機制來解釋數據，例如圖像，聲音和文本等信息。作為神經網絡的3.0版本，深度學習算法相較于過去擁有更深的網絡層級、更龐大的神經元結構、更廣泛的神經元連接，加之大數據的支持和計算機處理能力上的飛躍，目前在無人駕駛、圖片識別、機器翻譯等眾多領域已經取得了令人矚目的成果，并且還保持著巨大的發展潛力。不過，深度學習算法也并不是完美無缺的，三類缺陷使得學界對于其發展和應用持審慎態度：一是算法的不透明性和運算過程的不可解釋性。由于神經網絡所獲取的知識體現在神經元之間相互連接的權重值上，其網絡架構的高度復雜性使得無論是設計者還是使用者都無法解析這些知識，致使在下達指令后，人們對于人工智能如何落實指令、通過什么樣的方式完成任務還無從得知，這就帶來不可解釋的“黑盒”問題。二是算法潛藏的偏見和歧視。由于算法在本質上是“以數學方式或者計算機代碼表達的意見”，設計者和開發者自身持有的偏見將不可避免地帶入到算法的設計中，從而可能導致針對個別群體的歧視，引發嚴重的社會問題和倫理風險。三是神經網絡的穩定性。環境的輕微改變和目標內容的適度偽裝會影響神經網絡的穩定性，從而使人工智能對目標的識別判斷出現失誤甚至無法識別。例如，如果對圖像進行細微的修正，對人類而言，這種修正完全不會影響圖像識別，但會導致神經網絡錯誤地將其分類。

當前，人工智能的深度學習已經開始模擬神經網絡

一旦人工智能在軍事活動中開始大面積被使用，上述缺陷就會充分暴露出來，從而引發極為嚴重的安全問題和巨大的倫理爭議。下面，將逐條分析三類缺陷在軍事應用過程中可能引發的倫理風險：

對于第一類缺陷，目前學界并無統一的完成度高的解決方法。在這個前提下，各方認為，足夠大的數據支持能夠有效緩解“黑盒”問題引發的安全風險。神經網絡中往往包含著眾多的隱藏層，只有利用體量足夠大、類型足夠豐富的數據進行安全測試時，“激活”模型中各個部分，才能測試出更多的安全漏洞。在民用領域，這一設想不難實現，只需要不同測試場景下足夠豐富的測試數據即可。但在軍事領域，上述設想的實現難度將大大增加。訓練和實戰之間存在著巨大的反差，要想獲得足夠豐富可靠的訓練數據，就需要使人工智能的應用場景盡可能地貼近實戰。不過這也就帶來了新的問題：人們是否能夠允許“不夠成熟”的人工智能離開實驗室，進入訓練場、演練場甚至戰場？誰又對在這個進程中出現的意外傷害和附帶損傷負責？困境顯而易見：要想讓人工智能軍事應用變得更安全，就得在初始階段承擔更大的風險；若想要在全過程將潛在的風險降至最低，則人工智能軍事應用的發展便將舉步維艱，安全性也將一直得不到提升。

與第一類缺陷相比，第二類缺陷包含著較為復雜的人為因素。在民用領域，算法歧視主要同企業文化、設計者個人背景等社會層面的原因相關，而由于軍事行動的主體通常為國家，軍事領域的人工智能算法歧視還同國家利益、民族意識等密不可分。設想一下，如果二戰時期的德國具備設計和制造人工智能武器的能力，是否可能在設計階段嵌入針對猶太人和非猶太人進行區分打擊的算法？當然，這只是一種猜想，歷史不可能假設，今天的世界與20世紀中葉的世界相比，已經發生了天翻地覆的變化，納粹和希特勒這樣的極端個例在今天并不存在，但這并不代表以上的風險不存在。以歷史唯物主義的視角審視，只要階級還沒有完全消亡、國家和以國家為主體的戰爭還沒有退出歷史舞臺，國家與國家之間的矛盾關系便依然存在，只不過在不同的歷史時期有著不同的表現形式罷了。國家需要他者扮演敵人角色，以便創造可以實現“權益”“光榮”“尊嚴”或者“道德”等價值的場所。因此，身處國家之中、深受民族文化熏陶的設計人員在建構人工智能軍事應用的基礎算法時，就有可能受意識形態影響，有意識或無意識地對人工智能武器在盟國和敵對國的應用進行區分，而一旦做出這樣的區分，無論動機為何、程度如何，都會帶來嚴重的倫理問題，也將給人類和平事業造成巨大威脅。有一種觀點認為，加強科學團體的社會責任感可以有效規避上述風險，但在筆者看來，仍然存在幾點疑慮。首先，對于國際社會的責任感是否能夠抵消意識形態層面的因素；其次，科學團體及其中的個體也都可能受自身價值觀影響而含有各種不同形式的偏見；再者，即便上述兩點影響得以克服，根植于內心深處的愛國熱情、民族意識、社會文化也將不同程度地左右每個人的選擇。因此，要將以上倫理風險降至最低，就需要暫時跳出民族國家的具體語境，在更高的層面進行商討，以期達成一定程度上的共識，并通過相關法規予以確認，通過國際社會版本的“交往理性”抵御人工智能算法歧視在軍事領域引發的倫理風險。

編程的主觀性以及算法的復雜性帶來了“黑盒問題”

如果說前兩類缺陷更多體現設計層面的靜態因素，那么第三類缺陷則更容易受動態環境因素影響。歷史上，已經出現過類似的先例。1983年9月26日，蘇聯的導彈自動預警系統報告稱，美國向蘇聯發射了5枚洲際彈道導彈。而事實是，蘇聯衛星從云層反射的陽光（與環境的意外相互作用）中檢測到“導彈發射”的假陽性。可以想見，如果當時彼得羅夫中校選擇相信系統報告的錯誤信息，按照規定程序上報，后果將不堪設想。當然，科學技術畢竟是在不斷發展的，今日的自動預警系統相較于過去在測算精度、穩定性、安全能力等方面均有了不小的提升，未來人工智能在軍事領域的應用理應有更好的表現。但是，潛在的威脅并沒有完全消除。一方面，就目前的技術發展狀況來看，還無法確保未來的人工智能在動態復雜環境下不會出現誤判；另一方面，由于戰場電磁環境日趨復雜，未來人工智能系統在戰場上受到的干擾和迷惑只會越來越復雜多變，從而對算法的穩定性產生更大的考驗。有人可能會提出，降低人工智能的自主性，將判斷權和決定權牢牢限制在指揮官和操作人員手中，可有效規避上述風險。但這只是一種理想的假設，人對于軍事技術的運用不僅僅受倫理的約束，還與作戰效率密切相關。主觀上將軍事技術的使用限制在一定閾值下，在實際操作層面實現起來并不容易。

數據漏洞引發的倫理風險

數據安全是指算法內部數據模型或外部數據集在處理、存儲過程中的數據安全問題。在軍用領域，人工智能數據安全主要面臨兩大風險，即訓練數據被污染的安全風險和核心數據遭竊取的安全風險。

人工智能發展到當前階段，訓練數據被污染的風險主要來源于數據投毒。數據投毒是指通過在訓練數據里加入偽裝數據、惡意樣本等，破壞數據的完整性，進而導致訓練的算法模型決策出現偏差。在軍事領域，人工智能應用的安全性與其準確的識別能力、精確的打擊能力、快速的反應能力密不可分。而一旦訓練數據被嚴重污染，就有可能導致以下幾種情況的出現：人工智能決策系統給出的方案并非最優方案，甚至存在巨大安全隱患；人工智能武器系統在無人授權的情況下隨意改變攻擊目標、擴大攻擊范圍，造成嚴重的平民傷亡；與人工智能相關聯的戰略武器系統受到錯誤誘導，自主啟動發動攻擊，從而引發毀滅性災難。誠然，人工智能作為科學技術發展的最新成果，其本質的工具屬性并沒有改變。正如愛因斯坦在1930年給英國反戰團體“不再打仗運動”的復信中所指出的：“科學是一種強有力的工具。怎樣用它，究竟是給人帶來幸福還是帶來災難，全取決于人自己，而不取決于工具。刀子在人類生活上是有用的，但它也能用來殺人。”人工智能在軍事領域應用的巨大潛力和潛在風險同時存在，既不能一葉蔽目，也不宜因噎廢食，要一分為二、辯證看待。同時，也應看到，雖然人工智能的出現并沒有徹底顛覆科學技術和軍事安全之間的關系，但由于人工智能高度“擬人化”的行為特征和“去人化”的運行機制，加之軍事活動與以生命健康權為基本權利的人權密切關聯，一旦內在的風險釋放出來，勢必會對人類安全造成嚴重的威脅。因此，從技術倫理的角度對訓練數據被污染的潛在風險進行審視，并加以規制，不僅是必要的，也是必需的。

人工智能算法本質上可以看成一個很復雜的函數，若其內部某些參數泄露，則攻擊者可以利用這些信息構造出與原模型相似度非常高的模型，進而可以還原出模型訓練和運行過程中的數據以及相關的隱私數據。在民用領域，數據遭竊取的風險主要集中在用戶隱私、公民權益、商業秘密、知識產權保護、社會公平公正等方面，世界各國已陸續從國家戰略層面、法律法規層面、標準制定層面對人工智能數據管理加以規范。而一旦進入到軍用領域，由于數據安全的責任主體從個人、企業、組織上升到了國家，數據安全風險的波及范圍也從社會內部延伸到了國家之間，其復雜程度和敏感程度均有了顯著提升。譬如，在戰時，為了掌握戰爭主動權，對交戰對手的軍事情報和密碼進行竊取和破譯通常被認為是符合戰爭法和軍事倫理規范的。但在平時，以人工智能技術為媒介，竊取別國的核心軍事數據，以至于嚴重威脅國防安全，則無論是在法理上還是道德上都存在較大的爭議。這樣的行為一旦得到默許，勢必會加劇國與國之間的緊張關系，對原本就脆弱的國際安全局勢產生惡劣影響。另外，黑客和恐怖組織也同樣有可能通過人工智能技術漏洞竊取相關數據，開展非法和恐怖活動，危及國家安全。

數據投毒為以人工智能作為主要防御手段的數據安全帶來巨大挑戰

簡言之，由于人工智能軍事應用以大量的數據為支撐，其發展的同時必然伴隨著巨大的數據安全風險，如果管控不當，勢必引發嚴重的安全倫理問題，這也提醒我們以審慎的態度來看待人工智能在軍事領域的應用前景，切勿盲目樂觀、急于求成。

信息失控引發的倫理風險

信息安全是指人工智能技術下，信息的保密性、真實性等安全問題。一方面，大數據的出現使得對于個人隱私信息的收集變得越來越容易進行；另一方面，隨著換臉換聲技術的興起，偽造圖片和音視頻信息大量涌現且真假難辨，大大降低了信息的可信度和透明度。基于以上特點，人工智能軍事應用將面臨兩大倫理風險，即個人隱私信息被用于軍事目的和信息迷霧沖擊戰爭倫理的風險。

斯諾登將美軍的“棱鏡”項目公之于眾

關于人工智能對于隱私權的侵犯，目前學界討論的重點主要集中在商業民用領域，所產生的問題基本上都可在現有的法律框架內予以解決。而一旦信息采集的主體變為國家、政府、軍事集團，信息采集的目的從經濟擴展到了政治、軍事等層面，問題將變得尤為尖銳和復雜。2013年6月，中情局前職員愛德華·斯諾登向媒體披露美國國家安全局的一項代號為“棱鏡”的秘密項目，項目內容顯示，過去6年間，美國國家安全局和聯邦調查局通過進入微軟、谷歌、蘋果、雅虎等九大網絡巨頭的服務器，監控美國公民的電子郵件、聊天記錄、視頻及照片等秘密資料。2018年3月，《衛報》和《紐約時報》同時刊登長文，共同將矛頭指向了服務于特朗普團隊的數據助選公司Cambriage Analytica，指控其通過Facebook獲得了總計5000萬用戶信息的個人資料，并建立模型，為之后大選的精準推送打基礎。可以預見的是，隨著人工智能和大數據的不斷發展，通過各種渠道收集個人隱私信息的門檻將變得越來越低。現代戰爭不僅是交戰雙方軍事力量的抗衡，更是雙方在經濟、政治、文化、外交、科技等方面的綜合較量，從某種意義上來說，本國某一特殊群體對于戰爭的態度、敵對國某一企業的財政狀況等微觀層面的因素均會在無形中對戰爭的走勢發生影響，這也為政府出于軍事方面考慮收集組織、企業、個人的信息提供了動機。當今世界，美國作為頭號軍事強國，其海外軍事基地遍及全球，在缺乏外部有效監督的情況下，極有可能利用人工智能技術帶來的便捷條件，將觸角伸到本土之外，以確保對戰略競爭對手的信息優勢。相較民用領域，出于軍事目的對于個人隱私權和信息權的侵犯更具持久性、隱蔽性和破壞性，對于國際安全環境和全球人權事業也將造成更為深遠的影響。設想一下，一名A國的普通公民，其行動軌跡圖、人際關系網甚至日常上網記錄等信息均存儲在B國的國防數據庫中，一旦戰事開啟，B國就可利用網絡對其進行信息轟炸。如果此人屬于B國認定的“危險人物”，還有可能隨時遭到B國派出的殺手機器人的精準暗殺。此外，如果B國掌握的個人信息落入到恐怖組織手中，還會在全球范圍內造成更大程度的恐慌，引起難以彌合的信任危機。因此，人工智能在軍事領域的應用同樣可能對個人信息權、隱私權、生命健康權造成侵犯，要避免這一可能性轉化為現實，單單寄希望于各國政客、科研技術人員、軍人的道德修養和倫理操守顯然是不現實的。

重要情報一旦落入別有用心的人手中，將引發巨大災難

隨著人工智能技術在圖像處理上的飛速發展，通過人工智能生成的圖像和視頻資料幾乎可以達到以假亂真的效果。隨著人工智能在軍事領域的應用越來越廣泛，不難想見，未來戰爭中的信息迷霧只會不斷加深，若缺乏外界的有效約束，交戰雙方必定會想方設法偽造對自己有利的證據資料，并以此裹挾輿論風向。一方面，信息迷霧的出現會嚴重損害普通民眾對戰爭中事件真相的知曉權；另一方面，在輿論戰中使用的各種欺騙手段將大大降低戰爭倫理水平，從而導致參戰人員在戰爭中遵守交戰規則和實行人道主義的外部約束力量進一步減弱，進而滋生一系列破壞交戰規則和反人道的行為。雖然，在現代戰爭中并不禁止一切形式的欺騙，但這并不代表交戰雙方可以為了贏得戰爭實行任何形式的欺騙，認可后者，等同于將人類社會的文明程度拉回到原始社會，是對人類文明的肆意褻瀆和惡意嘲弄。再者，隨著全球化趨勢的不斷增強，國家的知情權已成為國家在國際法上享有的一種私法權利。現代戰爭已不僅僅是交戰雙方的對抗，戰爭進程的任何細微變動都會對“地球村的其他居民”產生影響，這也就要求在交戰雙方在戰爭中遵守特定的交戰規則，保持一定的透明度。因此，如何防止人工智能在軍事活動中產生的信息迷霧沖擊現有戰爭倫理，將是各國在發展人工智能軍事應用進程中無法回避的重要課題。