美國人工智能安全頂層戰略及重點機構研發現狀

◎金晶 秦浩 戴朝霞

（1.中國電子科技集團公司第三十研究所；2.中國電子科技集團有限公司發展戰略研究中心；3.中國電子科學研究院）

人工智能作為未來重要的戰略技術，各國都開始重視人工智能的發展布局，尤其是美國等軍事強國高度重視人工智能的發展，特別是人工智能的安全性問題。2 019 年，美國密集發布了多項人工智能安全頂層戰略，規劃未來人工智能的發展方向，對人工智能研發計劃進行大量投資，開發可以抵御針對人工智能系統的安全風險，培養和吸引各類人才，搶占人工智能發展的戰略制高點。

一、制定人工智能安全頂層戰略，加速推動人工智能在國家安全領域的應用

自《2 016 年國家人工智能研發戰略計劃》發布以來，人們對人工智能安全在科學和社會層面的理解迅速增長。這些新知識在很大程度上幫助專家識別新的問題，但針對人工智能安全問題的解決方案仍然難以解決。因此，美國政府接連發布了多項頂層戰略，推動政府、學術界和產業界合作，探索人工智能的安全解決方案。

2019 年2 月，美國總統特朗普簽署了《國 家人工智能倡議》，啟動美國“人工智能計劃”，將技術研發確定為美國保持在人工智能領域全球領先地位的首要任務。該倡議旨在集中聯邦政府的資源來發展人工智能，以促進美國國家繁榮，增強美國國家和經濟安全，改善美國人民生活質量。當前，美國在人工智能創新方面處于世界領先地位，很大程度上歸功于其強大的研發生態系統。美國聯邦政府通過在多個機構投資世界級人工智能研究項目的方式，為人工智能的創新做出重大貢獻。

2019 年2 月，美國國防部發布了《2018 年國防部人工智能戰略概要——利用人工智能增進國家安全與繁榮》，該戰略著重強調了發展人工智能的重要意義，分析了美國國防部在人工智能領域面臨的戰略形勢，闡明了國防部部署人工智能的戰略舉措及重點領域，以期維持和加強美國在軍用人工智能領域的領先優勢，搶占未來競爭制高點。國防部將人工智能技術納入決策和作戰，降低部署軍力面臨的風險，形成軍事優勢，并成為拓展人工智能在美國全球防御體系中應用的先驅。

2019 年6 月，美國白宮科技政策辦公室發布第二版《國家人工智能研發戰略計劃：2019 更新版》，該計劃在《2 016年國家人工智能研發戰略計劃》的基礎上進行了更新，不僅要確保人工智能系統的安全性，同時還強調要擴大公私合作關系，加快人工智能的發展。該計劃明確了聯邦政府投資人工智能研發的優先事項，其目的是引導研發資金流向如美國國家科學基金會、美國國家衛生研究院和美國軍方等聯邦機構，推動人工智能領域的前沿技術研究。

2019 年8 月，美國國家標準技術研究院發布《美國在人工智能領域的領導地位：聯邦政府參與開發技術標準與相關工具的計劃》，該計劃就政府如何制定人工智能技術標準給出了指導意見，強調美國政府應持續參與人工智能標準的開發活動，推進可信人工智能技術的發展，確保使用了人工智能技術的系統安全可靠，并具有魯棒性。

2019 年9 月，美國政府發布了《2020財年“網絡與信息技術研發項目”預算補編》，首次按部門報告了人工智能研發領域非密、非國防的聯邦投資，為持續跟蹤美國人工智能研發投入奠定了基礎。根據美國發布的2021 財年預算申請文件，美國國家科學基金會為其人工智能項目申請了8.5 億美元，比2020 財年預算增加了70%。

2019 年11 月，美國國家安全委員會人工智能小組發布《中期報告》，對人工智能在國家安全方面的影響進行了初步評估。該研究小組受美國國會委托，自2019 年3 月起開展為推進人工智能在國家安全和國防領域發展的研究工作。2 019 年7 月31 日，該小組向美國國會提交了人工智能初版報告，確定了維護美國在人工智能領域優勢地位的五項基本原則，強調應盡快將人工智能技術用于保護國家安全。該項研究的最終報告將于2021 年3 月完成。

2019 年11 月，美國國會研究服務中心發布《2016-2019 年人工智能研發進展報告》，記錄了過去三年聯邦政府投資人工智能研發活動的最新進展，包括近期和當前聯邦機構項目和活動的具體案例。該報告根據《國家人工智能研究與發展戰略計劃：2019 更新版》中所述的八項戰略，分別介紹了不同機構開展人工智能研究的情況，各個機構所開展項目和活動的多樣性反映了美國聯邦政府對人工智能投資的廣度和深度。

2020 年2 月，美國白宮科技政策辦公室發布《美國人工智能計劃：首個年度報告》。該報告主要從投資人工智能研發、共享人工智能資源、消除人工智能創新障礙等方面，總結了美政府過去一年在實施“美國人工智能計劃”方面取得的重大進展。

通過美國近兩年來頒布的一系列政策可以看出，為了保持其在人工智能發展領域的全球領導地位，未來美國政府一定還會舉大力發展人工智能，不僅強調對人工智能創新與發展的促進，同時更關注人工智能的安全可靠，在增加人工智能研究投入的同時，期望借助人工智能保護國家安全。

二、美國主要機構及軍兵種的人工智能安全研發情況

如今，越來越多的機構期望利用人工智能技術抵御網絡攻擊，但如何確保人工智能系統的安全，則是一個新的難題。人工智能的安全性包括保護人工智能系統以及運行這些系統的數字基礎設施的安全。一套強有力的聯邦人工智能安全新計劃將確保美國保持技術領先的地位，并安全可靠地挖掘人工智能的潛力。在人工智能的長期研發投資方面，美國國防高級研究計劃局（DARPA）、情報高級研究計劃局（IARPA）和三軍實驗室處于領先地位。

（一）DARPA 關注人工智能安全性和魯棒性，力求提高系統的防御能力

許多先進的人工智能系統在運行過程中，其內部機理是很難被人理解的，這使得人工智能的“可解釋性”成為一個關鍵的安全挑戰。DARPA 的“可解釋人工智能”（X AI）項目正試圖解決這一問題，該項目于2018 年6月啟動，將推動研究人員理解人工智能行為決策背后的原理和機制，進而改善人機協作，使人工智能系統在能夠被人類理解的同時保持極高的性能。XAI 旨在更好地了解人工智能的漏洞，并培養用戶對人工智能系統的信心。

2018 年9 月，DARPA 宣布了其“下一代人工智能”（A I Next）計劃，該計劃將針對新的和現有的人工智能研發項目進行長期投資。該計劃的關鍵領域包括：自動化的國防部關鍵業務流程，如安全許可審查或操作部署的授權軟件系統；提高人工智能系統的魯棒性和可靠性；增強機器學習和人工智能技術的安全性與彈性；降低功耗、數據和性能的低效性；并開創下一代人工智能算法和應用。

除了新的和現有的研究外，DARPA 的“人工智能探索”（AIE）計劃是“下一代人工智能”計劃的關鍵組成部分，該項目于2018 年7月首次對外宣布。A IE 包括了一系列高風險、高回報的項目，研究人員將在獲得合同后的18 個月內確立新人工智能概念的可行性。利用簡化的合同程序和資助機制，幫助研究人員在三個月之內啟動探索性的研究工作。2018 年7月至2019 年10月期間，DARPA 已經完成了13 個不同的人工智能主題項目的合同授予。

2019 年2 月，DARPA 宣 布 啟動“確保人工智能對抗欺騙的魯棒性”（GARD）項目，旨在開發新一代抵御對機器學習模型開展的敵對欺騙攻擊。該項目將研究如何建立人工智能系統，以抵御特定、預先設定的敵對攻擊。GARD 的三個主要目標是：發展具備魯棒性的機器學習理論；在各種環境下創建和測試具備防御能力的人工智能系統；構建一個新的測試平臺，以表征機器學習的防御能力。

2019 年3 月，DARPA 舉行了人工智能研討會（AIC），向外界展示了其在推動人工智能技術發展方面所做的投資及最新的研究成果。AIC 力求借助領域內專家的力量，加強和擴大DARPA的創新生態系統，在確保國家安全的前提下，向政府通報DARPA 對人工智能未來發展的愿景及優先事項，助推發展強大、安全、可靠、自適應的人工智能技術、系統和應用。

在需要高度自治的網絡安全系統中實施人工智能也是一個有待進一步研究的領域，D ARPA 的“網絡超級挑戰賽”（CGC）正在為實現此目標而努力。CGC 是DARPA 于2013 年發起的全球性網絡安全挑戰賽，旨在推進自動化網絡防御技術發展，即實時識別系統缺陷、漏洞，并自動完成打補丁和系統防御，最終實現全自動的網絡安全攻防系統，它涉及人工智能代理自動分析和對抗網絡攻擊。

（二）IARPA 探索人工智能的異常檢測技術，避免隱私數據被惡意篡改

2016 年2 月，IARPA 啟動了“網絡攻擊自動非常規傳感器環境”（CAUSE）項目，旨在開發新的非常規、多學科傳感器技術，能夠比現有方法更早地檢測和預測網絡攻擊。IARPA 在2016 年以1140 萬美元的價格將該項目簽給了BAE 系統公司，希望該公司能夠通過識別并提取內部和外部傳感器的先導信號，對網絡攻擊進行檢測和預報。

2018 年3 月，IARPA 宣布啟動“良好用戶環境”（VirtUE）項目，該項目旨在利用人工智能來改善對網絡異常的檢測。VirtUE 的目標是：創造性地定義和開發用戶環境，使其更具安全性、動態性和可審核性；開發動態的分析工具，利用新的環境，自動檢測和威懾用戶在新的云基礎設施中所面臨的安全威脅。IARPA 希望借助VirtUE 項目改善工作站和虛擬桌面的安全性。

2018 年12 月，IARPA 發布“安 全、可靠的智能學習系統”（SAILS）項目廣泛機構公告。人工智能和機器學習技術可以簡化業務流程，并在決策環節提供幫助，但這些系統容易受到針對個人隱私的網絡攻擊，這類攻擊主要是為了盜取用于訓練人工智能和機器學習模型的信息，尤其是模型反演攻擊和成員推理攻擊。SAILS 項目旨在尋求用于創建可抵御隱私攻擊的人工智能和機器學習模型，并讓模型創建者相信訓練有素的模型不會泄露系統中的敏感信息。

2019 年5 月，I ARPA 發布“人 工智能木馬”（T rojAI）項目廣泛機構公告，尋求開發可用于在人工智能系統中檢測特洛伊木馬的技術。TrojAI 旨在檢測敵方是否向人工智能系統中插入了木馬或后門，比如惡意篡改用于機器學習的訓練數據。因此，TrojAI 項目的目標是保護訓練數據、清理訓練數據，同時保護訓練后數據模型的完整性。

（三）美空軍推動人工智能軍事倫理發展，建立并維護人機之間的信任關系

2019 年9 月，美國空軍發布了人工智能戰略，這份人工智能戰略詳細闡述了美國空軍的人工智能定義、發展背景和目的以及空軍所關注的五個人工智能領域，同時，還提供了防止競爭對手獲得優于美國優勢的方法和手段。該戰略闡述了在數字時代如何有效引領人工智能安全和軍事倫理所必須的基本原則和目標。

美國空軍科學研究辦公室（AFOSR）管理著針對美國空軍基礎性研究的投資資金。目前，空軍科學研究辦公室針對三個人工智能項目進行長期投資。

1、“計算認知和機器智能”（CCMI）項目：該項目的總體設想是在空軍面臨的復雜、敵對和機動性環境中，實現未來計算系統的高性能、高適應性、靈活性和自我修復能力。該項目涵蓋了計算智能和機器智能的全部領域，從負責在復雜的問題解決和決策任務中實現對符合合理認知的人類行為進行推理，到創建魯棒的智能系統所必需的非認知智能計算模型。

2、“信息、計算、學習和融合科學”（SICLF）項目：該項目從大型異構數據集中提取和獲取所需信息，這類大型異構數據庫覆蓋了從雷達到視頻信息等諸多領域，且都是由美國空軍收集整理而成。為了理解和解釋各種數據源中包含的信息，需要從這些數據集中提取相關信息，并基于先驗知識和概率進行推理。

3、“信任和影響”項目：該項目的首要目標是提高對人類信賴和團隊合作的基本理解，闡明人們如何在人機之間建立、維護和修復信任。特別值得關注的是對人類社會和認知過程的研究，這些研究為人和機器組成的系統設計以及新型人機交互技術的開發提供幫助。該項目的另一個目標是在國家安全的背景下推進社會影響力。人們對開發計算方法和使用大規模數據集來理解社會和文化行為特別感興趣，“信任和影響”項目將對有效威懾、信任建立、信任校準和反恐行動的相關研究進行投資。

（四）美海軍制定人工智能框架，著力發展人工智能多學科融合與算法研究

美國海軍研究辦公室（O NR）負責協調、執行和推動美國海軍及海軍陸戰隊的科學技術項目，它通過向美國和世界各地的學術界、工業界及政府等一系列合作伙伴提供資金或授予合同，管理并資助基礎科學、應用科學以及先進技術的研發。海軍研究辦公室的人工智能項目包括：

1、“機器學習、機器推理和人工智能”項目：這三種技術都專注于開發科學的基礎研究以及高效的計算方法，從而構建多功能智能代理，在最少的人類監督下執行各種任務。此外，智能代理應該能夠在非結構化、開放、復雜和動態變化的環境中與人類團隊，以及其他代理進行無縫協作。

2、“自主系統的人機交互”項目：旨在創建認知兼容的智能自主系統和機器人，它們可以作為人類的隊友，實現人、機器人、智能代理和自主系統之間的對等協作。這樣的系統將減少與智能自主系統接口的認知負擔，并使機器人和自主系統的監督控制與訓練成為可能。

3、“人機合作的認知科學”項目：旨在開發基于經驗的人類認知模型和可達到人類智能水平的計算架構。該項目追求的是在認知領域和社會層面兼容的智能系統，這些智能系統能夠使人類更強大甚至取代人類，同時在人機合作的操作范圍內成為出色的隊友或助手。

4、“自主科學”項目：該項目專注于自主領域的多學科研究，探索人工智能、機器學習、控制理論、人類因素、生物學、認知科學、心理學、經濟學、運籌學、應用數學、海洋學、物理學和神經科學等領域之間的相互聯系。

2019 年9 月，美國海軍分析中心（CNA）發布了《海軍人工智能框架》報告，介紹了海軍作戰部面臨的挑戰以及如何將人工智能應用與海軍關鍵任務聯系起來，并介紹了人員配備和組織機構要求、政策考慮以及海軍作戰部高效使用人工智能所需的解決方案。海軍作戰部也將根據需求制定和完善政策，提前解決人工智能特定領域內可能出現的法律、道德和安全問題。

（五）美陸軍設立人工智能工作組，重點發展人工智能自適應態勢感知能力

美國陸軍研究辦公室（ARO）及其陸軍研究實驗室通過對相關研發活動提供支持，增強人工智能技術在國家安全領域的應用。目前，陸軍研究辦公室將在以下三個領域重點發展人工智能技術：（1）自主系統，包括自適應感知、移動和導航；（2）態勢感知分析，包括數據融合、人工神經網絡、預測分析以及常識和對抗推理；（3）人工智能團隊合作，包括界面技術、自然語言處理，以及針對士兵訓練與表現的評估。

2018 年，美國陸軍未來司令部根據2018-18 號陸軍指令設立了人工智能特別工作組，該工作組需制定和實施美國陸軍的人工智能戰略，并與陸軍的跨部門小組協調推進陸軍現代化工作。如今，成立一年多的美國陸軍人工智能特別工作組正開始以各種各樣的方式將人工智能項目融入美軍行動，意圖在快速發展的人工智能世界中領先一步。

縱觀DARPA、IARPA 和美國三軍所開展的人工智能項目及發布的戰略框架，DARPA 在人工智能的技術和理論研究方面一直走在前列，它的AI NEXT 項目將掀起人工智能的第三次浪潮，提高人工智能系統的穩健性。美國三軍也在加快人工智能技術在戰場上的應用，期望借助該技術提高戰場機動性、提升態勢感知能力，優化軟硬件的處理能力。

三、結語

無論是現在還是將來，人工智能的安全性都是一個關鍵問題，這不僅需要政府針對人工智能研發進行大量投資，同時也需要政府、工業界、學術界和產業界之間的通力合作。2021 年，美國國防部針對人工智能的規劃投資已經從2020 年的13.6 億美元增加到19.8億美元，人工智能領域5000 萬美元以下的項目數量也從119 個增加到161 個。未來，在廣泛使用人工智能系統之前，還會面臨各種各樣的安全挑戰，包括復雜和不確定的系統環境、無監督條件下的學習、對人類目標的理解偏差、人機交互過程中人本身出現的失誤等都會對人工智能系統的安全性帶來影響，但美國已經從頂層戰略、組織機構、技術研發、資金投入等多個方面做好了準備，我國也應當適時借鑒美國的經驗，夯實人工智能的基礎理論研究，加速人工智能技術的創新研發，推動人工智能在各領域的應用落地。