人工智能賦能網絡攻擊的安全威脅及應對策略

方濱興，時金橋，王忠儒 ，余偉強

（1.北京郵電大學網絡空間安全學院，北京 100876；2.中國網絡空間研究院，北京 100010；3.北京丁牛科技有限公司，北京 100081）

一、前言

近年來，網絡空間安全重大事件持續爆發，網絡安全威脅全面泛化。斯諾登事件、烏克蘭電網攻擊事件、美國大選干預事件等表明，網絡空間安全威脅覆蓋了從物理基礎設施、網絡信息系統到社交媒體信息，對虛擬世界、物理世界的諸多方面構成威脅。網絡空間安全已經成為非傳統安全的重要組成部分。隨著人工智能（AI）第三次浪潮的興起，人工智能向諸多行業、領域不斷滲透并交叉融合的趨勢已經顯現。人工智能因其智能化與自動化的識別及處理能力、強大的數據分析能力、可與網絡空間安全技術及應用進行深度協同的特性，對網絡空間安全的理論、技術、方法、應用產生重要影響，促進變革性進步。

人工智能與網絡空間安全的交互融合，表現了“伴生”“賦能”兩種效應 [1]。①網絡空間安全在本質上是一種伴生學科，每一種新技術的出現都會引發伴生的安全問題；人工智能的伴生安全問題主要是內生安全問題、衍生安全問題，即由于人工智能自身在脆弱性、可預測性、可解釋性等方面存在的安全隱患或問題，將自身安全問題轉移或嫁接到人工智能應用上，使得人工智能系統自身或者應用人工智能技術的系統產生新的安全威脅；攻擊者可利用對抗樣本或數據投毒技術，自動化構造攻擊樣本，針對現有智能安全系統開展攻擊，造成人臉識別、車牌識別等系統功能降級，甚至引導實施網絡攻擊、物理攻擊 [2]。②人工智能在自身發展帶來新網絡空間安全威脅的同時，也從攻擊、防御方面給傳統網絡空間安全提供了顯著的賦能效應，如基于機器學習、深度搜索的人工智能方法能夠提升網絡攻擊能力、自動檢測網絡安全防御方法、制定智能化的攻擊策略；同樣，人工智能可輔助網絡空間安全從被動防御趨向主動防御，從而更快更好地識別威脅、縮短響應時間；網絡空間的時空動態變化復雜，人工智能技術可關聯分析日志、流量等不同渠道的數據，構造多維數據關聯與智能分析模型的資產庫、漏洞庫、威脅庫，實現對有效網絡攻擊的全面、準確、實時檢測 [3]。

人工智能在攻防兩方面的賦能效應，極大地推動了網絡空間攻防對抗的發展，引發新的安全威脅，催生新的對抗手段。對于網絡安全而言，人工智能是一把“雙刃劍”；人工智能與網絡空間安全深度結合，給經濟、政治、社會、國防等領域帶來新威脅、新問題的同時，也為各國網絡空間安全發展提供了新機遇。本文系統分析人工智能在網絡空間安全領域應用帶來的安全問題，重點研究人工智能在網絡攻擊細分方向的賦能效應，總結提煉人工智能賦能網絡攻擊的新興威脅場景、技術發展現狀、未來發展趨勢，以期為相關領域發展提供理論參考。

二、人工智能和網絡空間安全深度結合帶來的國家安全問題

（一）涉及的國家安全問題與威脅

1.政治安全方面

隨著網絡技術的迅猛發展及廣泛運用，網絡政治作為一種新的政治形態呈現出來。公眾可以借助多元化網絡通道和途徑，較為自由地進行政治表達和參與，影響政治過程，實現政治權利，但也可能引發各種政治安全問題。人工智能顯著加劇了政治安全領域中的現實威脅。例如，在2018年3月曝光的“劍橋分析”事件中 [4]，商業智能公司利用臉書用戶數據進行人物畫像，自動推送信息以影響選民在美國大選、英國脫歐等政治事件中的投票傾向；該事件標志著數據智能從商業領域擴散至政治領域，使得單純的網絡數據安全問題上升為現實的政治安全隱患。

人工智能技術應用可引發使用數字自動化塑造政治影響等新興安全威脅 [5]。例如，應用深度偽造技術生成逼真的捏造視頻、音頻，編造領導人丑聞，偽造新聞進行煽動；利用人工智能的自然語言生成技術，自動化構造信息并進行定制化的虛假宣傳活動。這類具有數字自動化特征的深度偽造威脅，借助各類媒體傳播虛假信息，具有極強的傳播勢能，可實現大規模、潛伏性的政治操縱和控制，將顯著加劇網絡空間政治安全威脅的影響力和對抗復雜性。

2.經濟社會安全方面

人工智能與網絡安全深度結合將威脅和影響經濟社會安全。隨著相關行業、企業、公眾對網絡技術與應用依賴性的增加，與網絡犯罪相關的經濟社會風險也隨之增長。《2018年全球風險報告》認為 [6]，網絡攻擊問題已經成為僅次于極端天氣、自然災害之外的世界第三大威脅。利用人工智能、大數據技術，攻擊者可以根據出生年月、電話、親屬、位置等關鍵個人信息，“量身定制”個性化的誘餌攻擊，實現高度逼真的自動化社會工程攻擊。

借助自動化、智能化工具，網絡罪犯可以針對大規模目標開展高效、隱蔽的漏洞探測掃描，完成自動利用和攻擊。人工智能技術驅動的智能化、自動化、規模化攻擊，可為網絡犯罪提供威脅更大、傳統防御系統更難防范的技術手段與方法，所產生的破壞力也更強，嚴重威脅和影響了經濟社會安全。

3.國防安全方面

人工智能與網絡攻防結合程度的不斷加深，將極大改變傳統信息作戰的方式與手段。通過智能化的態勢感知、情報分析、網絡攻擊與癱瘓，可形成軍事先發優勢并引發新型軍備競賽。在網絡武器方面，人工智能為國家級高級可持續威脅攻擊（APT）組織提供了新的工具與手段，針對關鍵信息基礎設施實施滲透性、隱蔽性更強的網絡攻擊，嚴重影響其安全穩定運行。

2013年，美國國防高級研究計劃局（DARPA）發起的網絡安全挑戰賽（CGC）極大推動了自動化網絡攻防技術的發展；基于人工智能的新型網絡戰武器將明顯改變網絡空間軍事對抗格局，加速塑造不對稱競爭優勢。2017年，美國成立算法戰跨職能小組，加速將大數據、人工智能、機器學習整合到國防部項目，重點推動戰場空間態勢感知、自動化網絡響應等技術研發。算法層面的突破、數據數量與質量的提升、計算能力的增長，為人工智能在國防領域的應用提供了巨大的想象空間，將構建新的戰略威脅。

（二）主要國家的應對態勢

1.美國

美國憑借傳統技術優勢，積極謀求在人工智能技術方向的主導地位；將網絡安全視為重要方面，高度重視人工智能在網絡安全領域的研究與應用，爭取建立網絡攻防領域的戰略優勢。

2016年，美國《為人工智能的未來做好準備》報告提出，相關機構的計劃和戰略應考慮人工智能、網絡安全之間的相互影響；人工智能研究機構應確保人工智能技術自身及生態系統具備應對智能對手挑戰、保持安全性和恢復力的優勢；參與網絡安全工作的機構應采用美國自有的人工智能技術來高效實現網絡安全。同年發布的《人工智能、自動化與經濟》報告認為，為有效應對人工智能自動化對經濟的不利影響，應從網絡防御、欺詐偵察的角度發展人工智能技術；典型應用有基于人工智能的機器學習系統輔助人類迅速回應網絡攻擊，人工智能高效解讀數據并預防網絡攻擊。

2017年，哈佛大學《人工智能與國家安全》報告指出，網絡武器將更頻繁地用于虛擬作戰；機器學習在軍事系統中應用，將帶來新型漏洞并催生新型網絡攻擊手段；人工智能網絡武器一旦被盜或者非法復制，將被惡意使用；不斷進步的自動化將使失業問題、網絡攻擊問題更為嚴峻，進而影響政治穩定和國家安全。

2018年，美國國際戰略研究中心發布《人工智能與國家安全，人工智能生態系統的重要性》，報告認為，在網絡安全或防御等領域，人類可能無法迅速作出反應，首先掌握人工智能應用的國家會有顯著優勢；在網絡安全方面，人工智能技術可與僵尸網絡配合，實施攻擊并打垮防御。

2019年，美國發布新版《國家人工智能研究與發展戰略規劃》，列出了算法對抗、數據中毒、模型反轉等威脅人工智能安全的問題；要求在人工智能系統全生命周期考慮安全性問題，涵蓋初始設計，數據/模型的構建、評估、驗證、部署、操作、監視等環節。

2021年3月，美國人工智能國家安全委員會發布建議報告，認為美國尚未做好防御人工智能賦能新興威脅的準備；提出2025年實現軍事人工智能戰備狀態的發展目標，建議成立技術競爭力委員會等組織機構，確保贏得競爭并增強防御能力。

2.其他國家

2018年，俄羅斯發布《人工智能在軍事領域的發展現狀以及應用前景》，明確將人工智能視為戰略競爭的重要領域，推動人工智能元素與無人集群、無人自主系統反制、雷達預警系統的整合，支持國家軍事能力提升。

2016年，日本防衛省發布《中長期技術規劃》，推動發展可快速處理海量情報數據的人工智能技術、能夠應對網絡攻擊的廣域分散情報通信系統技術，由此提升態勢感知、情報共享、電子攻防、指揮控制能力。

2018年，印度發布《人工智能國家戰略》，注重利用人工智能技術促進經濟增長并提升社會包容性，尋求適合國情的人工智能規劃部署。印度將利用人工智能技術開發武器、防御、監視系統，制定人工智能發展路線圖；研究機器學習在軍兵種、網絡安全、核、生物資源等領域應用，以自主化武器、無人監視系統為代表。

三、人工智能賦能網絡攻擊的安全威脅場景與典型技術

（一）人工智能賦能網絡攻擊帶來的新型威脅場景

1.自主化、規模化的拒絕服務攻擊威脅

近年來，隨著物聯網（IoT）的逐步普及、工控系統的廣泛互聯，直接暴露在網絡空間的聯網設備數量大幅增加。Mirai IoT僵尸網絡分布式拒絕服務攻擊（DDoS）事件（2016年）表明，攻擊者正在利用多種手段控制海量IoT設備，將這些受感染的IoT設備組成僵尸網絡，發動大規模DDoS攻擊并可造成網絡阻塞和癱瘓。除了呈現大規模攻擊的典型特點之外，網絡攻擊者越發注重將人工智能技術應用于僵尸網絡攻擊，據此進化出智能化、自主化特征。

2018年全球威脅態勢預測 [7]表明，人工智能技術未來將大量應用在類似的蜂群網絡中，可使用數百萬個互連的設備集群來同步識別并應對不同的攻擊媒介，進而利用自我學習能力，以前所未有的規模對脆弱系統實施自主攻擊。這種蜂巢僵尸集群可進行智能協同，根據群體情報自主決策采取行動，無需僵尸網絡的控制端來發出命令；無中心的自主智能協同技術，使得僵尸網絡規模可突破命令控制通道的限制而成倍增長，顯著擴大了同時攻擊多個目標的能力。人工智能賦能的規模化、自主化主動攻擊，向傳統的僵尸網絡對抗提出了全新挑戰，催生了新型網絡空間安全威脅。

2.智能化、高仿真的社會工程學攻擊威脅

社會工程學利用人性弱點來獲取有價值信息，作為攻擊方法是一種欺騙的藝術。社會工程學網絡攻擊雖出現已久，但始終是較為有效的攻擊手段；特別是魚叉式網絡釣魚，因成效顯著、傳統安全性防御機制難以阻止而成為研究關注重點。隨著人工智能應用的拓展，社會工程學攻擊日益呈現智能化、高仿真特征。攻擊者利用社交媒體等開放獲取的個人隱私數據，自動學習并構造虛假信息，讓受攻擊目標不引起懷疑而自愿上鉤。

在2016年美國黑帽大會上，網絡安全公司ZeroFOX的安全研究員展示了一種帶有偵察功能的社交網絡自動釣魚攻擊方法 [8]；利用機器學習算法，通過網絡大數據挖掘個人的出生年月、電話、親屬關系、位置等關鍵信息，自動生成定制化、高仿真的惡意網站/電子郵件/鏈接；模仿相關聯系人的通信內容風格并騙取信任，從模仿真實聯系人的地址發送出來，有效提升釣魚攻擊的有效率。利用人工智能技術，攻擊者還可創建逼真的低成本偽造音頻和視頻，將網絡釣魚攻擊空間從電子郵件擴展到其他通信域（如電話會議、視頻會議），加劇了社會工程學攻擊威脅。

3.智能化、精準化的惡意代碼威脅

隨著人工智能技術的發展，攻擊者傾向于針對惡意代碼攻擊鏈的各個攻擊環節進行賦能，增強攻擊的精準性，提升攻擊的效率與成功率，有效突破網絡安全防護體系，對防御方造成重大損失。在惡意代碼生成構建方面，深度學習賦能惡意代碼生成相較傳統的惡意代碼生成具有明顯優勢，可大幅提升惡意代碼的免殺和生存能力。在惡意代碼攻擊釋放過程中，攻擊者可將深度學習模型作為實施攻擊的核心組件之一，利用深度學習中神經網絡分類器的分類功能，對攻擊目標進行精準識別與打擊。

在2018年美國黑帽大會上，國際商業機器公司（IBM）研究院展示了一種人工智能賦能的惡意代碼DeepLocker [9]，借助卷積神經網絡（CNN）模型實現了對特定目標的精準定位與打擊，驗證了精準釋放惡意代碼威脅的技術可行性。目前，這類攻擊手法已被攻擊者應用于實際的高級持續性威脅攻擊，一旦繼續拓寬應用范圍，將難以實現對抗防范；如果將之與網絡攻擊武器結合，有可能提升戰斗力并造成嚴重威脅和破壞。

（二）人工智能賦能網絡攻擊的典型技術

1.網絡資產自動探測識別技術

網絡資產探測識別指追蹤、掌握網絡資產情況的過程。從安全攻擊的角度看，網絡資產探測識別可用于滲透（或攻擊）前的信息收集，了解目標網絡內主機的操作系統類型、開放端口以及所運行的應用程序類型與版本信息。準確掌握目標網絡的安全狀況，有助于選取高效的攻擊方法。

在網絡資產探測識別的人工智能應用方面，當前最具代表性的技術應用是基于機器學習的操作系統指紋識別技術。引入機器學習、深度學習等方法，進行操作系統指紋識別，可以較短的建模時間、較高的準確率，實現基于協議棧指紋被動操作系統的識別，提高未精確匹配指紋的識別率。

2.智能社會工程學攻擊技術

自動化社會工程學攻擊技術指利用機器學習、神經網絡等方法，實現釣魚式攻擊、電腦蠕蟲傳播、垃圾郵件散發等的完整攻擊過程自動化。基于自然語言生成（NLG）的自動化網絡釣魚是一種典型攻擊方法，攻擊者利用深度學習分析文本內容，識別目標感興趣的主題，生成目標可能響應的文本內容；常用于以電子郵件、社交網站作為攻擊代碼傳輸載體的新型網絡釣魚攻擊。

在2016年第七屆新西蘭黑客大會上，意大利安全專家發布了一種自動化網絡釣魚工具 [10]，在在對澳大利亞公務員的調查測試中，成功欺騙了40%的參與人員。2019年，有研究基于NLG技術構建了高級電子郵件偽裝攻擊生成引擎 [11]，評估實驗表明，生成的偽裝電子郵件具有更好的連貫性、更少的語法錯誤，是效果更優的網絡釣魚電子郵件攻擊手段。

3.智能惡意代碼攻擊技術

機器學習算法已經普遍應用于網絡安全檢測領域，然而相關檢測系統容易受到對抗性攻擊；攻擊者可以構造“良性”樣本，成功繞過機器學習分類器的識別。對抗機器學習在惡意代碼中插入一部分對抗性樣本，可繞過安全產品的檢測；甚至根據安全產品的檢測邏輯，自動化地在每次迭代中自發更改代碼和簽名形式，確保自動修改代碼逃避反病毒產品檢測且功能不受影響。2018年，有研究利用深度強化學習網絡提出了一種基于對抗樣本生成的黑盒攻擊方法，用于攻擊靜態的可執行文件（PE）殺毒引擎 [12]。這是第一個可以產生對抗性PE惡意代碼的研究工作，模擬真實攻擊的成功率達到90%。隨著人工智能在對抗機器學習領域的拓寬應用與進化，可以預見，基于生成對抗網絡的逃逸攻擊會成為對抗機器學習方面的重要方向和技術趨勢。

此外，在傳統惡意代碼被發布后，攻擊目標和意圖往往是確定的，可通過逆向工程、網絡監聽等方法分析得知。在人工智能技術的助力下，惡意代碼通過內嵌深度神經網絡模型，可在代碼開源的前提下依然確保攻擊目標、攻擊意圖、高價值載荷的高度機密性，由此顯著提升攻擊的隱蔽性。此類攻擊的代表性成果是IBM研究院的DeepLocker惡意代碼。

4.自動化漏洞挖掘與利用技術

自動化漏洞挖掘與利用指在無人工干預的基礎上，自動化挖掘軟件內部缺陷并利用該缺陷使軟件實現非預期功能。2013年，DARPA發起了CGC項目，旨在實現漏洞挖掘、分析、利用、修復等環節的完全自動化，進而建立具備自動化攻擊與防御能力的高性能網絡推理系統。2014—2016年，CGC比賽在漏洞自動攻防方向進行了嘗試，引起廣泛關注。參賽團隊建立自動攻擊防御系統，實現無人干預條件下的自動尋找程序漏洞、自動生成漏洞利用程序攻擊敵方、自動部署補丁程序抵御對手攻擊的基本能力。國內自2017年起組織開展了類似的自動攻防比賽，促進了相關技術發展和新型網絡安全系統構建。

四、人工智能賦能網絡攻擊的技術發展趨勢

隨著人工智能與網絡安全的深度結合，人工智能賦能網絡攻擊與傳統網絡攻擊在技術與手法上相比，將使過去勞動密集型、成本高昂的攻擊手法開始徹底轉型，朝著分布式、智能化、自動化方向發展，從而形成更為精準和快速的自動化攻擊手法。相關技術發展趨勢有以下三點。

一是利用人工智能學習環境特征，增強攻擊的適應性與隱蔽性。在攻擊目標的網絡環境中，數據、行為等均具有一定的本地化特征。攻擊者利用人工智能對目標網絡中的數據、行為等特征等進行收集和建模，學習目標網絡環境中正常的數據內容、傳輸頻率、傳遞方法等環境特征；參考環境特征來選擇合適的攻擊手段，將攻擊數據偽裝成目標網絡中具有正常特征的普通數據，將攻擊行為偽裝成目標網絡中正常用戶的網絡行為；實現環境自適應的攻擊行為、數據隱藏，提升攻擊的隱蔽性，增強攻擊的適應性。

二是利用人工智能增強分布式協作效果，提高攻擊的魯棒性。攻擊者引入分布式智能協同算法，將傳統的由智能中心統一調度分布式攻擊實體開展協作攻擊，演化為無中心的分布式多智能攻擊實體的自主協同和群體決策，從而提高多個分布式攻擊節點之間的協作效率，降低對中心化協同調度的依賴性，減少攻擊反制的風險，提升攻擊的魯棒性。

三是利用人工智能實現攻擊方式的自我進化，提升攻擊的有效性。攻擊者利用人工智能分析不同攻擊方式下的攻擊效果及防御方的可能應對措施，進而針對防御方的弱點自動選擇新的攻擊機制，據此實現攻擊方式的智能進化。例如，攻擊者可將防御方入侵檢測系統的結果作為反饋，采用人工智能技術對反饋數據進行收集和建模分析，建立攻擊效果模型，動態調整合適攻擊方式，規避入侵檢測系統。

五、人工智能賦能網絡攻擊威脅的應對建議

（一）強化研究與應用，推動智能化網絡攻防體系建設和能力升級

著眼人工智能賦能網絡攻擊的威脅和影響，從防范安全威脅、構建對等能力的視角著手，盡快開展重大關鍵技術研究。推動“產學研”機構以有效應對人工智能賦能攻擊新型威脅場景為首要需求，從攻防兩方面進行聯合攻關，開展智能化威脅態勢感知、自動化漏洞挖掘與利用、智能惡意代碼等技術研究。加快人工智能技術在國家、重要行業關鍵信息基礎設施安全防護方面的體系化應用，整體性完成智能化升級換代，大幅提升關鍵信息基礎設施安全保障、網絡安全態勢感知、網絡安全防御、網絡威懾的能力水平。為管控人工智能帶來的新型網絡安全威脅，應加強相關法律法規建設，規范人工智能網絡安全健康發展，延緩并阻止與特定威脅相關的活動。

（二）加強共享和利用，破解人工智能網絡攻防技術體系建設的數據難題

人工智能訓練數據集既是人工智能安全研究中最有價值的數字資產，又是關乎人工智能安全能力建設成功與否的戰略資產。然而，目前人工智能安全訓練數據缺乏安全、可控、可追溯的手段進行共享利用，這成為限制人工智能攻防技術快速發展的重要因素之一。建議以國家實驗室等權威機構為依托，利用區塊鏈等新型技術構建人工智能數據靶場，形成安全可信、激勵機制合理的共享利用框架，促進人工智能數據資產的有效利用，落實以數據為中心的人工智能網絡攻防技術發展路徑。

（三）加強對抗和評估，促進人工智能網絡攻防技術實用性發展

人工智能攻防屬于持續對抗升級的技術，實際應用效果依賴對抗環境的全面性和真實性。然而由于科研條件尚不充分，現有人工智能攻防技術研究難以復現實際的攻防對抗環境，對人工智能自動化攻防技術從理論走向實際構成明顯制約。

建議以國家實驗室等權威機構為依托，構建人工智能攻防對抗靶場，通過權威評估、技術挑戰賽、測試驗證等形式，有效推動人工智能網絡攻擊、自動化漏洞發現與利用的效能評估和對抗分析，促進人工智能攻防技術加速朝著實用方向發展。

六、結語

網絡空間安全威脅全面滲透虛擬世界和物理世界，給各國的政治、經濟、社會和國防帶來了巨大的安全風險和挑戰。人工智能與網絡空間安全威脅的深度結合，則進一步加劇現實安全威脅，催生新型安全威脅，給國家安全帶來了更加嚴峻的挑戰。人工智能賦能網絡攻擊，在大數據等關聯技術的輔助下，使網絡攻擊愈發呈現出大規模、自動化、智能化等新的特點，必將帶動和促進網絡空間防御技術、手段、能力的進化與發展。

當前，在人工智能賦能網絡攻防的發端之際，誰搶先找到人工智能與網絡攻防在技術、數據、模型等層面的最佳結合點，搶先形成網絡攻防領域的“技術差”“應用差”，誰就可能搶占網絡空間對抗的技術制高點，從而形成對抗博弈優勢，掌握網絡空間主動權和威懾力。我國應加強人工智能在網絡空間安全領域的戰略應用，從防范新型威脅、積極應對挑戰兩個方面開展工作，著力解決人工智能在網絡攻防領域應用中面臨的數據、對抗、評估等實際問題，推動人工智能攻防盡快從理論研究走向實際應用。識別人工智能帶來的新型網絡空間安全威脅，提升智能威脅感知應對能力，確保在人工智能變革的背景下有效維護國家網絡空間主權，保障網絡空間核心利益，為國家安全和發展保駕護航。