生成式人工智能對網絡安全的影響

摘要：生成式人工智能不斷迭代發展，應用越來越廣泛、深入。人們在研究和嘗試如何將AIGC與從事的行業和工作結合起來，以達到提高工作效率、節省人力、更高效的完成相關工作的目的。文章研究了生成式人工智能在網絡安全領域正反兩方面的應用，探索了生成式人工智能在代碼審計和生成、漏洞和釣魚郵件檢測、AI深度合成等方面的應用。文章認為，隨著生成式人工智能的不斷迭代發展，其將在網絡安全領域獲得廣泛而深入的應用，會對網絡安全領域帶來正反兩方面的深刻影響。

關鍵詞：生成式人工智能；AIGC；AI；網絡安全

自2022年11月ChatGPT誕生以來，生成式人工智能（AIGC）技術不斷迭代發展，成為當前研究和應用的熱門。目前我國有文心一言、通義千問、訊飛星火、智譜清言、字節豆包、Kimi等AIGC應用。截至2024年7月30日，全國范圍內已有197個生成式人工智能服務通過網信辦備案。AIGC技術對各行各業帶來了即時或潛在的影響，生成式人工智能作為人工智能領域的重要分支，以其強大的數據處理能力和創新的應用場景，正在以前所未有的速度改變著各行各業，對網絡安全工作的影響也不例外。

一、生成式人工智能對網絡安全工作的正面影響

（一）提升網絡安全工作自動化水平

利用AI提升網絡安全工作的自動化水平，使得安全工作人員減少繁雜的重復性、事務性工作，聚焦AI不能完成的網絡安全方面工作，同時降低人為導致的錯誤的可能性。生成式人工智能在智能化防護、預測性安全、自適應防御等網絡安全領域都有廣泛的應用[1]。

（二）網絡安全顧問

AIGC可以作為組織或個人的網絡安全顧問。其可針對用戶提出的問題給出專業的回答。就像案頭的百科全書，用戶可隨時向它提出問題，學習相關的網絡安全知識。

（三）代碼審計

通過智譜清言、Kimi等AIGC對下邊這段python代碼進行審計：

import sys

def harmonic（n）：

total = 0.0

for i in range（1， n+1）：

total += 1.0 / i

return total

n = int（sys.argv[1]）

for i in range（1， n+1）：

print（harmonic（i））

智譜清言、Kimi等AIGC審計認為，這段Python代碼定義了一個函數Harmonic，用于計算n階調和數，即計算從1到n的倒數之和。然后，代碼從命令行參數中獲取一個整數n，計算并打印從1到n的每個調和數的值。

（四）漏洞發現

以DVWA等滲透測試環境為例，利用AIGC的代碼生成和強大的分析能力，可以挖掘代碼漏洞并給出修復方案。對于滲透測試平臺DVWA的SQL注入漏洞，Security Levels設置為high，將SQL注入源代碼，詢問智譜清言、Kimi等AIGC，會給出分析，認為代碼存在SQL注入，問題在于查詢字符串直接將$id變量插入SQL語句中，而沒有進行任何形式的轉義或參數化查詢，并給出了解決辦法：為了防止SQL注入，應該使用參數化查詢。在PHP中，可以使用預處理語句和綁定參數來實現這一點。將Security Levels設置為Impossible，將SQL注入源代碼，通過智譜清言、Kimi等AIGC分析，給出的分析結論認為代碼不存在明顯的SQL注入風險，因為正確地使用了PDO預處理語句和參數綁定，代碼中有一些安全措施，比如檢查CSRF（跨站請求偽造）令牌，這有助于保護應用程序免受CSRF攻擊。

（五）日志分析

WAF、IPS、防火墻等安全設備會產生大量日志，服務器操作系統及運行的BIND、REDIS、數據庫等各種應用也會產生大量日志，利用AIGC可以分析日志，對告警信息進行分析判斷和輔助決策的作用。360和奇安信等安全廠商開發了自己的安全大模型用于網絡安全領域，將AI引入網絡安全領域，實現了網絡安全行業新質生產力的變革。使用智譜清言、Kimi等AIGC，分析Linux系統的Messages和Secure等日志文件片段，可以清晰地給出分析結果，對于存在的安全問題，還給出了相應的解決辦法。

（六）生成安全檢測軟件

訊飛星火、字節豆包、智譜清言等AIGC應用具有代碼生成能力。隨著大模型技術的發展，大模型的代碼生成能力將在一定程度上取代程序員的作用。目前，大模型代碼生成能力獲得了一定程度的應用。北京郵電大學利用大模型的代碼生成能力，開發了“碼上”編程大模型教學應用，為學生提供實時、精準的智能代碼糾錯、差異化代碼修改對比、1對1啟發式智能編程輔導等功能。此應用能夠有效緩解高校編程教師輔導答疑的工作壓力，提高學生編程學習的效率，有助于實現“老師輕松教，學生高效學”的目標。在網絡安全領域，利用AIGC可以生成惡意代碼檢測、漏洞檢測和漏洞利用等安全工具，輔助網絡安全人員完成網絡安全工作。

（七）釣魚郵件檢測

利用AIGC強大的文本分析能力，可以分析可疑釣魚郵件，給出分析結果，是信息安全人員的得力助手。

（八）惡意軟件檢測

ChatGPT使用的文本生成模型GPT能夠對代碼進行分析，以確定其意圖。訓練所使用的數據量巨大。ChatGPT從Stack Overflow、Github等大量的語料里訓練模型。ChatGPT可以學習特定編程語言的語義，生成更加準確的語義分析結果[2]。能夠對編碼后的Shellcode進行分析，給出分析結論，輔助安全研究人員進行惡意代碼分析工作。

判定如下代碼是否為Webshell？給出判定理由：

lt;？php

$s=substr（\"welcomesystemhello\"， 0×7，0×6）;

$s（whoami）

？gt;

智譜清言的檢測結果：

是的，這段代碼可以被判定為Webshell。以下是判定理由：

代碼執行功能：代碼中的$S（Whoami）嘗試執行Whoami命令。在PHP中，如果變量名后直接跟括號，PHP會將其視為函數調用。

隱蔽性：代碼使用了Substr函數，并且使用了十六進制數0×7和0×6作為參數，這是一種混淆手段。十六進制數0×7等于十進制的7，0×6等于十進制的6。因此，Substr（\"Welcome system hello\"， 0×7， 0×6）等同于Substr（\"Welcome system hello\"， 7， 6），這將從索引7開始提取長度為6的子字符串，即“System”。

命令執行：提取出的子字符串“System”是一個PHP的內置函數名，該函數可以執行系統命令。因此，$S（Whoami）實際上是嘗試調用System（Whoami），這是一個系統命令執行。

二、生成式人工智能對網絡安全工作的負面影響

（一）生成高質量釣魚郵件

生成式AI可以生成語法正確、內容逼真的釣魚郵件，繞過垃圾郵件檢測。攻擊者可以利用生成式AI分析目標用戶的社交媒體信息，生成高度個性化的釣魚內容，提高攻擊成功率。ChatGPT可以說是一名釣魚郵件專家，它具有自然語言理解和自我訓練的能力，可以從網絡或現實世界學習文本，并生成許多不同類型的釣魚郵件，誘導用戶點擊[3]。利用AIGC文本生成能力，可以高效快捷生成高度可用的釣魚郵件。

（二）生成惡意代碼

由于可以通過大量的代碼和文本混合數據進行訓練，ChatGPT極易生成惡意代碼，而這些被訓練的代碼主要來自CSDN、Stack OverFlow、GitHub等專業網站[4]。生成式AI可以幫助攻擊者快速生成惡意代碼、漏洞利用腳本或自動化攻擊工具，降低攻擊門檻，使得攻擊者能夠更快速、更有效地進行網絡攻擊。

（三）自動化漏洞挖掘

攻擊方利用AIGC代碼分析能力，可以快速發現軟件存在的漏洞，節省了發現漏洞時間和成本，有針對性的發起攻擊，提高了攻擊效率。

（四） AIGC對認知安全的影響

在信息化時代，各種信息通過網絡、社交媒體實現爆炸式的快速傳播，對大眾的情緒、心理、認知產生即時而廣泛的影響。在當前大國激烈競爭、地區沖突不斷的情況下，為了影響輿論，爭取廣泛支持，有的國家和地區利用網絡水軍進行認知作戰，使得認知安全問題更加突出。AIGC在研發過程中，生成式AI會受到開發者偏見的影響，或生成煽動性言論、宣揚暴力恐怖及宗教極端思想等音視頻內容5。AIGC應用越來越廣泛，其也存在認知安全問題。需要通過建立自主可控的大模型，完善有關法律法規和管理機制，提高大眾信息識別判斷能力，通過技術手段識別阻止虛假信息傳播，通過建立認知作戰隊伍保障網絡信息時代的認知安全。

（五）深度偽造音視頻

利用人工智能技術可以實現換臉、變聲。不法分子可以利用AI換臉、擬聲，冒充親朋好友實施詐騙。直播間可以利用AI換臉技術假冒名人來增加流量，提高銷量。目前，已有關于不法分子利用AI換臉牟利的報道。有數據指出，2023年國內AI詐騙案件的涉案金額達1670萬。2024年上半年，AI詐騙案超過1.85億。奇安信發布的《2024人工智能安全報告》顯示，2023年基于AI的深度偽造欺詐暴增了3000%。通過深度偽造的音視頻，用于散布虛假信息，損害個人或組織聲譽，甚至影響政治和社會穩定。

三、AI時代的網絡安全防御措施

在AI時代，隨著人工智能技術的不斷迭代發展，攻擊方將AI技術應用于網絡攻擊。AI時代的網絡安全防御，除利用傳統的訪問控制技術、身份認證技術、密碼技術、防火墻技術、多因素認證、防病毒技術、入侵防御等技術來實現網絡安全防護，還需要以AI對抗AI，將AI應用到網絡安全防護中來。目前安全廠商推出了安全大模型，通過大模型強大的推理和數據分析能力，應用到態勢感知等安全產品，提高了對流量和日志的檢測分析能力，增強了流量檢測效果和對釣魚郵件的識別，提高了安全防護效率。

四、結束語

隨著生成式人工智能的不斷發展，其應用也越來越廣泛、深入，其對網絡安全帶來的正反兩方面的影響也越發深刻，需要相關從業人員探索更高效的網絡安全防御技術及措施，以提升網絡安全防護能力。

作者單位：劉坤峰 河北水利電力學院

劉欣慧 滄州航空職業學院

參考文獻

[1]宋艷飛，樊偉. 生成式人工智能對網絡安全的影響分析[J].工業信息安全，2024（1）：85-91.

[2]李智華. 從防御視角探討ChatGPT對網絡安全的影響[EB/OL]. https：//mp.weixin.qq.com/s/iXK6QbmxcnQ1MG9swlWnWw，2023-02-23.

[3]李智華. 從攻擊視角探討ChatGPT對網絡安全的影響[EB/OL]. https：//mp.weixin.qq.com/s/ph5GnQFIGcSzi-9H-YlJTA，2023-02-21.

[4]翟尤. 對ChatGPT帶來網絡安全利弊的分析[J].中國信息安全，2023（7）：90-92.

[5]潘宏遠. 從歐美國家利用生成式AI打擊虛假信息看大模型安全治理的路徑抉擇[J].網絡安全技術與應用，2024（7）：120-121.