基于威脅情報的自動生成入侵檢測規則方法

劉 亮，趙倩崇，鄭榮鋒，田智毅，孫思琦

(1.四川大學 網絡空間安全學院，四川 成都 610065； 2.四川大學 電子信息學院，四川 成都 610065)

0 引 言

入侵檢測系統(intrusion detection system，IDS)作為提高網絡安全訪問的有效手段[1]，在應對日益頻繁的網路熱點事件時的更新能力受到了越來越多的關注。IDS通過實時監視系統，對發現的異常情況進行告警，其檢測能力受制于規則的準確性和豐富性，良好的規則更新能夠提升對正在發生的熱點事件的應對能力。

針對以上問題，本文提出了一種基于威脅情報的自動生成入侵檢測規則方法，利用網絡中公開傳播的、能夠及時描述當前網絡安全環境的開源威脅情報文本(cyber threat intelligence，CTI)，使用深度學習算法提取IoC數據，自動生成入侵檢測規則，應對當前熱點安全威脅和高級持續威脅(advance persistence threat)。陷落指標數據(indicator of compromise，IoC)可用于識別計算機系統是否被攻擊者入侵的信息，包括網絡安全事件相關的IP地址、域名、電子郵件地址等信息。開源威脅情報文本是由網絡安全領域的專業人員針對于最新發生的網絡安全熱點事件撰寫的、包含完整事件過程的報告，其中包含豐富的IoC數據，可被用于提升計算機網絡應對網絡安全熱點事件的能力。本文即是研究自動地從網絡威脅情報文本中精確地提取IoC信息，并及時地形成可用的入侵檢測規則。

本文的創新點主要為：

(1)使用基于條件共現度的方法對IoC所在段落進行特征擴展和文檔重構，提高IoC數據提取準確率；

(2)使用基于3層LSTM和CNN網絡結構的ResLCNN深度學習模型驗證所提取的IoC數據真實性，達到了91%的IoC數據提取準確率；

(3)將開源威脅情報應用于入侵檢測系統的規則生成，實現了IDS規則的及時自動更新，提升應對熱點網絡安全威脅的能力。

1 相關工作

為了實現自動更新規則數據庫，文獻[2]提出了一種結合機器學習和神經網絡生成規則的方法Dendron。Dendron同時利用了決策樹和遺傳算法，以生成出語言可解釋的準確的檢測規則，同時將啟發式方法集成到生成過程中。該方法可以高精度地檢測網絡攻擊，但沒有考慮大規模數據集的訓練時間。文獻[3，4]都提出了利用蜜罐安全機制來區分來自客戶端的傳入流量和攻擊者發起的流量的IDS。文獻[2]提出的Dendron和文獻[3，4]提出的基于蜜罐的規則生成算法都需要足夠數量的規則攻擊樣本以提取良好的規則。除此之外，文獻[5]提出了一種基于關聯規則數據挖掘技術來檢測網絡探針攻擊的改進Snort IDS規則的程序。以上這些規則更新方法只能提取已知攻擊行為的特征，或者在原有特征的基礎上尋找最佳的一般表達式，無法針對當前發生的熱點網絡安全事件做出及時更新。

目前，威脅情報最普遍的使用場景是事后攻擊檢測，即利用IoC數據進行日志檢測，發現內部被攻陷的主機等重要風險。這種情況下可以發現傳統安全產品無法發現的很多威脅，對于安全運營有較大的幫助[6]。但是將開源威脅情報直接用于入侵檢測系統等實時攻擊檢測技術的研究還很少。文獻[7]提出的CyTIME系統利用威脅情報共享協議TAXII協議，從威脅情報共享平臺中收集威脅情報數據，并將其轉化為結構統一的STIX格式，最后生成用于入侵檢測的規則。但該系統只能收集結構化的CTI并將其轉為IDS規則，針對從難度更大且實用性更強的非結構化的數據例如文本中收集IoC沒有實現。從非結構化的數據中準確提取IoC是一項挑戰性的自然語言處理技術。在文獻[8]中，Yuan和Liao等提出一種自動從博客文章中收集IoC的系統iACE，他們將問題建模為圖相似問題，如果IoC項具有與訓練集相似的圖結構，則將其識別出來。文獻[9]提出利用卷積神經網絡CNN自動提取IoC的系統iGen。文獻[8，9]都只關注了句子級別的特征，并且沒有將其與上下文關聯，準確率較低。

本文提出的基于威脅情報的自動生成入侵檢測規則方法，首先從網絡安全公司、組織搭建的開源威脅情報網站中收集可能與網絡安全事件相關的文章，文章分類模塊使用Word2Vec進行特征提取，訓練監督學習模型，該模型自動將文章分為威脅情報文本和非威脅情報文本；然后定位IoC所在的段落并使用條件共現度算法進行特征擴展和子文檔重構，并使用深度學習網絡驗證IoC真實性。最后，入侵檢測系統構建模塊將提取出的IoC轉換為入侵檢測系統規則，構建入侵檢測系統。

2 基于威脅情報的自動生成入侵檢測規則方法

本文提出的基于威脅情報的自動生成入侵檢測規則模型如圖1所示。

該模型主要包含4個模塊，威脅情報收集與預處理模塊、文章分類模塊、IoC提取模塊和入侵檢測系統構建模塊。①威脅情報收集與預處理模塊包含數據收集組件和文本預處理組件，數據收集組件在各大開源威脅情報網站上定期收集可能與網絡安全事件相關的文章，然后使用預處理組件進行數據清洗與文本預處理；②文章分類模塊使用Word2Vec進行特征提取，利用AdaBoost算法訓練文章分類模型，該模型自動將文章分為威脅情報文本和非威脅情報文本；③IoC提取模塊首先通過靜態規則定位可能包含IoC的段落，使用條件共現度算法進行特征擴展和子文檔重構，交由基于ReslCNN 深度學習網絡的IoC驗證模型驗證IoC；④最后，入侵檢測系統構建模塊將提取出的IoC轉換為可以應用于開源入侵檢測系統Snort的規則，構建入侵檢測系統。

圖1 整體方法模型

2.1 威脅情報收集與預處理

數據收集組件定期在不同的開源威脅情報網站上收集文章，所獲得的原始HTML腳本中有很多噪聲信息，包括標簽、廣告鏈接、視頻等，需要通過預處理模塊提取HTML 腳本中的文本內容。預處理組件還對原始文本進行停用詞去除和詞性還原。為了節約數據存儲空間、提高后續分類準確率，在預處理階段去除應用廣泛但自身并無明確意義的停用詞。由于收集來的文本中同一原型的詞經常以不同的形態出現，并且在訓練模型提取特征時通常將這些單詞當作多個詞進行處理，故使用詞形還原將單詞的不同形式統一為詞的原始形式，以提高特征提取的準確性及效率。

2.2 文章分類模型

盡管開源威脅情報網站發布的文章大多為CTI信息，但其中也夾雜著產品廣告、安全技術指導等非IoC文章。本模塊將從威脅情報收集與預處理模塊傳來的所有文章中提取包含妥協指標IoC的文章。首先通過正則匹配過濾掉所有不包含候選IoC(IP、域名、url、哈希值等)的文章，之后通過自然語言處理技術提取特征構建文章分類模型。

特征提取：在威脅情報領域往往會有層出不窮的新的詞匯，并且描述網絡安全事件的文章篇幅往往較長，采用傳統的詞袋模型會引發維度災難，嚴重影響計算速度。Word2Vec模型可以很好地解決上述問題。相較于傳統NLP的高維、稀疏的表示法，Word2Vec是一種可以進行高效率詞嵌套學習的預測模型，訓練出的詞向量是低維、稠密的。除此之外，Word2Vec模型訓練的詞向量包含詞的語義信息且能體現詞之間的線性關系[10]，因此本系統利用基于Skip-gram模型的Word2Vec模型訓練威脅情報語料中的詞匯，得到文章每個詞的詞向量。

Skip-gram模型共分為3層：輸入層、隱藏層和輸出層。輸入層中每個詞由獨熱編碼方式表示，輸入層與隱藏層之間的權重矩陣W的第i行代表詞匯表中第i個單詞的權重，最后模型還有N個結點的隱藏層，隱藏層節點hi就是輸入層輸入的加權求和。隱藏層h公式如下

(1)

輸出層是輸入節點的上下文，窗口大小為C， 模型輸出結點C*V也是由對應輸入結點的加權求和計算得到，輸出層節點公式如下

(2)

最后使用softmax函數對輸出層的多項式分布進行歸一化，將模型的歸一化輸出作為目標函數，然后通過交叉熵方法獲得損失函數，并通過反向傳播算法更新變量權重，該算法連續迭代直到網絡收斂。

構建IoC文章分類模型：為訓練分類模型，手工標注在各大開源威脅情報網站上收集的400篇文章(包括299篇非威脅情報文本和101篇威脅情報文本文章)，并將這些文章分為訓練集和測試集。利用Word2Vec模型提取的特征，本模塊使用AdaBoost算法來訓練IoC文章分類模型。AdaBoost是一種可以顯著提高一般分類器分類精度的方法，它可以聯合幾個初等分類器構成一個新分類器，本系統采用AdaBoost算法提高模型訓練的精度。

模型訓練過程如下：在每輪訓練中，添加新的弱分類器。如果已經對樣本點進行了準確分類，則在構建下一個訓練集時減少其權重；相反，如果樣本點未正確分類，則其權重會增加。最終改進的強分類器，采用不同弱分類器的加權組合，即某個數據被分為哪一類要由各分類器權值決定[11]。

其中，計算弱分類器在最終分類器中所占的權重αt， 如下

(3)

然后需要更新威脅情報樣本數據中訓練樣本的權值分布

(4)

2.3 IoC提取

本模塊的任務是在IoC文章中準確識別并提取IoC。如果直接在IoC文章中使用靜態規則(例如正則表達式、關鍵詞匹配)提取IoC存在很高的誤報率。如圖2所示，圖中的3個段落來自3篇不同的IoC文章，如果單純依靠靜態規則匹配會將圖中的所有候選IoC(符合IoC格式的字符串)都當作真實IoC提取出來，但事實上只有第一段中的IP地址、域名和第三段中的IP地址才是真正的IoC。

圖2 包含候選IoC的段落示例

本文采用深度學習的方法，訓練一個以帶有候選IoC的段落為輸入，以是否為IoC為輸出的文本分類器。自然段落有數據量小，高維性和特征稀疏(如圖2所示)等特點，這增大了文本分類的難度。為了解決該問題，本模塊先利用條件共現度對原有文本進行特征擴展和文本重構，使用Word2vec將重構之后的段落轉換為低維度的詞向量，最后輸入結合了CNN和LSTM優勢的ReslCNN深度學習網絡進行模型訓練。

特征擴展和文本重構：本文沒有選擇候選IoC所在的句子而是選擇以候選IoC所在的段落為基本單位進行特征擴展和模型訓練。由于自然段落是一種基本的語言結構，自然段落中的內容將集中描述一個主題，因此它代表了一個連貫的語義文本段。此外，自然段落比句子和塊包含更多的詞匯信息并且大小適中[12]。

本模塊首先要將每篇IoC文章以自然段落為基本單位拆分成具有獨立語義結構的子文檔。但是，將具有較少單詞的段落視為基本的語義結構會為后續的特征擴展帶來誤差，因此，有必要確定在處理過程中是否可以將自然段落當成具有獨立語義結構的子文檔。每個不能被劃分為獨立語義結構的段落都將被合并到下一個段落中。判定規則如下

(5)

(6)

其中， [δ] 表示取整操作。

在對原始IoC文章進行語義結構拆分之后，每個子文檔內的詞共同說明了一個主題的內容，而單個詞無法準確定位文本的語義內容，因為單個詞表達的語義相對廣泛。而當單詞同時出現或組合成較長單元的短語時，可以更精確地表達文本的語義關系。另外，只用普通的詞共現方法往往不能準確判斷文檔重點描述的語義信息。例如“Phorpiex”和“攻擊”共現時，不容易判定該段落內容描述的是“Phorpiex為攻擊者”還是“Phorpiex為被攻擊者”；其次，若在一個段落中，“木馬”和“攻擊”，以及“木馬”和“檢測”的共現次數相同，無法判定本段落在更偏重于描述“木馬攻擊”的手段還是更偏重于描述“檢測木馬”的手段。為了解決文本內容的語義歧義，本文采用文獻[13]中提出的條件共現度方法度量原始段落中任意兩個詞的依存性，并根據詞語間的條件共現度對原始段落進行特征詞擴充和重構[13]。

(7)

(8)

然后，為了突出詞語組合后在段落中的語義強度，在求得詞間的條件共現度后，乘以段落內相應的兩個詞語詞頻的和與ρ的差值，即

(9)

其中，ρ用來控制詞語組合的強度，ρ越小，則強度越大，反之，則強度越小。

最后，依據上述兩步操作后獲得的組合詞及其權重的整數部分，對擁有獨立語義結構的段落特征進行擴充和重構。在重構過程中，將這些組合詞按其權重的整數部分進行重復。

如圖3所示，我們從一個段落中提取出3個詞，分別為“木馬”、“檢測”和“攻擊”，分別用a代表“木馬”，b代表“檢測”，c代表“攻擊”，并取ρ=2。 首先根據該段落的共現矩陣計算條件共現度矩陣；然后強調組合詞語義，根據文檔語義提高組合詞的權重；最后進行特征詞擴充及文本重構。從最后的重構文檔內容可以看出，“木馬檢測”、“木馬攻擊”和“檢測木馬”是關鍵內容。此外，可以清楚地分辨出“木馬檢測”比“木馬攻擊”更重要。

圖3 特征擴充及文本重構示例

構建ReslCNN模型：在對包含候選IoC的原始段落進行特征擴展和文本重構之后，需要訓練模型來驗證候選IoC是否為真實IoC。對自然段分類屬于短文本分類的范疇，目前，短文本分類模型通常是淺層網絡，即一層或兩層CNN或LSTM，相對于深層神經網絡特征表達能力較差。但是深層神經網絡模型效果受梯度消失影響。

為了解決上述問題，本文使用文獻[14]提出的基于3層LSTM和CNN網絡結構的ResLCNN(residual-LSTM-CNN)深度學習模型，如圖4所示。ResLCNN模型以Word2vec詞向量構成的段落矩陣作為輸入，第1層LSTM根據隱藏層和記憶單元獲取文本時序特征，隨后殘差層包含兩層LSTM，接著CNN層使用多個卷積核進行卷積運算，并提取最優卷積特征通過softmax分類。ResLCNN模型為了獲取更復雜的特征，將3層LSTM結合CNN構建深層網絡，同時在第1層LSTM輸出與CNN層輸入之間添加恒等映射，構建殘差層緩解訓練模型階段低網絡層梯度消失問題[13]。

圖4 ResLCNN模型框架

設Mi代表第i層的輸入，其中i∈{1,2,3,4}。F表示殘差函數，權重為W。 殘差層運算如下

M4=F(M2，W)+M2

(10)

殘差層的輸入為M2， 輸出直接作為第4層CNN的輸入M4， 進而得出式(10)。式(10)反向求導的過程為

(11)

IoC生成：通過比對IoC文章和非IoC文章，比對真IoC與假IoC的段落，總結出約260個與IoC有關的關鍵詞。本模塊通過靜態規則從真IoC段落中提取出IoC和IoC的類型。

2.4 入侵檢測系統構建

隨著越來越多的網絡安全威脅和攻擊不斷出現，傳統的IDS面對的挑戰是規則滯后無法應對最新的威脅。現有的規則更新方法基本都是取出已知攻擊行為的特征，或者在原有特征的基礎上尋找最佳的一般表達式，無法完整表達現在和未來的安全狀況。而將威脅情報用于構建入侵檢測系統，能夠根據過去和當前網絡安全狀況動態調整防御規則。

在眾多入侵檢測系統中，Snort占主流地位。Snort是一種開源的輕量級網絡入侵檢測系統，可以進行實時數據流量分析和記錄IP網絡數據包，檢測不同的攻擊方式，對攻擊進行實時報警，具有很好的擴展性和可移植性。本文基于Snort構建入侵檢測系統。

如圖5所示，Snort規則包含規則頭部和選項兩部分，規則頭部中，action指明規則被觸發后所執行的動作，proto表示規則所使用的協議，例如TCP、UDP或ICMP，在Snort3中，協議可以為空，接下來是源IP地址，源端口號，目的IP地址，目的端口號，規則選項定義了用于分析數據包負載以檢測攻擊的模式。將IoC轉換為IDS規則的算法如算法1所示。

圖5 Snort規則格式

算法1：IDS規則生成算法

輸入：IoC文件IoCs

輸出：IDS規則R

(1)R← 0

(2)foreachIoCinIoCsdo

(3)ifIoCcontainsblacklistsIPaddressesthen

(4)ExtractIPaddresses,creationtime,typefromIoC

(5)GeneratethecorrespondingsecurityrulerwithIPaddresses,creationtime,type

1) 對刀片刃面進行局部氣體滲碳以及淬火和低溫回火熱處理后能達到使刀片具有沿橫截面上的表里硬度差，達到表層硬(硬度≥60HRC)、心部韌(硬度≤35HRC)的目的。

(6)AddrtoR

(7)elseifIoCcontainsblacklisteddomainnamesthen

(8)Extractblacklisteddomainnames,creationtime,typefromIoC

(9)Generatethecorrespondingsecurityrulerwithblacklisteddomainnames,creationtime,type

(10)AddrtoR

(11)elseifIoCcontainsfilehashthen

(12)Extracthash,hashtype,creationtime,typefromIoC

(13)Generatethecorrespondingsecurityrulerwithhash,hashtype,creationtime,type

(14)AddrtoR

(15)elseifIoCcontainsmalwarethen

(16)Extractmalwarename,malwaretype,malwaresignature,creationtime,typefromIoC

(17)Generatethecorrespondingsecurityrulerwithmalwarename,malwaretype,malwaresignature,creationtime,type

(18)AddrtoR

(19) …

(20)endif

(21)endfor

(22)returnR

3 實驗結果及分析

3.1 實驗數據

采用Python3.6程序語言實現本文算法，通過爬蟲在30個開源威脅情報網站進行文章收集、分類和IoC提取，包括AlienVault、badcyber、FireEye、Freebuf等威脅情報平臺。本系統共收集了3100篇網絡安全文章，其中包含910篇IoC文章，從中提出共2300個包含候選IoC的段落，其中1500個段落包含真實IoC，800個段落包含虛假IoC。其中IoC類型分布見表1。

表1 IoC類型分布

3.2 評價指標

在文章分類和IoC提取實驗中評價指標采用準確率P， 召回率R和調和平均值F1， 其計算公式為

(12)

(13)

(14)

其中，TP表示正確告警條數；FP表示誤報條數；FN表示漏報條數；TN表示正確未告警條數。準確率P表示正確識別的正類占所有預測為正類的比率；召回率R表示正確識別的正類占所有實際為正類的比率；調和平均數F1表示準確率與召回率的綜合值。

在入侵檢測系統構建實驗中采用評價指標漏報率FNR和誤報率FPR

(15)

(16)

漏報率FNR是錯誤識別的正類占所有預測為負類的比率，誤報率FPR是錯誤識別的負類占所有實際為負類的比率，FNR、FPR越低，表示檢測效果越好。

3.3 實驗結果

3.3.1 文章分類與IoC提取實驗

在提取IoC實驗中，基于條件共現度的特征擴充算法是提高IoC提取準確率的關鍵算法，所以本文將使用特征擴充前的文本和特征擴充后的文本分別進行IoC提取，實驗結果對比見表2。

表2 IoC提取實驗結果

實驗結果表明，基于條件共現度的特征擴充算法顯著地提高了提取IoC的準確率。除此之外，本文將本系統所使用的IoC提取模型與其它方法進行了對比，包括分別使用TF和TF-IDF算法提取特征的SVM(支持向量機分類器)和樸素貝葉斯分類器。采用10折交叉驗證技術，比較了準確率、召回率和調和平均值。如表3所示，本系統以93%的準確率，90%的召回率生成IoC，性能優于其它方法。

文獻[8]提出的iACE在高精度提取IoC方面也取得較好效果。但是該方法從其使用的數據集中手動提取了5283個特征，這意味著iACE運用在其它數據集中精度無法保證。但是在本系統中，特征不用手動提取，使用條件共現度方法進行特征擴展后，由ResLCNN深度學習模型自動選擇特征。該特性使得本系統在任何數據集上都具有更強的適應性。

表3 IoC提取實驗結果

3.3.2 IDS檢測實驗

本文將從威脅情報中提取出的IoC轉化為snort規則，轉化過程如圖6所示，轉化后的規則被應用到入侵檢測系統中。

為在實驗環境下采用統一標準對本文所提出的基于威脅情報的自動生成入侵檢測規則方法加以驗證，本文采用malware-traffic-analysis[15]網站公開的惡意代碼，該數據集包含了Angler、Boleto、EITest、Emotet、Nuclear、Trickbot等知名惡意代碼相關的流量數據。本文在實驗室環境下搭建了Snort入侵檢測系統，并將使用生成的規則對該數據集中的惡意流量進行檢測。表4中從上至下惡意代碼發現時間從遠到近，其中DRIDEX FROM LINK-BASED MALSPAM是最新發生的網絡安全事件中采集的流量。同時，本文選取文獻[16]和文獻[17]所提出的入侵檢測系統作為對照。文獻[16]提出基于分層時空特征的入侵檢測系統(HAST-IDS)，首先使用深度卷積神經網絡(CNN)學習網絡流量的低層空間特征，然后使用長短期記憶網絡學習高層時間特征。文獻[17]提出了一種新穎的入侵檢測系統，該系統結合了不同的分類器方法，這些方法基于決策樹和基于規則的概念，即REP樹、JRip算法和Forest PA。具體來說，第一種和第二種方法將數據集的特征作為輸入，將網絡流量分類為攻擊/良性。除了將第一分類器和第二分類器的輸出作為輸入之外，第三分類器還使用初始數據集的特征。實驗結果見表4。

圖6 IoC轉snort規則舉例

表4 異常流量檢測結果對比/%

結果顯示，隨著惡意代碼的發現時間越近，本系統的檢測漏報率越低，文獻[16]和文獻[17]的檢測漏報率越高，而本系統的誤報率始終低于文獻[16]和文獻[17]。在MALSPAM PUSHES FORMBOOK的檢測中，本系統的漏報率最高，檢測效果最差，而對于最新發現的DRIDEX FROM LINK-BASED MALSPAM的檢測效果優于其它文獻提出的入侵檢測方法。這是因為對于文獻[16]和文獻[17]，流量數據類型的規模和數據量的大小對預測模型的訓練效果有顯著的影響，如果檢測流量規模和數據量足夠大時檢測效果優于本系統，所以對于越早發現的惡意代碼檢測效果越好。盡管本系統生成的規則多數只包含了數據包頭的信息，但在熱點網絡安全事件還未有足夠流量規模用以訓練時具有較好的檢測結果，優于其它系統。并且因為本系統可以從威脅情報中獲得較為準確的IoC數據，可以生成更加可靠的規則，所以誤報率始終低于其它系統。

最終結果表明，文本所設計的基于威脅情報的自動生成入侵檢測規則方法能夠有效捕捉開源威脅情報中的有效數據，有效幫助提升應對APT攻擊，提升網絡安全防護能力。

4 結束語

本文提出基于威脅情報的自動生成入侵檢測規則方法，將威脅情報用于構建入侵檢測系統，能夠根據過去和當前網絡安全狀況動態調整防御規則。該系統先在不同開源威脅情報網站收集網絡安全文章，訓練文本分類模型，之后通過條件共現度算法進行特征擴展和文本重構，使用深度學習網絡訓練IoC提取模型。最后，入侵檢測系統構建模塊將提取出的IoC轉換為可以應用于開源入侵檢測系統Snort的規則，構建入侵檢測系統。實驗結果表明，本系統能夠準確分離出與安全事件相關的文章，提取出文章中的IoC信息，能夠有效為新的攻擊生成IDS規則。

在下一步的工作中，將匯總來自多個事件/來源的數據并與其它信息進行補充，聚合IoC以便生成準確率更高的IDS規則。