基于二次特征提取和BiLSTM-Attention的網絡流量異常檢測方法

潘成勝 李志祥 楊雯升 蔡凌云 金愛鑫

(南京信息工程大學 南京 210044)

1 引言

隨著信息技術的發展，互聯網已經深刻滲透到人們的工作和生活當中，然而伴隨著互聯網快速發展，網絡數據量的不斷激增，網絡環境的日益復雜，網絡安全問題日漸突出。此外，在軍事領域中，由于戰場環境復雜、作戰單元眾多，以及持續有效的供給等實際需求，如果不能及時準確地檢測出網絡異常，將會造成不可估計的損失[1]。因此，如何及時檢測出網絡異常，實時保障網絡的正常運行，對于維護網絡安全具有重要意義。

維護網絡安全是一個攻防博弈的過程，網絡流量異常檢測作為保障網絡安全的先決條件[2]，通過分析流量數據檢測網絡中的突發異常事件，檢測到異常后做出應對措施，對于發現潛在網絡威脅、降低網絡攻擊、減少網絡損失提供有效的防護和幫助。近年來，在網絡流量異常檢測中，傳統的機器學習算法得到了廣泛的應用，例如樸素貝葉斯[3]、隨機森林[4]、支持向量機[5]和K近鄰算法[6]。這些方法雖然在識別的準確度上有了一定的提升，但是統一存在表達復雜函數的能力有限、泛化能力較弱的問題[7]。在面對復雜的網絡環境和數據的爆炸性增長的情況下，模型的性能將會大大降低，因此不能較好地處理復雜分類問題。目前，由于深度學習優異的表示能力引起了人們的廣泛關注，研究人員將深度學習的算法引入到異常檢測領域[8]。文獻[9]提出了一種使用循環神經網絡(Recurrent Neural Network, RNN)進行異常檢測的深度學習方法，實驗結果表明，無論是二分類還是多分類，其性能都優于傳統的機器學習分類方法。文獻[10]提出了一種基于長短期記憶網絡自編碼的網絡流量異常檢測方法，與其他基于數據重構的檢測方法相比，該方法具有更高的檢測精度和檢測性能。文獻[11]利用卷積神經網絡(C-onvolutional Neural Network,CNN)和長短期記憶網絡(Long Short-Term Memory,LSTM)進行網絡流量異常檢測，與目前一些主流的分類器相比，所提出的技術在分類精度方面呈現出高質量的結果。文獻[12]提出了一種自注意力機制模型來學習網絡流量數據多個特征之間的相關性，實驗結果表明，所提出的技術在檢測準確度方面取得了不錯的效果。但是，自注意力機制無法捕捉位置信息，無法學習網絡流量中的順序關系。基于上述分析可知，目前使用的神經網絡模型檢測異常流量，存在以下問題：(1)上述文獻使用網絡流量作為RNN或者LSTM的輸入，這樣會導致模型無法編碼從后到前的信息。當在更細粒度的分類時，不能更好地獲取流量前后之間特征的關系；(2)當前主流的算法僅僅只對數據特征進行一次提取，沒有考慮對模型的特征進行二次特征提取。二次特征提取是在一次特征提取的基礎上對數據的特征進行進一步提取，或者對第一次提取的數據特征給予一定的權重系數。使用二次特征提取可以獲得更加精確的模型特征，提高檢測效率。(3)使用的數據集大多存在樣本分布不均衡的問題，即正常樣本的數量多，異常樣本的數量少，使用這樣的數據集會影響檢測效率。

針對以上存在的問題，本文提出了一種基于二次特征提取和BiLSTM-Attention的網絡流量異常檢測方法，主要創新點如下：

(1)構建了一種基于BiLSTM的特征提取模型。使用BiLSTM模型來提取網絡流量數據特征，并且在模型中加入了批量歸一化(Batch Normalization,BN)算法，在保持數據分布一致性的同時提高了網絡收斂的速度。

(2)設計了一種基于注意力機制的特征重要性權重評估規則。考慮到直接使用B-iLSTM生成的特征向量進行流量異常檢測，不能給予數據的一些重要特征更高的關注度，檢測的效率會大大降低。因此，本文通過使用注意力機制，并且依據特征重要性大小對BiLSTM生成的特征向量給予相應的權重，完成數據的二次特征提取，最后對網絡流量異常進行有效檢測和分類。

(3)提出了一種面向不均衡數據的網絡流量異常檢測方法。利用“先總分后細分”的設計思想構建網絡流量異常檢測模型，通過先將異常網絡流量作為一個整體，優先檢測出正常網絡流量，再進一步細分檢測出剩余的不同異常類型的網絡流量，從而實現多分類網絡流量的異常檢測。

2 相關技術

本節主要介紹所提出基于二次特征提取和BiLSTM-Attention的網絡流量異常檢測的相關技術，主要有兩部分：雙向長短期記憶網絡和注意力機制。

2.1 雙向長短期記憶網絡(BiLSTM)

1個LSTM包括3個門：遺忘門、輸入門和輸出門。遺忘門用于消除多余的信息，輸入門用于保持輸入信息，輸出門接收來自前一時刻的遺忘門和輸出門的信息，對其進行過濾，然后將其轉發給下一個LSTM單元。具體計算為

其中，ft代表遺忘門，it代表輸入門，和Ct分別代表當前的輸入和單元狀態，σ是sigmoid函數，Wf,Wi,Wo,Wc分別代表遺忘門、輸入門、輸出門和當前輸入單元狀態的權重矩陣，[ht-1,xt]表示連接的兩個向量，bf,bi,bo,bc分別代表遺忘門、輸入門、輸出門和電流輸入單元狀態的偏置項。

BiLSTM是由一個前向LSTM和一個后向LSTM組合而成的，隱藏層包含兩個具有相同輸入并連接到相同輸出的單元，其中一個處理向前的時間序列，另一個處理向后的時間序列。本文以BiLSTM為模型核心，對網絡流量數據進行高級抽象和非線性變換，分析雙向數據信息，進行更細粒度的計算[13]，完成數據特征的提取。BiLSTM結構如圖1所示。

圖1 BiLSTM結構

2.2 注意力機制

近年來，注意力機制(Attention Mechanism)被用于各個領域，用來抑制不重要的特征信息，而集中關注有效的特征信息并進行特征提取[14]。若現在要對一組輸入H={h1,h2,...,hn}使用注意力機制計算重要的內容，這里往往需要一個查詢向量q，然后通過一個打分函數計算查詢向量q和每個輸入hi之間的相關性，得出一個分數。接下來使用softmax對這些分數進行歸一化，歸一化后的結果便是查詢向量q在各個輸入hi上的注意力分布A=[a1,a2,...,an]，其中每一項數值和原始的輸入H=[h1,h2,...,hn] 一一對應。以ai為例，相關計算公式為

最后，可以根據這些注意力機制的分數，有選擇地從輸入信息中提取關鍵信息，對這些關鍵信息進行整合相加，最終的這個結果y體現了模型當前應該關注的內容

3 本文提出的方法

本文提出的方法由3個主要部分組成，其中第1個部分是預處理階段；第2部分是基于BiLSTMAttention網絡的二次特征提取模型；第3部分是異常檢測階段。該模型的整體流程圖如圖2所示。

圖2 模型流程圖

3.1 數據預處理

(1)數據清洗：由于數據是從真實的網絡環境中抓取的，所以存在無效數據的可能性非常大。本文刪除這些無效數據，以提高實驗結果的準確性。另外從原始數據中提取的特征有80多個，例如流持續時間、前向數據包總長度和后向數據包總長度等特征都是本文模型進行異常檢測的重要特征，但是特征中也存在IP地址、協議、端口號等特征，這些特征并不是所需要的，所以本文將這些不需要的特征字段刪除[15]。

(2)數值化：使用one-hot方法將符號的特征轉換成數字特征。

(3)歸一化：對數值進行縮放，使得不同的特征在隨后的計算過程中具有相同的數量級，具體公式為

其中，x′是處理后的數據，x是需要處理的數據，xmax是樣本特征的最大值，xmin是樣本特征的最小值。

3.2 基于BiLSTM-Attention網絡的二次特征提取模型

為了使模型提取的特征更加準確，本文進行了二次特征提取。首先使用BiLSTM進行一次特征提取，然后使用注意力機制對BiLSTM提取的特征向量根據其特征重要性進行二次特征提取，最后將這些特征相加就可以得到更加精確的網絡流量特征。

(1)基于BiLSTM的一次特征提取模型

將預處理過的數據X={x1,x2,...,xn}送入BiLSTM模型，BiLSTM模型通過更新門信息進行一次特征提取，具體地，學習前后流量數據中存在的序列特征Ct進行模型訓練，一次特征提取使得模型學習到序列特征，具體公式已在相關技術中給出。

由于在使用BiLSTM訓練模型時，網絡中的參數不斷更新，除了輸入層的數據外(因為輸入層數據，已經通過預處理手段為每個樣本歸一化)，后面網絡每一層的輸入數據分布是一直在發生變化的，因為在訓練的時候，前面層訓練參數的更新將導致后面層輸入數據分布的變化，神經網絡中的數據分布各不相同。為了解決此問題，本文引入了BN算法，在激活函數對前一層輸入數據進行非線性變換之后進行歸一化處理，保證了神經網絡在輸入數據分布上的一致性，有效減少了網絡內部節點分布變化所帶來的影響。BN算法可以加快網絡收斂的速度，保持神經網絡的表示能力[16]。BN算法步驟主要分為4步：

(a)激活。來自前一層的激活作為輸入傳遞給Batch Norm。數據中的每個特征都有一個激活向量。

(b)計算均值和方差。每個激活向量分別計算mini-batch中所有值的均值和方差。

(c)規范化。使用相應的均值和方差計算每個激活特征向量的歸一化值。

(d)尺度變換和偏移，由于歸一化后的i′n基本會被限制在正態分布下，因此網絡的表達能力下降。為解決該問題，引入兩個新的參數：α,β。α,β是在訓練時網絡自己學習得到的。

其中，B={i1,i2,...,im}表示batch中的激活值，in表示歸一化前的值，i′n表示歸一化后的值，μβ表示均值，表示方差，ε表示為了避免除數為0時所使用的微小正數，yn表示批量歸一化變換后的值。

(2)基于注意力機制的二次特征提取模型

由于每種網絡流量數據之間的某些特征可能會相同，但是這些特征對檢測出該種流量數據的幫助卻是不一樣的，如果模型不能對這些特征區別對待，那么模型就會產生誤報，檢測的準確度就會降低，從而影響異常檢測的效果。因此，本文提出基于注意力機制的特征重要性權重評估規則實現數據的二次特征提取，通過對網絡流量的特征給予不同的權重值，可以使模型更加關注流量數據的重要特征，對流量數據的次要特征給予較低的關注度，從而在異常檢測時能夠提高檢測效率。二次特征提取的目的是通過注意力機制將一次特征提取的特征Ct通過特征重要性進行賦值，使得模型更加關注對異常流量檢測更重要的特征，是在一次特征提取基礎上，給特征進行重要性賦值，最后將經過特征重要性權重評估后的特征相加，即得到二次特征提取的特征S。特征重要性評估規則定義如下：

首先，計算網絡流量數據和特征向量之間的相關系數值，即計算每個特征的權重值，權重值越大，說明該特征對檢測出這種網絡流量數據的效果越好，然后將這些特征相加就可以得到經過特征重要性評估后的特征向量；在進行異常檢測時，本文通過利用特征重要性評估規則，對權重值越高的特征向量，給予更高的關注度，對于權重值越小的特征向量，給予較低的關注度，有效地解決了網絡流量數據特征之間相似性而產生較高的誤報率，在一定程度上提高了檢測準確度。

計算過程可以分為2步：

(a) 計算一次特征提取到的特征向量Ct和流量前后數據uw之間的相關重要性，接著使用softmax函數對這些分數進行歸一化，得到一次特征提取的向量與數據之間的重要性權重系數at

(2) 將這些特征相加就可以得到經過特征重要性權重評估后的重要特征，即得到二次特征提取的特征S。

3.3 面向不均衡數據網絡流量的異常檢測

針對異常流量樣本存在數據不均衡的問題，本文提出了一種“先總分后細分”的設計思想構建網絡流量異常檢測模型。通過先將異常網絡流量作為一個整體，優先檢測出正常網絡流量，再進一步細分檢測出剩余的不同異常類型的網絡流量，從而實現多分類網絡流量的異常檢測。這樣可以使得數據集處于一個相對平衡的狀態，不會對異常檢測效果產生較大的影響。所提出的異常檢測方法的第1層執行二分類，以將正常流量與異常流量分開。第2層執行多分類，對異常流量進行進一步檢測，最終可以得到不同的異常流量類型。異常檢測框架如圖3所示。

圖3 面向不均衡數據的網絡流量異常檢測框架圖

最后在進行異常檢測時，本文通過使用式(19)對經過重要性加權和得到的重要特征S進行分類，檢測出正常和異常流量。最后再使用基于BiLSTMAttention的網絡流量異常檢測模型對異常流量進行更加精確的檢測，檢測異常流量種類。Wh,bh表示可訓練的參數。

4 實驗與結果分析

4.1 實驗環境及評估指標

4.1.1 實驗環境

在實驗中，Tensorflow框架被用來建立基于BAM的模型來檢測網絡流量異常，Py-charm被用作集成開發環境，CICIDS2017數據集被用作實驗數據集，Tensorflow框架簡化了神經網絡的構建，支持CPU和GPU環境。本文實驗環境是CPU為Intel(R) Core(TM) i7-10700 CPU @ 2.90 GHz, RAM為16 GB。

實驗中涉及的參數如下：本文提出的方法所使用的單次訓練樣本數batch-size為128，訓練輪數epochs為50，學習率為0.0001，采用的是Adam-Optimizer優化器，均方誤差來計算訓練過程的成本。本文使用2層BiLS-TM層，每層節點為256個。使用80%數據集作為訓練集，20%作為測試集。

4.1.2 評估指標

評價指標是混淆矩陣[17]，它被用來表示所提出的檢測和分類方法的性能。如表1所示，混淆矩陣包含有關分類器完成的實際和預測分類的信息。在混淆矩陣中，TP代表實際正常并被分類器預測為正常的樣本數，FN代表實際正常并被分類器分類為異常的樣本數，FP代表實際異常并被分類器分類為正常的樣本數，TN實際異常并被分類器分類為異常的樣本數量。在網絡流量異常檢測中，通常采用4種指標來評估模型的性能：準確度(Accuracy,Acc)、精確率(Precision, Pre)、召回率(Recall,Rec)、F1值(F1-Score, F1)。

表1 混淆矩陣

4.2 數據集

本文使用CICIDS2017數據集，這是加拿大網絡安全研究所在2017年發現的入侵檢測和防御數據集。Sharafaldin等人[18]設計了一個真實的攻擊場景，通過設計攻擊網絡和受害者網絡來收集流量數據。該數據集結構如表2所示。其中，Benign表示正常流量，其余流量類型表示異常流量。從表2可以看出，在二分類實驗中，正常流量和異常流量的占比是6:4，數據集處于相對平衡的狀態，直接進行異常檢測不會對檢測效果造成很大的影響。而在多分類實驗中，Dos Slow-http, Dos Slowloris,SSH Patator, FTPPatator, Web Attack, BotNet 6種異常流量占比幾乎為零，數據集存在嚴重分布不均衡的問題。使用本文所提出的面向不均衡數據的網絡流量異常檢測模型之后，DosSlow-http,Dos Slowloris, SSH Patator, FTP Patator, WebAttack, BotNet 6種異常流量占比分別為2%, 2%,1%, 2%, 1%, 0.5%，相比較直接進行多分類實驗時，這6種異常流量的占比提升了3倍，在一定程度上解決了數據分布不均衡的問題。

表2 CICIDS2017數據集

4.3 實驗結果分析

為了驗證本文所提出的方法的有效性，首先進行了消融實驗，即進行了有無注意力機制對實驗帶來的影響，然后使用二分類實驗將檢測出正常網絡流量數據和異常網絡流量數據，最后使用多分類實驗檢測出異常數據類型。同時設置了通過比較本文所提出的方法與LSTM, BiLSTM, LSTM-autoencoder[10], CNN-LSTM[11], 自適應提升算法(Adaptive boosting, Adaboost)[19], 多層感知器(MultiLayer Perceptron, MLP)[19], AMF-LSTM[20]等算法作為對比。

4.3.1 有無注意力機制前后對比

為了驗證注意力機制對模型性能的影響，本文進行了有無注意力機制的消融實驗，實驗結果如表3所示。

表3 注意力機制對實驗結果(%)的影響

從表3可以看出，引入注意力機制后，該模型的準確性、精確率、召回率分別提高了1.35%, 1.5%和1.21%，說明了注意力機制對整體模型有著較為重要的貢獻。注意力機制可以讓模型更加關注對檢測和分類更加重要的特征，例如，對Dos GlodenEye這種異常流量而言，后向數據包長度標準差、流到達時間最小值、前向流到達時間最小值、流到達時間平均值是用來檢測的最佳特征[18]，注意力機制給予它們不同的關注度，可以提高檢測準確度。

4.3.2 異常檢測結果

在二分類實驗中，此模型檢測出了68，493個正常樣本，43 507個異常樣本。接下來進行多分類實驗，將這43 507個異常樣本分類出具體異常類型。具體實驗結果如圖4所示，本文提出的網絡流量異常檢測模型的準確度達到了99.88%，精確率為99.93%，召回率為99.83%，F1-Score為0.998 8，性能都優于對比模型。由于本文進行了兩次特征提取，可以獲得更加重要的分類特征，是使得模型效率高的重要原因。

圖4 多分類場景不同模型檢測性能

接下來驗證本文提出的“先總分后細分”的設計思想進行網絡流量異常檢測的方法，和未使用面向不均衡數據的網絡流量異常檢測模型的方法進行對比。圖5-圖7分別表示了10種異常數據在精確率、召回率、F1值3項指標上的結果。從圖5-圖7可以看出，本文所提出的“先總分后細分” 的設計思想進行網絡流量異常檢測的方法，在精確率、召回率、F1值都要優于直接進行“細分”的檢測方法。此外從圖5-圖7還可以看出，本文提出的網絡流量異常檢測模型檢測DosSlowhttp, Dos Slowloris,SSH Patator, FTPPatator,Web Attack, BotNet 6種異常流量時，得到的精確率、召回率值、F1值要遠高于未使用本文模型的方法。這是因為這6種異常流量在數據集中的占比十分稀少，如果直接對這些流量進行檢測就會導致模型對大樣本檢測效率高而對小樣本檢測效率低的情況。

圖5 精確率指標上的比較

圖6 召回率指標上的比較

圖7 F1值指標上的比較

綜上，本文提出的“先總分后細分”的設計思想進行網絡流量異常檢測的方法，先二分類方法將流量數據檢測出正常和異常，再使用多分類的方法細分出異常流量類型，有效避免了異常數據分布不均衡而導致檢測效果差的問題。因此，本文提出的方法對于異常檢測具有重要的意義。

4.3.3 驗證泛化能力

為了檢驗模型的泛化性能，本文采用CICIDS2017的多個子數據集作為測試數據集，分別為P1～P6，并且和LSTM模型進行了比較，如表4所示。

表4 不同子數據集在準確度、精確率、召回率和F1 值指標上的比較(%)

從表4可以看出，本文模型準確度的均值為99.52%，精確率的均值為99.51%，召回率的均值為98.98%，F1值的均值為99.24%，與 LSTM相比，本文所提模型的性能要好很多，因而具有更好的泛化能力。由于本文使用BiLSTM模型來提取流量數據之間的特征關系，而不是僅僅學習單個流量本身的特征，利用數據之間的特征關系進行網絡流量異常檢測，可以提高模型的表征能力。表征能力和泛化能力是呈正相關的，模型的表征能力越好，說明提取的特征向量更加精確，在不同的數據子集上進行異常檢測時，模型的檢測效率會大大提高，泛化能力也因此提升。

4.3.4 模型開銷時間分析

為了評估本文所提出的模型的綜合性能，本文在測試集上進行模型的開銷成本測量實驗。實驗結果如圖8所示。

圖8 開銷時間的比較

實驗結果表明，本文所提出的模型相比于單獨使用BiLSTM和單獨使用注意力機制的方法增加了開銷時間。這是因為BiLSTM模型分析了數據的雙向信息，并且為了獲得更加精確的數據特征，注意力機制計算了特征重要性，這在一定程度上增加了模型的開銷時間，但是本文所提出的異常檢測方法的準確度相比較更高。綜上，本文所提出的網絡流量異常檢測方法具有可行性。

5 總結與展望

本文為了對網絡異常流量進行檢測, 提出了一種基于二次特征提取和BiLSTM-Attention的網絡流量異常檢測方法。該方法對網絡流量數據進行了二次特征提取，獲得了更加精確的流量數據特征，并且提出了一種面向不均衡數據的網絡流量異常檢測方法，解決數據集分布不均衡的問題；與LSTM,BiLSTM和傳統機器學習算法相比，采用本文的方法提取的流量特征具有更高的準確性，有效提高了異常檢測模型在多分類場景下的檢測準確度、精確率、召回率和F1值以及DosSlowhttp, Dos Slowloris, SSHPatator, FTP Patator, Web Attack, Bot-Net 6種小樣本流量的檢測效率。

此外，本文提出的面向不均衡數據的網絡流量異常檢測模型中，在進行二分類流量異常檢測時，將流量數據分為正常和異常，并未考慮有無“假正常”和“假異常”的情況，即模型是否把異常的數據檢測為正常或者把正常的數據檢測為異常的情況。因此，在下一步的工作中，將考慮對這部分的流量進一步檢測，檢測出存在有“假正常”和“假異常”的情況。最后，由于本文只用了一種數據集，異常流量類型有限，在下一步的科研進展中，準備使用不同的數據集例如KDDCUP99, UNSWNB15等進行測試來驗證所提出的模型。