基于設備行為的異常流量檢測

辛昊光，蘇思達，王田原，馬 垚，陳永樂

(太原理工大學 信息與計算機學院，山西 晉中 030600)

0 引 言

異常流量檢測技術通過將入侵檢測系統部署在主干網絡或多個重要網絡節點內，收集設備通信流量并對流量內容進行分析實現惡意流量檢測。網絡中異常行為造成流量特征變化，入侵檢測系統依據不同類型流量特征進行異常檢測。特征來源為原始數據流或流量統計特征，然而原始數據流包含大量與流量分類無關的信息，降低識別準確率，流量統計特征需要大量人力消耗，降低識別效率。

物聯網中設備具有重復性網絡流量模式，設備通常在多次實現自身功能時會體現出這一重復性網絡流量模式，例如：為了記錄日志，每隔一定時長發送數據包進行網絡ping操作[1]。而異常流量，例如SYN-flood攻擊，通過在短時間內向目標設備發送大量SYN數據包達到長時間占用設備端口資源的目的。設備在實現自身功能時，其發送的數據包內容、數量、速率、傳輸數據使用的協議往往具有固定模式，即設備行為模式。利用設備正常運行產生的流量特征與異常流量特征間差異性，進而實現異常流量檢測。

本文提出了一種基于設備行為的異常流量檢測方法，將設備流量統計特征、應用層網絡協議以及應用層協議數據包內容特征定義為設備行為特征，建立LSTM-CNN深度神經網絡模型提取出有效的深層時間與空間特征，進而通過SoftMax函數得到正?；虍惓５母怕史植疾⒆罱K實現異常流量檢測。

1 相關工作

物聯網設備是信息產生的源頭以及數據傳遞的重要一環，相比于傳統計算機，由于其有限的內存和計算能力，更容易成為黑客攻擊的主要目標。傳統入侵檢測方法分為兩種，基于異常檢測和基于誤用檢測，前者收集正常用戶行為信息并建立正常流量行為模式，當網絡中出現偏離于正常行為的信息時，且偏離程度大于某一閾值時可確定為出現異常流量，后者將已知攻擊特征建立特征庫，當網絡中出現與特征庫中特征相似的流量特征，則表明該流量為異常流量。

網絡技術的進步導致通信流量復雜度不斷增加，動態端口以及有效載荷加密等技術的發展使得傳統的異常流量檢測方法難以滿足當下需求[2]。當網絡環境中出現大量數據流時，基于流量的異常檢測技術可能出現不針對全部流量進行檢測的情況下丟棄大量數據包的情況[3]。傳統的機器學習方法SVM[4,5]被廣泛用于流量檢測領域，入侵檢測系統需要依靠大量特征來訓練模型，隨機森林[6]能夠較好應用于大型數據集。

目前學術界關于異常流量檢測領域研究集中于經典機器學習方法的應用，Wang等[7]將流量原始數據轉化為二維圖像數據并利用CNN實現惡意流量探測。Zhang等[8]將HTTP請求字符嵌入至向量內，通過CNN模型提取特征實現網絡攻擊檢測。深度學習具有較強的特征提取能力，能夠建造性能良好的模型，Yin等[9]設計了一種雙向遞歸神經網絡(recurrent neural network，RNN)模型，前向傳播計算輸出值，后向傳播負責更新權值。Sagheer等[10]實現了一種基于LSTM的自編碼器，并在無監督條件下對網絡模型進行訓練。Park等[11]通過一種由改進的CNN構成的自動編碼器進行字符級的二進制轉換，實現了針對HTTP的異常檢測。

CNN和LSTM的組合模型同樣被應用到流量分類方法中。然而從網絡流量提取出的高維特征矢量使得傳統機器學習模型難以滿足需求，CNN能夠很好地處理高維特征向量從而被廣泛應用于圖像識別。LSTM以及CNN的組合應用也能夠發揮出各自的優勢，能夠良好應用于文本預測和視頻內容識別領域[12]，該文提出了一種名為CECoR-Net的字符級網絡攻擊探測神經網絡模型，將HTTP請求每一字符嵌入到矩陣中生成字符矩陣作為神經網絡模型的輸入，實現了針對已知攻擊類型和未知攻擊類型的惡意網絡流量分類，但這一方法只適用于包含了HTTP請求的流量檢測。Ryu等[13]提出了一種層次異常流量探測神經網絡，通過CNN提取單一數據流方向中由數據包特征矢量，輸入至基于注意力機制的雙向LSTM中生成具有代表性的流特征矢量，最后使用SoftMax函數實現流量分類，深度學習體系能夠自動提取出數據特征，因此該方法中沒有使用人工提取的特征，且該深度神經網絡模型包含三層卷積層以及二層池化層，需要大量時間優化調整參數。

2 方法設計

現有入侵檢測方法主要將大量人工選擇的特征或經過預處理的網絡流量輸入至神經網絡模型中進行流量分類。前者人為選擇并生成的高維特征矢量需要消耗大量人力，后者使用的原始網絡流量內往往存在無用信息，降低識別效率并對最終流量分類結果準確性造成影響。本文通過分析對比設備產生的正常流量與異常流量進行特征篩選，結合傳統流量特征以及設備產生的數據包內容生成表征設備行為的特征，并訓練深度神經網絡模型實現異常流量檢測。

2.1 方法框架

本文提出的基于設備行為的異常檢測方法框架如圖1所示，主要分為4個階段：流量數據收集、特征選擇、設備行為特征提取和異常流量識別。本文使用的數據集為ISCX2012(詳細內容見第4.1小節)。不同于目前異常流量檢測方法僅依賴大量流量統計特征，本文基于設備的正常通信種類有限，每種通信狀態都有相應的，且有著明顯差別的網絡模式與之對應這一思想，提出一種表征設備網絡模式的設備行為特征表示方法(詳細內容見本章第2小節)。特征提取階段由基于LSTM-CNN深度神經網絡模型完成。最后通過SoftMax函數得出流量類型概率分布完成異常流量檢測過程。

圖1 異常流量檢測方法框架

2.2 設備行為特征

設備在實現特定功能時表征出的行為不同，設備行為特征分為3個部分，設備通信過程產生的數據統計特征，應用層協議以及應用層協議數據包內容作為表征設備行為的特征。

與正常網絡通信流量不同，攻擊者通過在短時間內多次發送SYN數據包嘗試與目標設備建立連接并判斷設備某端口是否開啟，不同攻擊手段向設備不同端口發送探測數據包或者請求連接數據包，這些數據包包頭內容以及有效載荷差異性較大，相同時間內發送的數據包數量不同，請求持續時間不同。遭受攻擊的設備通信流量與正常設備差異較大，所表征出的設備行為不同。例如在實施探測任務中Nmap是最為常用的技術，在偵測過程中使用20組報文并且需要消耗大量時間，這一過程傳輸數據包的持續時間、個數等屬性特征與設備正常通信所傳輸的數據包存在差異。本文在現有不同類型流量特征基礎上，對比正常流量間不同特征的穩定性，以及正常和異常流量統計特征間的差異性，結合實驗結果，篩選出表1中10種特征作為表征設備行為特征的第一部分。第二部分為流量傳輸過程使用的應用層協議。數據集內包含5種應用層協議，分別為SMTP、SSH、POP3、HTTP、FTP。

表1 統計特征描述

特征第三部分提取自應用層協議數據包字段內容。我們將用戶與設備建立連接，發起請求，設備響應請求，完成數據傳輸過程斷開連接這一過程稱為完整的數據流。數據流由若干消息流組成。每一消息流包含一個或多個數據包，不同協議的包頭以及有效載荷內容不同，相同協議相同設備在實現不同功能時包頭以及有效載荷內容不同。如圖2所示，協議請求內容能夠體現出設備將要實現的功能，與設備將要產生的數據包內容、速率等特征相關聯。我們將在一次完整通信過程中，第一個應用層協議請求數據包以及響應數據包內容提取出來作為設備行為特征的第三部分。例如：圖2中HTTP協議內請求方法GET，以及Accept、Accept-Encoding、SSH協議內Protocol、SMTP內Command等字段的值能夠體現出設備的不同行為。我們提取出應用層協議數據包字段內容后進行獨熱編碼，將經過數據預處理的此部分特征輸入至LSTM中。

圖2 部分數據包信息

3 異常流量檢測模型實現

近年來，機器學習在各領域展現出良好的發展前景，神經網絡被大量應用于特征提取。深度神經網絡由多層非線性神經元構成，通過模擬生物神經鏈接方式使得信息在網絡模型中高效傳遞，在各領域得到廣泛應用，由于其擁有良好的識別能力也被用于實現各類識別功能。RNN以及卷積神經網絡往往被單獨應用于惡意流量識別領域，二者分別用于提取原始流量的時序以及空間特征，網絡流量具有長期依賴的特征，傳統的統計模型難以提取這類特征[14]。RNN中，當前時刻序列的輸出與先前時刻的輸出相關聯，使得該神經網絡將先前時刻提取的特征信息應用于計算當前時刻的輸出，但RNN在實際應用過程中難以適應具有長期依賴特征的識別情形。LSTM通過特殊的門結構實現增加或刪除信息從而解決了長期依賴的問題，LSTM是針對復雜攻擊手段和包含無用信息的真實網絡環境中進行正?；蛘弋惓Ａ髁孔R別的關鍵性技術[15]。

3.1 模型構建

本文提出的惡意流量檢測方法使用深度神經網絡模型提取流量數據的時間、空間特征。首先，將表征設備行為特征的第三部分，即獲取的應用層數據包內容提取后經過數據預處理，輸入至LSTM提取時序特征，并引入注意力機制用輸出結果來生成重要性流矢量，其能夠反映原始數據中不同數據內容的重要性。接著，將LSTM的編碼結果與經過預處理的第一、第二部分設備行為特征結合，輸入至CNN提取空間特征，CNN能夠使用提取全局信息中的局部重要信息，顯示地建立每一特征之間的動態非線性依賴關系，通過卷積核提供的特征重新校準的能力并根據惡意流量識別任務有選擇地選擇并強調特征。最后SoftMax將多個神經元的輸出映射到[0,1]得出該數據流屬于正常流量以及多種惡意流量類型的概率分布，計算交叉熵對模型進行評估。

異常流量檢測模型用于識別輸入的流量是否為惡意流量，以及惡意流量類型，分為3個部分，流量預處理部分提取出數據流包含的數據包內容以及設備行為特征值進行數字化處理，轉化為統一的神經網絡輸入形式。特征提取部分建立LSTM-CNN模型，提取輸入數據時序以及空間特征，并結合流量的統計特征生成最終用于惡意流量分類的特征空間。惡意流量分類部分利用嵌入了SoftMax函數的全連接層進行分類，最后計算交叉熵進行模型評估。模型訓練過程如圖3所示。

圖3 模型訓練

3.2 數據預處理

將表1中各特征值轉化為二進制表示，并轉化為矢量形式，記為 (BDuration,BTotalSourceBytes,…,BProtocol)。 服務協議類型轉化為數字表示，SMTP、SSH、POP3、HTTP、FTP這5種應用層協議使用數字1至5表示，并轉為二進制形式的矢量表示，記為(BService)。原始數據類型為pcap文件，提取出該數據流中第一個應用層協議請求數據包以及響應數據包，除去數據包內容中停詞，特殊符號等無用信息，將出余下字段內容采用獨熱編碼處理，并轉化為矢量形式。

3.3 特征提取

本文使用的機器學習模型由LSTM以及CNN組成。網絡流量具有長期依賴的特征，LSTM能夠很好提取此類特征并用于流量識別。LSTM是一種特殊的遞歸神經網絡，使用細胞狀態實現長期記憶，并通過增加門控制結構提升神經網絡細胞的記憶能力[16]，并以此結構判斷保留或者刪除信息到細胞狀態。

將第三部分設備行為特征經過獨熱編碼后嵌入至高維矢量，視嵌入結果為一條具有時序特征的序列，輸入至LSTM中提取上下文語義特征以及時序特征。LSTM通過遺忘門系數f減弱或刪除細胞狀態中對識別異常流量作用不大或者無用的特征。輸入門i決定了細胞狀態中需要保存的信息，利用tanh激活函數層生成臨時細胞狀態，進而，將遺忘門系數與上層細胞狀態相乘，再加上輸入門與臨時細胞狀態的乘積，以此將新特征信息加入到細胞狀態中。最后，輸出門O決定了細胞狀態的輸出部分，與經過tanh激活函數處理后的細胞狀態相乘，得到最終的輸出。運算過程如式(1)所示

(1)

式中：σ為sigmod激活函數，取值范圍[0,1]，取值為0時表示刪除該信息，取值為1時表示完全保留此信息。W為權重矩陣，ht-1為上層隱藏層輸出，xt為當前輸入，b為當前權重對應的偏移值。ft，it，Ct，Ot，ht，分別為t時刻遺忘系數、輸入、細胞狀態、輸出、隱藏層狀態。

設備數據流中的不同特征字段對最終實現異常流量檢測造成的影響不同，所以我們在LSTM編碼過程中引入注意力機制，針對不同特征設置不同權重，進而將有限的注意力資源聚集到對流量識別過程起關鍵作用的信息上，進而提高識別準確率，設備行為第三部分特征經過LSTM最終編碼結果為h，權重訓練過程如式(2)所示

α=tanh(Wth+bt)β=SoftMax(wTα)γ=HβT

(2)

式中：tanh為激活函數，Wt為權重矩陣，bt為偏移值，β為權重矢量，W為可訓練的權重矩陣，最后計算得出帶有權重系數的時序特征矢量γ。

使用連接函數concatenate(設為Ω)將LSTM編碼后的特征矢量與流量統計特征矢量以及應用層協議特征矢量結合生成新的特征矢量，計算過程如式(3)所示

V0=γΩ(BDuration,BTotalSourceBytes,…,BProtocol)Ω(BService)

(3)

將特征矢量V0輸入至CNN，CNN網絡結構共有4層，包括一個卷積層、一個池化層以及兩個全連接層，卷積層與池化層疊加特征信息的映射。卷積層通過卷積核提取出輸入數據的空間特征，與傳統神經網絡相比，卷積核能夠提取出局部數據的空間特征并減少運算量，進而減少模型訓練時間以及實現高效的流量異常檢測。利用線性整流單元LReLU激活函數處理經過卷積后的特征圖以確保提取出的特征圖數據在合理范圍內，以此避免卷積層輸出的特征數據僅為輸入數據的線性變換。將卷積層提取的特征圖輸入至池化層，降采樣處理可以減少計算量并進行歸一化，在一定程度上避免過擬合。降采樣處理選擇最大池化層(Max-Pooling)，最大池化層從特征映射中獲取最大元素，在保留重要特征信息的前提下降低卷積層輸出維度。將卷積層和池化層提取出的流量空間特征輸入至兩層全連接層結合為整體特征，并進行平坦化處理，以0.3的Dropout避免過擬合。設CNN模型的輸出為Xi。

3.4 SoftMax流量分類

SoftMax函數接收多個神經元的輸入并映射到[0,1]范圍內。將每一設備行為對應的特征矢量經過神經網絡模型進行特征提取后生成的矢量輸入至包含SoftMax函數的全連接層中進行分類，得出概率Pi，計算如式(4)所示

(4)

最后，通過計算交叉熵評估模型，其值越小說明實際值與期望值的差距越小。計算方法如式(5)，其中，p(xi) 為期望值，q(xi) 為實際輸出值

(5)

4 實驗評估

4.1 實驗數據

表2 實驗數據集

4.2 評估標準

我們通過準確率(Accuracy)，召回率(Recall)、精確度(Precise)以及F1值評估模型性能，計算方法如式(6)所示。TP表示為真陽性數量，FP為假陽性數量，FN為假陰性數量，TN為真陰性數量

(6)

4.3 實驗結果

本文設置3組對比實驗，分別利用基于注意力機制的LSTM、CNN、SVM實現惡意流量識別。并計算LSTM-CNN模型識別結果交叉熵，對模型進行迭代訓練并更新LSTM權重矩陣以及CNN參數。識別結果如圖4所示。

圖4 識別結果

由圖4(a)、圖4(b)可知，4種機器學習方法識別平均準確率以及平均召回率均可達到90%以上，由此可以驗證我們提取的設備行為特征能夠有效地應用于異常流量檢測，其中，LSTM-CNN方法識別準確率以及召回率最高，SVM次之，但訓練SVM模型需要消耗時間較長。將所有特征輸入至基于注意力機制的LSTM或CNN模型中時，只能夠提取出特征的時序或空間特征，導致識別準確率較低。

由圖5可知，SVM模型識別效果明顯高于LSTM、CNN模型，隨著召回率提升，3種模型的識別精確度下降明顯。將LSTM與CNN模型聯合使用，建立深度神經網絡模型，能夠提取設備行為時序特征以及增強特征關聯性，所以LSTM-CNN的模型分類效果最好。

圖5 識別結果P-R圖

一定范圍內，迭代次數越多模型識別效果越好，圖6顯示出了模型迭代次數與模型F1值以及交叉熵之間的關系，迭代次數在38以內時，次數越高，模型識別性能越強，38次以后，識別性能變化趨于平緩。

5 結束語

本文提出了一種基于設備行為的異常流量檢測方法，將數據流統計特征、應用層協議、數據包內容特征定義為設備行為，對采集到的設備行為數據進行數據預處理，將數據中對識別結果影響不同的特征賦予不同權重，并進行分析與深度學習，使用LSTM學習數據包內容時序特征，將時序特征與流量統計特征以及應用層協議結合，利用CNN提取空間特征，最后通過SoftMax函數得出不同類型流量的概率分布，并利用交叉熵評估模型性能。模型訓練過程在有監督條件下進行，未來工作中，我們繼續優化異常流量檢測方法，在半監督或無監督條件下實現異常流量檢測。