基于CNN和SVM的報文入侵檢測方法①

徐雪麗,段 娟,肖創柏,張 斌

(北京工業大學 信息學部,北京 100124)

1 引言

面對互聯網帶來的便利,人們對網絡的依賴程度愈來愈高,互聯網技術正在逐步改變人們的生活、工作和學習方式.作為一種信息傳遞的載體,顯然網絡已經是人們現實生活中必不可少的組成部分.然而,我們也面臨著越來越多的網絡安全威脅問題,新型特征的網絡攻擊不斷出現,因此,網絡異常檢測已經成為當前互聯網安全問題中一個亟待解決的問題[1].常用的異常檢測方法,例如防火墻技術和身份驗證機制等,因其防護能力較弱,也僅能夠滿足最基礎的防護需求.一旦遭到黑客的破壞性攻擊,普通的防護技術基本不起作用[2],個人、公司甚至是國家的信息數據將面臨著泄露等致命的危險.近些年,國內外學者對網絡流量異常檢測的研究也日益增多,并且他們的研究方法已經取得了不錯的效果,網絡異常檢測方法也已經成為安全領域一項重要的研究[3,4],此類系統的目的是識別已經發生或者正在進行的入侵行為[5].

網絡異常檢測本質上可以歸類為網絡數據報文的分類問題,即正常網絡數據報文和異常網絡數據報文.現有的主流文本分類有兩種類型:傳統的機器學習分類算法和深度學習分類算法.前者分類算法主要有K最近鄰算法[6],Boosting 算法[7],支持向量機[8],K 均值聚類算法[9],樸素貝葉斯模型[10],決策樹模型[11]等.大多數傳統的機器學習算法屬于淺層學習,不適合超大批量的高維學習的預測要求,并不能很好的解決現實網絡環境中存在著的復雜入侵數據分類問題,因此識別數據報文的準確度較低,誤報率較高[5].相反,深度學習算法能夠應對高維度特征的復雜數據,與其它機器學習方法相比,采用基于深度學習的分類方法能夠從網絡數據中提取更好的特征,以創建較好的模型,在入侵檢測方面顯著提高了分類的準確性[12].事實證明基于深度神經網絡的研究方法在異常檢測分類問題上較傳統機器學習方法有較高的準確率和較低的誤報率.深度學習算法的優勢在于它并不依賴于特征工程,并能夠智能有效的識別入侵行為的異常特征[13].目前,深度學習在這一應用的分類算法主要有:循環神經網絡(Recurrent Neural Network,RNN)[14],深度神經網絡(Deep Neural Network,DNN)[15],卷積神經網絡(Convolutional Neural Networks,CNN)[16].卷積神經網絡(CNN)由于其學習高維數據特征的能力顯著,因此得到廣泛應用.

2 相關工作

目前,針對入侵檢測問題的方法已有大量的國內外學者開展了相關方面的研究,近些年,隨著機器學習算法愈來愈受到科研人員的重視,眾多方法被運用于網絡流量入侵異常檢測領域,相對于傳統的檢測機制檢測效果有了很大的提升,是當前公認的有效算法之一.

在無監督學習方面,Wang Q[17]提出了一種新型的異常檢測聚類方法FCC,該方法引入了模糊連通性的概念用來計算不同數據類別的實例之間的相似性,算法不僅可以檢測已確定的入侵類型特征,還可以檢測它們的變體.Zhang J 等[18]將機器學習中的隨機森林算法RF 運用于網絡入侵監測系統上,檢測網絡傳輸流量中的異常值,并對隨機森林的離群值檢測算法進行了修改,降低了算法的計算復雜度,提高了性能.但是該算法表明隨著網絡攻擊數量的逐步增加,其性能表現出下降趨勢.Wang ZH 等[19]將基于粒子群的模糊C 均值的算法模型FCM 運用到入侵檢測監控系統上,并能夠讓系統檢測出未標識的原始網絡流量數據.該方法能夠克服普通入侵異常監測系統較易陷于局部最優問題的缺點和不足.使得檢測的準確率有所提升并且該方法也擴大了適用性.但該算法的需要耗費較長的時間,增加了時間成本,不能保證系統的實時性.

在有監督學習方面,Kim J 等[20]將循環神經網絡算法模型RNN-IDS 應用到入侵檢測中,該模型將深度神經網絡技術和ReLU 修正線性單元激活函數相結合,通過與隨機森林、支持向量機等一些常用的機器學習算法完成了對比實驗,驗證了該方法在二分類以及多分類中具有較好的檢測效果.Dong B 等[21]歸納了普通的機器學習算法在入侵異常檢測領域中的效果,并給出了與深度學習的方法運用于入侵檢測問題上的對比實驗,發現深度學習算法模型在準確率和誤報率指標上表現的更好,得出了深度學習技術改變了網絡面臨著的安全評估挑戰的結論.Kwon D 等[22]建立了淺層CNN,中層CNN,深層CNN 等3 種用于異常檢測問題的卷積神經網絡模型,并對不同深度所帶來的影響作出了評價.3 個模型在與傳統的機器學習分類器的比較上具有較高的檢測精度,但是這些模型在平衡和非平衡數據集的檢測精度方面具有差異.Roy SS 等[23]提出了一種運用深度神經網絡的入侵異常檢測的算法模型,并與支持向量機(SVM)方法在該領域種的應用做了實驗比對,其結論表明與SVM 用于網絡入侵系統的效果相當,驗證了深度神經網絡作為入侵攻擊分類器的潛在能力.Yin CL 等在文獻[5]提出了一種基于循環神經網絡的用于入侵異常監測(RNN-IDS)深度學習算法模型.并研究了該模型在二元分類和多元分類中的性能,以及所神經元包含的數量和多個不相同的學習速率對訓練模型性能產生的影響,表明了RNN-IDS 優于傳統機器學習算法,更適合于對分類模型的建模.但是該模型采用的循環神經網絡存在著潛在的梯度消失和爆炸的風險.

當前,基于深度學習的流量異常檢測技術雖然得到眾多國內外研究者的青睞,并表現出來不錯的檢測效果,但是還有很多待改進的空間,目前還面臨著以下問題:(1)保證檢測模型較高的準確率和較低的誤報率一直以來都是國內外學者研究的重點,現有的異常檢測系統的大多數模型的準確率還有待進一步提高;(2)大多數異常檢測算法模型能夠很好的識別訓練數據,然而在測試數據上顯現出效果不佳的問題,普遍存在著模型過擬合的情況;(3)異常檢測系統是實時在線監控數據的系統,網絡數據傳輸量巨大,保障檢測的實時性是目前在線監測系統需解決的關鍵性問題,由于很多深度學習的模型復雜參數過多,導致訓練難度加大,模型的訓練速度變慢的問題,不能很好的保證實時性,因此,提高訓練速度至關重要;(4)在大數據時代下,計算機技術在持續發展,網絡環境也在不停地產生著改變,對異常檢測算法模型的適用性也會具有更高的要求.

本文針對以上存在的問題提出了一種基于卷積神經網絡和支持向量機的網絡流量入侵檢測方法,考慮到為了適于卷積神經網絡對數據格式的要求,本研究將每條網絡數據報文處理成一個二維矩陣形式.為了防止大多數網絡模型存在的過擬合現象,本文采用permutation 將數據索引隨機化,然后將二維數據輸入到卷積神經網絡中,從中學習數據的有效特征.并運用支持向量機分類器做分類處理.最后,通過與本文所采用的數據集上其他兩個主流模型對比,驗證了本模型有較高的準確率,更適合處理網絡異常檢測問題.

3 基于CNN 和SVM 的報文入侵檢測方法

3.1 數據預處理

本文運用Google TensorFlow[23]來實現卷積神經網絡對數據模型的訓練,本文模型包含了提出的模型和需要對比的兩種模型.在數據集的選擇上,本文使用2013年京都大學蜜罐系統的網絡流量數據集[24].它包含24 個統計特征,即來自1999年KDD CUP 數據集的14 個特征[25],以及10 個附加特征.在此基礎之上,為了適于本文所提出的算法模型CNN-SVM,通過以下步驟對數據集進行了處理:(1)數據處理,為了與已有的模型作實驗對比以及適應本文算法模型,本文在原有數據集的基礎上對特征進行了補充,但并不對原有數據集產生影響,然后將數據集中的每條數據處理成一個5×5 的二維矩陣;(2)標簽處理,將原有數據集標簽0 處理成[1,-1],標簽1 處理成[-1,1];(3)數據打亂,由于數據集固定順序,會限制梯度優化方向的可選擇性,導致收斂點選擇空間變少,以至于造成模型的過擬合.為了防止訓練模型過擬合,在數據訓練之前,對數據集的順序做隨機改變,從而打亂數據的順序.為了不改變原數據集的順序,該處理方式選用permutation函數來完成.

3.2 CNN-SVM 模型架構

隨著愈來愈多的學者深入到深度學習知識層面,推動著深度學習廣泛應用與各個領域.其中,卷積神經網絡也是深度學習領域的一種非常突出的訓練模型的方法,在圖像識別、圖像處理、人臉識別、音頻檢索、EGG 分析等應用[26]中獲得了非常不錯的效果.Agarap 等[27]提出了一種GRU-SVM 模型,并將其應用到入侵檢測分類問題中,取得了較好的效果,受到該論文的啟發,本文提出了一種CNN-SVM 處理模型,利用卷積神經網絡訓練數據,并將卷積神經網絡的輸出作為SVM 的輸入,模型架構如圖1所示.

3.3 CNN-SVM 算法原理

為適應本文CNN-SVM 模型結構,將數據集進行了預處理,已經在數據預處理部分進行了介紹,下面將會對本文算法過程進行詳細介紹,主要分為兩大部分:卷積神經網絡的處理和支持向量機的處理.

在卷積神經網絡中,卷積核是最為核心的一個部分,卷積核設計的好壞關系到數據特征提取效果的優劣,它是一個需要特殊設計的帶權值矩陣,卷積核將輸入數據對應部分作加權和,通過激活函數的處理產生輸出矩陣.為了讓模型學習到更多有效的特征,并且盡可能的減少時間消耗,本文模型采用兩個卷積層,同時考慮到本文從數據中提取到的特征數量,所以本文模型中第一個卷積層采用32 個卷積核,每個卷積核設計為一個4×4 的二維矩陣.第二個卷積層采用16 個卷積核,卷積核的大小是2×2,這樣經過預處理后的輸入數據,再經過兩個卷積層的卷積處理,有效的采集了數據的局部特征,這些特征會按一定形式組合在一起,并以此作為卷積層部分的輸出,每經過一個卷積層的處理都會跟隨一個用于特征處理的池化層,進一步對數據進行提取,本文使用的兩個池化層卷積核大小均為2×2.在經過卷積層和池化層的兩次處理后,利用全連接層對數據進行處理.另一方面,考慮到ReLU激活函數具有較好的性能,收斂速度快,減小了梯度消失的可能性,另一個優點是ReLU激活函數可以將負值輸入轉換成零,如式(1)所示,其中x表示輸入信號,因此小于零區域的輸入不會將神經元激活,從而稀疏了網絡結構,使得計算效率較高,同時在結合本文模型實驗過程中,表現出了很好的性能,因而使用ReLU作為了本文的激活函數.本文模型的CNN 模型結構參數如表1所示.

圖1 CNN-SVM 模型結構圖

表1 CNN 模型結構參數

深度學習是一個對輸入數據不斷迭代學習,不斷優化的過程,數據在經過CNN 模型處理后,需要進行反向傳播以便更新權重,從而達到更好的分類效果.因為網絡異常檢測屬于典型的二分類問題,同時支持向量機本質上就是為解決二分類問題而設計的,所以本文采用了支持向量機(SVM)算法計算鉸鏈損失(hinge loss),然后使用Adam 優化函數來改變梯度.支持向量機通過一定的映射準則把非線性的低維空間中的數據樣本映射到高維空間,在高維空間中構造一個最優的超平面w·x+b=0 ,其中w為該超平面的法向量,b為偏值.對于卷積層和全連接層處理后的輸出,使用支持向量機能更好的將其劃分為兩類.

由于L2-SVM 算法相比于L1-SVM 具有更穩定的性能,因此本文采用了L2-SVM 算法,其在一定程度上也降低了過擬合的風險,數學表達式如式(2)所示.

其中,y′是 實際標簽值,w為該超平面的法向量,b為偏值,n是每批次處理的數據量.通過設置適合于本文模型的懲罰參數C,使用L2-SVM 計算出鉸鏈損失,最后利用計算出的鉸鏈損失以及設置合理的學習率,使用Adam 優化函數來優化網絡參數,這樣便達到了更好的訓練效果.

總的來說,本文模型根據網絡異常檢測的特點,使用卷積神經網絡學習輸入數據的有效特征,最后使用L2-SVM 算法計算出鉸鏈損失,從而根據損失來優化網絡參數,得到了更好的分類效果.

4 實驗結果與分析

為了驗證本文模型CNN-SVM 的檢測效果,實驗在8 GB 內存、Intel(R)Core(TM)i5-4590 CPU2@3.30 GHz的計算機上進行.本文包含3 個實驗,分別是本文模型CNN-SVM、傳統的入侵檢測模型GRU-Softmax 和Agarap 等[27]提出的GRU-SVM 模型,實驗將本文模型與其它兩個模型在多方面進行了詳細對比.

4.1 評價指標

為了更好的與另外兩個模型進行實驗對比,在評價指標中使用了混淆矩陣,該評價矩陣是2×2 的情況分析表,它非常適宜于對二分類運用情況的評價,以矩陣形式匯總數據集中的真實值的類別和預測值的類別,然后根據此矩陣進行判斷,模型評估的混淆矩陣如表2所示,橫向是預測的值,縱向是真實的值.其中,TP代表著真實值屬于正類,預測值屬于正類的數量;TN代表著真實值屬于負類,預測值屬于負類的數量;FP代表著真實值屬于負類,預測值屬于正類的數量;FN代表著真實值屬于正類,預測值屬于負類的數量.

表2 模型評估的混淆矩陣

結合混淆矩陣,本文對真陽性率、真陰性率、假陽性率以及假陰性率進行實驗了對比,其中,式(3)至式(6)表示的是實驗結果中的真陽性率,真陰性率,假陽性率和假陰性率的計算方法,名詞含義如表3所示.

另外,本文實驗在準確率、召回率、精準率以及誤報率4 個方面進行了對比,各性能指標的公式如式(7)至式(10)所示,各個公式的釋義如表4所示.

表3 名詞含義

表4 名詞釋義

4.2 實驗結果

為了更加真實、可靠的進行網絡模型訓練,實驗采用權威數據集—京都大學蜜罐系統的網絡流量數據[24]進行實驗,其中,用于訓練模型的數據集和用于測試的數據集的具體分布情況如表5所示.

表5 訓練數據集和測試數據集的類別分布情況(單位:條)

在進行實驗過程中,會使用到較多預先設定的超參數,CNN-SVM、GRU-Softmax 和GRU-SVM 這3 種網絡算法模型所采用的超參數如表6所示,其中,超參數分別是Batch_Size (每批處理的數據條數)、EPOCHS(訓練的輪次數)、LEARNING_RATE (學習率)、CELL_SIZE (隱藏單元的個數)、NUM_CLASS (類別數量)、KEEP_PROB (元素被保留的概率)、SVM_C (懲罰參數).

通過實驗,模型CNN-SVM、GRU-Softmax 和GRU-SVM 測試后TP、TN、FP、FN統計情況分布如表7所示.

通過計算CNN-SVM、GRU-Softmax 和GRUSVM 等3 種網絡模型的測試性能:真陽性率、真陰性率、假陽性率、假陰性率如表8所示.實驗表明,本文模型CNN-SVM 通過上述4 個方面參數比較,誤判率較低,其性能都優于另外兩個模型,從而提高了網絡異常檢測的準確率.

表6 3 種模型實驗超參數設置

表7 3 種模型測試的TP、TN、FP、FN數量分布

表8 3 種模型測試性能

另外,實驗對CNN-SVM、GRU-Softmax 和GRUSVM 等3 種網絡模型測試數據的準確率、召回率、精準率以及誤報率進行了統計,結果如表9所示.實驗統計表明,雖然GRU-SVM 的性能相比于GRU-Softmax有較大的提升,但本文模型相較于GRU-SVM 模型有更大的提升,從而證明了本文模型的可行性.

表9 3 種模型在測試集中表現的評價指標的統計數據

3種模型的訓練時間如表10所示,其中本文模型CNN-SVM 的訓練和測試時間都優于其它兩個模型.3 種模型的在訓練數據集中的準確率和測試數據集中的準確率如圖2和圖3所示,從示意圖中能夠看出,本文模型在訓練數據以及測試數據上準確率都高于其它兩種模型.

表10 3 種模型所用的訓練時間統計(單位:s)

圖2 3 種模型在訓練數據集中的準確率對比

圖3 3 種模型在測試數據集中的準確率對比

3種模型訓練時的損失變化曲線如圖4、圖5和圖6所示.

從圖4～圖6可以發現,GRU-Softmax 模型損失變化波動幅度較大,相比之下CNN-SVM 模型和GRUSVM 模型損失曲線相對平緩,但從曲線變化趨勢可以看出CNN-SVM 要優于GRU-SVM 模型,因而可以看出本研究所提出的模型在收斂性方面表現最好.

圖4 CNN-SVM 模型訓練的損失變化曲線

圖5 GRU-SVM 模型訓練的損失變化曲線

圖6 GRU-Softmax 模型訓練的損失變化曲線

5 總結與展望

本文提出了一種新型的網絡入侵異常檢測方法模型CNN-SVM,該模型首先利用卷積神經網絡對數據進行處理,通過多個卷積層和池化層,學習訓練數據中的有效特征,然后將卷積神經網絡的輸出作為支持向量機(SVM)的輸入.通過與傳統模型GRU-Softmax 和新模型GRU-SVM 進行實驗對比,本文模型在準確率上分別提高了19.39%和12.83%,同時誤報率較低,本文模型也大大降低了訓練時間和測試時間,從而驗證了本文模型在網絡異常檢測中具有更好的檢測效果.但是,本文模型CNN-SVM 僅在當前數據集上驗證了模型的檢測效果,下一步將會把本文模型應用到多種數據集上,并繼續優化模型,進一步提高檢測效果.