基于1DCNN-GRU的網絡入侵檢測混合模型

溫纖纖 柳 毅 凌 捷 羅 玉

(廣東工業大學計算機學院 廣東 廣州 510006)

0 引 言

隨著技術和互聯網服務的飛速發展,計算機網絡給人們的生活和工作帶來了極大的便利。與此同時,它們也帶來了很多安全問題,如各種類型的病毒、漏洞和攻擊[1]。網絡攻擊給網絡服務帶來了很大的風險,從社會經濟和個人的角度來看,網絡服務正變得越來越重要。如何在海量數據環境下取得較好的網絡入侵檢測效果成為亟待解決的重要問題,而應用新方法提高網絡入侵檢測技術則至關重要。

機器學習的概念最早在20世紀50年代被提出[2],隨著對機器學習的深入研究,機器學習的算法也被廣泛應用于各個領域,基于機器學習方法的網絡入侵檢測的研究也越來越深入。由一開始單一的機器學習方法,如支持向量機[3]、決策樹[4]、貝葉斯[5]等方法,再到將幾種機器學習算法結合的混合模型對網絡入侵檢測進行研究。例如Kuang等[6]提出了一種基于遺傳算法的主成分分析與支持向量機的混合入侵檢測方法。顧兆軍等[7]提出一種基于極限學習機和K鄰近算法的網絡入侵檢測模型,檢測的準確率達到了95.33%,實驗采用KDDcup99數據集,但是只選用了1 900個數據作為訓練集,1 000個數據作為測試集。將機器學習的模型用于網絡入侵檢測雖然取得了不錯的效果,但是傳統的機器學習的模型在少量樣本上才會產生比較好的分類效果,對于大量的樣本的分類結果卻不盡如人意。

隨著神經網絡的出現,深度學習的研究也越來越火熱。Ingre等[ 8 ]利用人工神經網絡做網絡入侵檢測的五分類和二分類實驗,獲得了不錯的結果。Ma等[9]提出了一種結合譜聚類(Spectral Clustering,SC)和深度神經網絡(Deep Neural Network,DNN)算法的SCDNN算法,實驗結果表明,SCDNN分類器在檢測的準確率和發現異常攻擊類型上優于BP神經網絡、支持向量機、隨機森林和貝葉斯模型。Yin等[10]提出了一種基于遞歸神經網絡(Recurrent Neural Network,RNN)的深度學習入侵檢測(Intrusion Detect ion System,IDS)方法,實驗結果表明, RNN-IDS非常適合建模分類,模型具有較高的精度,其性能優于傳統機器學習的分類方法。Kim等[11]將LSTM和RNN組合成LSTM-RNN模型,利用KDD Cup 1999數據集訓練入侵檢測系統模型,通過性能測試,驗證了該方法的有效性。Sethi等[12]提出了一種基于深度強化學習(Deep Reinforcement Learning,DRL)的自適應算法,使用UNSW-NB15數據集做實驗,對新的復雜攻擊進行準確的檢測和細粒度的分類。

基于前面的研究,為了進一步提高網絡入侵檢測模型的檢測性能,本文提出一種基于一維卷積神經網絡和門控循環單元網絡(1DCNN-GRU)的網絡入侵檢測混合模型。1DCNN-GRU混合模型是由1DCNN和GRU構建的8層網絡的一個深度學習模型,利用 1DCNN的滑動窗口和權值共享來獲取網絡流量數據序列的局部特征作為GRU層的輸入,GRU進一步提取特征數據并挖掘時序信息,最終通過全連接層分類輸出。為提高模型的魯棒性,將1DCNN的卷積方式改為膨脹卷積,并在訓練模型時通過添加高斯噪聲層、調整優化器和學習速率優化模型,從而提高模型的檢測性能。

1 相關技術研究

1.1 一維卷積神經網絡

卷積神經網絡(Convolutional Neural Network,CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡,其中:一維卷積神經網絡常用于自然語言處理領域[13];二維卷積神經網絡和三維卷積神經網絡常用于圖片識別[14]、普通話語音識別[15]、人臉識別[16]等領域。卷積神經網絡采用局部連接和權值共享的方式以減少網絡模型參數數量,這樣既降低了模型的復雜度,也使得網絡易于優化。

一維卷積神經網絡模型包含輸入層、卷積層、池化層、全連接層、輸出層[17]。

輸入層:將經過數據預處理的數據集輸入到卷積神經網絡模型中。

卷積層:卷積層中每個神經元連接數據窗都有固定的權重,將一組固定的權重和不同窗口內的數據做內積的操作稱為卷積。公式如式(1)所示。

(1)

池化層:池化層的作用是將輸入的數據進行壓縮重塑,以達到提取重要特征和特征降維的作用。公式如式(2)所示。

(2)

全連接層:全連接層中的每個神經元與其前一層的所有神經元進行全連接,將學習到的分布式特征表示映射到樣本標記空間。

輸出層:將分類結果輸出。

1.2 門控循環單元網絡

圖1 GRU網絡結構

GRU在時間t之前觀察到的所有信息的編碼:

rt=σ(wr·[ht-1,xt]+br)

(3)

zt=σ(wz·[ht-1,xt]+bz)

(4)

(5)

(6)

2 網絡入侵檢測模型研究

2.1 1DCNN-GRU混合模型

1DCNN-GRU混合模型的結構與參數配置如表1所示,其中:1DCNN為一維卷積層,MPool1D為最大一維池化層;GRU(32)為門控遞歸單元網絡層,其中32為輸出維度;Dense_1(128)為第一個全連接層,其中128為輸出維度;Dense_2(2)為第二個全連接層,Dense_2作為最后一個全連接層將預測結果分類輸出,2為輸出維度即輸出為2分類;filters為卷積核的數目;size為卷積核的時域窗大小或池化窗口大小;d為膨脹卷積的膨脹率;activation為激活函數;“—”表示沒有該參數或未設置該參數。

表1 1DCNN-GRU混合模型結構與參數

卷積層的膨脹率設為2,將卷積層卷積方式改為膨脹卷積。膨脹卷積是標準卷積的一種改進形式,CNN在處理數據時通過多次卷積和池化操作增大模型的感受野,而膨脹卷積(Dilated Convolution) 與標準的卷積不同,膨脹卷積在卷積核中增加一些空洞,從而擴大模型的感受野。膨脹卷積以膨脹率來指定核元素之間的0的數量。因此,應用膨脹率可以增加有效核尺寸。膨脹卷積與標準卷積的區別如圖2和圖3所示,采用3×3的卷積核(kernel),膨脹率(dilation rate)表示卷積核的間隔。膨脹率為1時表示卷積核間沒有間隔,為標準卷積,卷積核的感受野為3×3;膨脹率為2時表示卷積核間的間隔為1,有效卷積核為5×5,卷積核的感受野為7×7。可以看出,膨脹卷積在增大感受野的同時并保持提取的特征圖的尺寸與標準卷積的特征圖一致。應用膨脹卷積擴大了模型的感受野,因此模型可以提取長距離特征信息。

圖2 標準卷積

圖3 膨脹卷積

1DCNN-GRU混合模型由8層網絡構成,GRU置于一維卷積神經網絡的池化層和全連接之間。四層卷積層通過膨脹卷積的方式對輸入的數據進行特征提取,兩層池化層將卷積層輸出的特征數據進行壓縮降維,經過二次壓縮的特征數據作為GRU層的輸入,GRU利用重置門和更新門對特征數據進行進一步的篩選,去除冗余信息,保留具有類別區分性的特征信息,Dense_1層中的每個神經元與GRU層的所有神經元全連接進行特征加權,Dense_2層利用Softmax函數進行分類輸出。

2.2 模型訓練

在訓練神經網絡模型時,如果數據集中不同類別的樣本不均衡,容易導致模型陷入過擬合,神經網絡模型注重擬合樣本較多的類別而忽略樣本較少的類別。本文通過添加高斯噪聲(Gaussian Noise,GNoise)到輸入樣本防止模型過擬合。每次訓練神經網絡模型時,將高斯噪聲隨機添加到輸入樣本,使得輸入模型的數據每次都不同,神經網絡模型無法記住訓練樣本,從而提高模型從輸入空間中學習映射規則的能力,增強網絡的魯棒性。訓練模型時的模型結構與數據如表2所示,其中GNoise(n)為高斯噪聲層,n為高斯噪聲的標準差。

表2 訓練模型時的模型結構與數據

樣本添加的高斯噪聲的分布概率密度計算公式為:

(7)

式中:μ為均值;σ為標準差。

2.3 網絡入侵檢測流程

基于1DCNN-GRU混合模型的網絡入侵檢測流程如圖4所示,可分為以下幾個步驟:

圖4 網絡入侵檢測流程

(1) 選取UNSW- NB15樣本集。

(2) 對樣本集做數據預處理并將數據集劃分為訓練集和測試集。

(3) 樣本集用于訓練模型,訓練模型時的模型結構詳見表2,在訓練的過程中利用Adam優化器更新模型的網絡參數,使其逼近或達到最優值。

Adam優化更新模型參數過程如下:

初始化一階和二階矩變量s=0,r=0,初始化時間步t=0。輸入m個樣本{x(1),x(2),…,x(m)},對應目標為y(i)。

計算梯度:

(8)

t←t+1

(9)

更新有偏一階矩估計和有偏二階矩估計:

s←β1s+(1-β1)g

(10)

r←β2r+(1-β2)g2

(11)

修正一階矩的偏差和二階矩的偏差:

(12)

(13)

更新網絡參數:

(14)

θ←θ+Δθ

(15)

式中:α為學習速率;β1和β2為矩估計的指數衰減速率,β1,β2∈[0,1];δ為極小常數。

(4) 當模型的訓練次數達到預設的迭代次數則保存模型在訓練實驗中的最優網絡參數,利用測試集測試1DCNN-GRU模型性能,最終將測試結果輸出。

3 實 驗

3.1 數據集

本文實驗采用的是UNSW-NB15數據集,它是由澳大利亞網絡安全中心(ACCS)的實驗室在2015年創建的,包含了正常網絡行為和9類攻擊。攻擊類型分別為模糊測試、滲透分析、后門、拒絕服務攻擊、漏洞利用、泛型攻擊、踩點、shellcode和蠕蟲。這些攻擊包含了近年才出現的攻擊手段,比KDDcup99數據集更適用于網絡入侵檢測的研究[19]。

本文實驗采用了257 673條數據,其中:訓練集包含175 341條數據;測試集包含82 332條數據。訓練集和測試集的樣本數據如表3所示。

表3 訓練集和測試集樣本

3.2 數據預處理

UNSW-NB15數據集每條數據包含44個特征,其中:1至30的特征是從數據包中綜合收集的信息,數據包生成的附加特性進一步分為兩個部分,分別為連接特征和通用特征;31至37的特征為連接特性;38至42的特征為通用特征;43至44的特征為標簽特征,用于標記正常數據和攻擊類型。

本文實驗采用絕對值最大標準化方法對訓練集和測試集中的數據特征做數據預處理,計算公式如式(16)所示。

(16)

絕對值最大標準化方法將每個特征數據調整到[-1,1]的范圍,它根據每個特征內的最大絕對值來劃分數據,它不會移動和聚集數據,因此不會破壞數據的稀疏性。

3.3 實驗結果與分析

用準確率(AC)、漏報率 (FPR)、誤報率 (FNR)等指標來評價1DCNN-GRU網絡入侵檢測模型的性能。公式如下:

(17)

(18)

(19)

式中:TP表示待分類樣本為正,分類后標記為正;TN表示待分類樣本為負,分類后標記為負;FP表示待分類樣本為負,分類后標記為正;FN表示待分類樣本為正,分類后標記為負。

為了提高模型的泛化能力,進行對優化器和學習速率的調整實驗,實驗結果如圖5和圖6所示。實驗對SGD、Adagrad、RMSprop、Adamax和Adam優化器的性能進行了對比,由圖5可看出,訓練模型時使用Adam優化器效果最好、準確率最高。選定Adam優化器后,對優化器的學習速率進行調整,由圖6可看出,當學習速率為0.001時檢測效果最好。學習速率過小會導致模型陷入過擬合;學習速率過大會導致模型欠擬合。根據實驗結果選定Adam優化器優化模型的網絡參數并將Adam優化器的學習速率設置為0.001。

圖6 學習速率對檢測準確率的影響

為了增強網絡的魯棒性,在訓練模型時添加高斯噪音。添加高斯噪聲(GNoise)與不添加高斯噪聲(None-GNoise)進行實驗對比,實驗對比結果如表4所示。

表4 GNoise與None-GNoise實驗對比(%)

可以看出,在訓練模型時加入GNoise層,模型檢測的準確率比None-GNoise提高了5.1百分點且誤報率降低了12.58百分點。None-GNoise模型的高誤報率是由兩種樣本的不均衡導致的,導致模型過度擬合攻擊樣本,將正常行為誤報為攻擊行為。而加入GNoise顯著降低了模型的誤報率,雖然這使得漏報率更高,但影響更小。實驗結果表明,在訓練模型時加入GNoise有助于增強網絡的魯棒性,提高檢測的準確率和防止過擬合。

1DCNN-GRU混合模型與1DCNN模型都采用UNSW-NB15數據集做網絡入侵檢測實驗,實驗結果如表5所示。結果表明,1DCNN-GRU混合模型與單一的1DCNN模型相比檢測的準確率更高,雖然它們對網絡攻擊的漏報率相差無幾,但是1DCNN-GRU混合模型的誤報率比1DCNN模型降低了5.57百分點。這表明1DCNN-GRU混合模型比1DCNN模型更有利于提取具有類別區分性的特征信息,使分類效果更好,從而提高了模型的檢測性能。

表5 1DCNN-GRU與1DCNN模型實驗對比(%)

為了進一步驗證本文提出的1DCNN-GRU網絡入侵檢測混合模型的性能,在使用相同數據集的情況下與其他文獻的算法進行對比,對比結果如表6所示。與SVM相比,本文提出的1DCNN-GRU混合模型檢測的準確率提高了5.13百分點,誤報率降低了10.04百分點。與DRL、遺傳算法邏輯回歸(Genetic Algorithm Logistic Regression,AG-LR)[20]相比,1DCNN-GRU混合模型對入侵檢測的準確率也有了明顯的提升。

表6 檢測性能對比(%)

4 結 語

本文將一維卷積神經網絡和門控循環單元網絡融合構建了一個1DCNN-GRU混合模型,通過改變一維卷積神經網絡的卷積方式,加入高斯噪聲層訓練模型,調整優化器和學習速率提高模型的學習能力,優化模型。實驗結果表明,本文方法能有效提高網絡入侵檢測的準確率并降低檢測的誤報率。