基于改進的一維級聯神經網絡的異常流量檢測

王 婷 王其兵 何志方 閆 磊 李 遠 趙文娜 郝 偉* 張婭楠

1(國網山西省電力公司電力科學研究院 山西 太原 030000)

2(國網山西省電力公司 山西 太原 030000)

3(太原理工大學信息與計算機學院 山西 晉中 030600)

0 引 言

隨著計算機技術的高速發展,信息網絡已經成為社會發展的重要保障。《2018年中國互聯網網絡安全報告》匯總分析了CNCERT自有網絡安全監測數據和CNCERT網絡安全應急服務支撐單位報送的數據,該報告指出,2018年網絡安全形勢日益嚴峻,惡意網絡行為持續活躍。同時,隨著業務數據的價值越來越高,數據泄露、頁面篡改、黑鏈等安全事件使得企業系統面臨的無法估計的安全威脅,嚴重影響生產運行。因此,維持網絡的安全運行就顯得格外重要。異常檢測是網絡安全的研究趨勢,根據對流量數據的分析,可以檢測出網絡中是否存在攻擊。基于特征的網絡流量異常檢測方法為網絡管理者提供了寶貴的幫助,成為網絡異常流量檢測的重要組成部分。其主要思想是以模式或者特征的形式來表示攻擊,通過描述每個已知攻擊的大量規則來檢測攻擊[1-2], 進而建立一個描述正常流量的統計模型,任何偏離此模型的行為都可以被視為異常,并被視為攻擊。該異常檢測方法是機器學習領域中一個非常活躍的研究課題,近年來已經成為很多文章的主題[3-4]。通常的方法是只從網絡正常運行中收集數據,并基于正態性的網絡流量數據,提出表征正態性概念不同的方法[5-7],任何偏差都將被視為異常。然而,在實踐中驗證訓練數據中不存在任何攻擊可能是一項非常困難的任務,特別是對于數據量大的樣本,這根本是不可行的。文獻[8]提出了一種基于小波分析的網絡流量異常檢測模型,然而該方法實現起來非常復雜,需要使用小波分析將網絡流量數據分解為5階尺度分量,然后送入支持向量機中進行學習(Support Vector Machine,SVM)[9],并且使用SVM進行分類訓練需要反復地調參以避免過擬合與欠擬合情況的發生。Jha等[10]使用馬爾可夫模型(Markov Model)研究網絡入侵檢測。Pan等[11]結合了 k 近鄰(k-Nearest Neighbor, kNN)和 SVM 來對網絡入侵進行分類。傳統機器學習方法是一種典型的以某種優化準則逼近目標標簽的方法,對于特征數據具有很強的依賴性,在短中時的流量數據預測中不適用。

近幾年,由于深度學習技術發展迅猛,并且可以從訓練數據中學習捕捉特征信息,部分學者也開始將深度學習方法應用于入侵檢測領域。Salama等[12]提出使用深度置信網絡(Deep Belief Network, DBN)用來提取流量特征。Javaid等[13]通過引入稀疏自編碼器(Sparse Autoencoder)提出了一種“自學習”分類機制識別異常流量數據。賈凡等[14]將卷積神經網絡應用于入侵檢測領域中,實現了一種基于卷積神經網絡的入侵檢測識別算法。Kumar等[15]通過搭建 CNN 模型,檢測基于模式識別的惡意網絡行為。也有一些研究人員使用長短期記憶網絡(LSTM)[19]提取流量數據包之間的時間序列特征,問題在于一旦LSTM的時間跨度較大,并且網絡結構較深,將會導致訓練時間長,計算量過大。

卷積神經網絡(CNN)是一種經典的深度學習算法,通過共享卷積核權重信息減少了參數數量和計算時間。然而,大多數基于深度學習的方法每一層網絡的輸出特征信息并沒有被充分利用,限制了網絡的代表性能力。基于此,本文提出了一種改進的一維級聯神經網絡模型(ICNN)對網絡中的異常網絡流量進行檢測。改進的級聯神經網絡模型由若干個密集特征聚合模塊(Dense Feature Aggregation,DFA)組成,對每一層網絡的輸出特征進行充分利用,最大限度地保證不損失特征信息,其次,為了進一步提升DFA模塊的性能,設計了增強特征注意力模塊(Enhanced Feature Attention, EFA)。最后將得到的網絡流量特征數據送入Softmax進行異常數據分類。仿真結果表明,該模型對于異常網絡流量數據分類具有較高的分類精度。

1 相關工作

1.1 CNN基本原理

傳統的卷積神經網絡通常由“卷積-池化-Softmax或其他分類器”部分構成,其數學過程可以通過以下示例說明。假設一幅圖像x,其大小為M×N,卷積核大小為m×n,涉及到的權重矩陣與偏置分別用w與b進行表示,如式(1)所示,卷積神經網絡對該圖像進行處理。

h=g(x*w+b)

(1)

式中:*代表卷積操作;g(·)為激活函數;h與x在這里也可以看作是卷積操作之后的輸出映射和卷積操作之前的輸入映射。卷積操作過后,通常使用校正線性單元(Rectified Linear Unit, ReLU)來增加神經網絡各層之間的非線性關系。該激活函數描述為:

ReLU(x)=max(0,x)

(2)

ReLU實現稀疏后的模型能夠更好地挖掘相關特征,擬合訓練數據。在激活函數后是池化層,池化層主要有兩種:平均池化和最大池化。最大池化的公式如下:

H=maxdowno,p(C)

(3)

式中:C代表特征圖;maxdowno,p代表對特征圖進行大小為o,p的下采樣。使用池化層的主要作用是保留網絡流量特征的同時減少參數(降維)和計算量,防止過擬合,提高網絡模型的泛化能力。然后通過Softmax等分類器對抽象出的高級特征進行分類。

1.2 Softmax

Softmax函數[17]通常用于基于神經網絡的分類器的最后一層,它計算多類問題的概率分布,神經網絡使用此概率分布來預測輸出類別。由于Softmax函數可計算任何矢量的概率分布,因此它通常用于機器學習,深度學習和數據科學領域的各種多類分類方法中。Softmax計算所有可能的目標類別上每個目標類別的概率,計算出的概率有助于確定給定輸入集的正確目標類別。

(4)

式中:z是上一層網絡的輸出,也就是Softmax二元分類器的輸入,維度為C;y表示網絡流量為正常或者異常的概率值,范圍為(0,1),但輸出數值的總和為1。由式(4)可以看出,Softmax具有以下特性:將所有數值轉化為正數;將數值較高的值凸顯出來,即輸出數值接近1,反之接近0;將輸出結果映射到(0,1)之間,從而轉換為概率。

1.3 密集連接

密集連接網絡由Huang等[16]在2018年提出,它引入了具有相同特征圖大小的任意兩個層之間的拼接操作。解決了網絡深度加深產生的梯度消失問題,并充分利用特征圖信息,鼓勵特征重用,大大減少了參數量。在保證網絡中層與層之間最大程度的信息傳輸的前提下,為了能夠保留前饋的特性,每一層對之前所有層的輸入進行拼接,并將輸出的特征圖傳遞給之后的所有層。詳細過程為,假設[x0,x1,…,xL-1]代表0到L-1層的特征圖輸出,對這些特征圖進行拼接操作,數學過程如下:

xi=Hl([x0,x1,…,xl-1])

(5)

式中:xi代表經過拼接操作后第l層的網絡輸出;Hl(·)代表拼接之后的特征圖張量。該連接方式使得特征和梯度的傳遞更加有效,網絡也就更加容易訓練,每一層都可以直接利用損失函數的梯度以及最開始的輸入信息。

2 方 法

2.1 密集特征聚合模塊

本文提出的基于改進的一維級聯神經網絡的異常流量檢測模型(ATD-ICNN)具體過程如圖1所示,DFA模塊的詳細結構可以在圖中清楚地看到:該模塊由3個卷積層、1個ReLU層、1個池化層、1個EFA模塊構成,前4個網絡層提取到深層次的特征之后,DFA模塊初始地輸入拼接在一起,這樣可以充分利用網絡特征,防止后續的池化操作造成重要特征信息的丟失。模塊的最后使用1×1的卷積來融合這些特征,有用的特征信息可以傳播到DFA模塊的末尾而沒有任何的損失或干擾。該模塊對于網絡流量數據的處理過程可以表示為:

圖1 基于改進的一維級聯神經網絡的異常 流量檢測模型(ATD-ICNN)

Ft=βt(βt-1(…β0(t)))

(6)

式中:Ft經過t個模塊數據處理之后得到深層次網絡流量特征:βt代表第t個DFA模塊函數。

2.2 增強特征注意力模塊

為了能夠充分發揮DFA模塊的效果,我們設計增強注意力模塊將流量特征集中在關鍵重要的內容上,它比普通的網絡卷積模塊更強大,主要結構如圖2所示。EFA模塊在DFA模塊的末端起作用,迫使流量特征集中于更加能夠決定正常或者異常結果的感興趣的區域。在EFA模塊中,有幾個重點的因素需要仔細考慮,首先該模塊必須足夠輕,因為它將被嵌入到網絡的每個密集特征聚合模塊中;其次,一個大的感受野對于流量分類任務是至關重要的。從圖2中可以清楚地看到EFA模塊詳細的網絡結構,從1×1的卷積層開始減少流量特征的維度大小,使得整個模塊可以非常的輕量化。為了擴大感受野,我們使用了一個帶狀卷積(步長為2),可以在網絡開始時快速降低特征空間維數,然后,對特征維度進行池化操作,在1×1的卷積層后使用上采樣層恢復特征維度,另外,我們還使用密集連接將一開始輸入到EFA模塊的網絡特征與模塊處理后的流量特征數據進行拼接,最后通過1×1的卷積對這些特征進行融合。

圖2 EFA模塊主要結構

2.3 數據預處理

由于網絡流量存在噪聲(應用類別標記錯誤)[18]流量的情況,為了減少噪聲特征的提取,以及規范化輸入目標數據,在對神經網絡進行訓練之前,需要對學習樣本數據進行預處理。

假設所有網絡流量數據樣本為x={x1,x2,…,xM},其中xi代表一組網絡流量數據。對于訓練與測試樣本數據,本文采用4個步驟進行歸一化:計算均值、計算方差、白化和歸一化,公式如下:

(7)

(8)

(9)

(10)

式中:max{x}指所有網絡流量數據中的最大值;min{x}指網絡流量數據樣本中的最小值。

圖3顯示了本文提出的端到端流量分類方法的概述。其中包含數據預處理過程,模型訓練過程和測試過程。這里提出的方法可以直接對流量進行分類,中間的學習過程不需要人為干涉,最終確定輸入與期望輸出之間的非線性關系。

圖3 所提方法端到端訓練框架結構

3 實 驗

3.1 數據集

本實驗采集隧道協議進行傳輸,所以流量比較干凈,幾乎不含有異常。網絡流量的數據結構如表1 所示。在本文中,將2019年10月山西國家電網機房調度數據中心網絡流量作為訓練樣本, 將2019年11月機房調度數據中心網絡流量作為測試樣本,由于采集到的機房網絡流量數據比較干凈,所以采用人工注入異常數據的方式可控地注入DDoS、Heartbleed和鏈路失敗異常。DDoS是指利用大量合法的分布式服務器對目標發送請求,從而導致服務器擁塞無法對外提供正常服務。Heartbleed是一個出現在加密程序庫OpenSSL中的安全漏洞,無論是服務器還是客戶端,都可能因此而受到攻擊,詳細表現為實際讀取數據比應該允許讀取的數據多。鏈路失敗是指去除間隔內流經被監測鏈路的所有流。分別對訓練集與測試集的樣本進行混洗,訓練集與測試集的比例為3∶2。此外,我們還采集了2019年12月份的一個月的機房網絡流量真實數據樣本并且進行標記來衡量所提方法的準確性。

表1 數據結構說明表

3.2 網絡訓練細節

ATD-ICNN網絡結構中的卷積參數初始化方式均滿足均值為0,方差為0.01的高斯隨機分布。DFA模塊的數量為2,總的訓練步數為2 000,學習率初始設置為10-4,隨著訓練步長的增加慢慢降到10-5。采用Adam優化器[18]進行梯度優化。所有實驗均在PC(Intel i7 6 700K CPU,主存16 GB)上用PyCharm Professional 2017編程完成。由于單獨使用傳統的DPU進行網絡訓練非常耗時,所以在我們的工作中,ATD-ICNN使用GPU(Nvidia Tesla K80C)進行加速訓練。采用的編程語言是Python 3.6。

3.3 模型結構參數設置

研究者通常通過加深的網絡模型設計來得到更高級的特征,但不可避免的是,隨著參數的增多,容易出現過擬合情況。根據多次實驗,所提方法詳細網絡結構如表2所示。

3.4 評價標準

本文采用以下4個指標對網絡異常流量的分類性能進行客觀評價,分別為正確率(Accuracy, A)、精確率 (Precision, P)、召回率(Recall, R)、F1-score。A用來判斷方法的整體效果,P、R,F1-score用來判斷某一種流量異常的識別效果:

(11)

式中:TP代表被正確劃分為目標流量的樣本數;TN表示被正確的識別出異常目標流量的樣本數目;FP代表異常的流量樣本被劃分為正常的流量樣本的數目;FN代表異常的流量樣本被識別為正常的流量樣本的數目。

3.5 實驗結果

網絡流量本質上是一種時序數據,是按照層次化結構組織起來的一維字節流,從低層次到高層次依次為字節、幀、會話、整個流量。分別通過一段隨機抽取的長度為1 000的序列,按照不同異常事件的特征向量生成人工異常流量,異常流量持續時間為2min,并且異常流量的數量是正常流量數量的15%。

ATD-ICNN算法分別對DDoS、Heartbleed、鏈路失敗這三種異常網絡流量即網絡攻擊類型,進行分類識別,分類結果如表3所示,可以發現本文所提方法,對于三種異常網絡精度都表現出了較高的分類精度。

表3 模擬三種異常網絡流量分類結果(%)

表3中,第一列是實際使用的攻擊類型,表內每一行代表每一次使用分類模型所得到的結果,一共運行了三次分類模型,每一次運行分類模型的數據類型是DDos、Heartbleed和鏈路失敗三種,通過分類模型,得到了結果,例如圖中數據所顯示,150條DDos攻擊,識別正確98%,識別錯誤0,未能識別分類占比2%。

為驗證算法的有效性,計算了綜合指標下算法的分類性能,如表4所示,對于三種異常網絡流量,ATD-ICNN達到了上佳的分類性能。其中,對于鏈路失敗的異常網絡流量分類性能達到98%,說明所提方法能夠較好地選取鏈路失敗的特征向量,從而更加準確地描述其特性。

表4 綜合指標下算法的分類性能(%)

基于本文中介紹的數據集,與已有的異常檢測方法如隨機森林(Radom Forests, RF)、AdaBost迭代算法、多層感知機(Multi-Layer Perceptron, MLP)、樸素貝葉斯(Na?ve-Bayes)、CNN、小波分解+SVM方法相比較,得到的結果如表5所示,可以發現,本文方法的4個指標皆為最優解。

表5 其他異常檢測方法的Accuracy、

圖4給出了ATD-ICNN算法中分別使用Softmax分類器、SVM分類器[9]、K均值分類器的分類性能的比較。可以看出,Softmax 分類器在訓練集與測試集上的準確率最高,達到了85%以上。其中,訓練數據與測試數據的分類結果有一定差距的原因可能是劃分的訓練集所包含的流量數據特征不平衡,導致模型沒有完全學習到所有的特征,但是這并不影響所提方法最終對于異常網絡流量的檢測結果。對于SVM分類方法,Softmax的分類精度要比SVM的分類精度高5%,整體上,對于3個分類指標都取得了更好的性能表現,驗證了本文所提出ATD-ICNN異常網絡流量分類效果的有效性。該結果也表明流量是一維的序列數據,用更適合序列數據分類的Softmax分類器能夠取得更好的分類結果。相比之下,K均值分類算法屬于聚類算法,對訓練數據數量敏感,無法確定哪個屬性對聚類的貢獻更大,并且由于需要實現指定聚類數目,而在實際情況中,網絡出現的異常數據情況通常是不可知的,因此實用性不高。

圖4 Softmax分類器與支持向量機、K均值算法的 關于不同分類指標的分類性能

為了進一步說明DFA模塊的有效性,我們還設計消融實驗來研究DFA模塊的級聯迭代次數對于異常網絡流量分類準確率的影響,結果如表6所示。其中,ATD-ICNN-C1代表只有一個DFA模塊,即級聯次數為1;ATD-ICNN-C2代表有2個級聯模塊,代表級聯次數為2。可以發現,隨著級聯次數的增加,準確率也在不斷提高,這說明融合了拼接操作的DFA模塊能夠充分地利用流量深層次特征信息,嵌入其中的EFA模塊可以輔助網絡更好地對決定網絡異常的特征分配更大的權重,更好地對異常網絡流量進行識別。

表6 綜合指標下不同級聯次數的算法的分類性能(%)

為衡量ATD-ICNN在真實情況下的有效性,采集了真實流量數據進行標記并測試,結果如圖5所示。可以看出,超過90%的流量數據都能夠被正常分類,只有很小的一部分(淺灰色所示區域)沒有被正確識別,主要是由于訓練數據的網絡流量中沒有包含真實數據中的異常網絡流量,因此算法無法識別真實數據中異常網絡數據流量特征,從而無法做出判別。

4 結 語

針對當前網路環境日益復雜、攻擊方式越來越隱蔽、網絡取證中特征提取和分類分析的局限性等情況,本文提出了基于改進的級聯神經網絡的異常流量識別方法。仿真結果表明,該方法建模簡潔實用, 預測效果比較滿意,說明該方法對于處理類似問題是有效的。本項研究通過構建改進的級聯深度網絡模型并采用人工注入異常流量數據的方式制作訓練數據集進行訓練,結合Softmax方法進行異常流量分類,更好地對網絡流量進行監督管理探索到新的研究手段。在未來的工作中,我們將致力于研究對于特定類型的異常事件進行準確識別,即提高常見異常網絡流量的分類準確率。