基于SimHash與神經網絡的網絡異常檢測方法研究

張榮葳

摘要：計算機網絡在給人們帶來極大便利的同時也存在著各種攻擊隱患，因此需要完善的異常檢測系統消除這些隱患。針對傳統的網絡異常檢測方法檢測效率低下、檢測率較低的問題，該文在深度神經網絡的基礎上通過添加Simhash數據處理的方法構建了一種新的網絡異常檢測模型。實驗結果表明，相較于傳統的模型，新模型在保持神經網絡使用相同長度輸入的條件下獲得更高的檢測率。

關鍵詞：網絡異常檢測;網絡安全;深度學習;人工神經網絡;Simhash

中圖分類號：TP393.08? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2019）18-0224-03

Abstract： Computer network brings great convenience to people， but there are also various hidden dangers of attacks. Therefore， a perfect anomaly detection system is needed to eliminate these hidden dangers. Aiming at the problem of low efficiency and low detection rate of traditional network anomaly detection methods， a new network anomaly detection model is constructed by adding Simhash data processing method on the basis of deep neural network. The experimental results show that compared with the traditional model， the new model achieves higher detection rate while maintaining the same length input of the neural network.

Key words： network anomaly detection; network security; deep learning; artificial neural network; Simhash

1 引言

隨著計算機網絡技術的高速發展，互聯網已經成為了人們生活中不可或缺的一部分。然而，由于其開放性，網絡中大量存在的各種攻擊行為已然成為了各聯網單位的心頭之患。在我國，眾多的科研項目涉及到國家秘密，涉密網絡中存有大量的涉密資料。由于內部人員的誤操作或者是惡意竊取所導致的涉密文件失密或泄密可能對各科研院所乃至我國科研的相關領域造成不可估量的損失。縱然國家與各保密單位擁有嚴格的保密制度與紀律，但技術上的解決手段仍很有必要。

對于計算機網絡，網絡中各節點間的數據流量反映著網絡的總體情況與態勢。針對網絡流量進行分析、提取流量特征，并對得到的特征進行計算，最終就可以判斷網絡中是否存在異常行為。使用此種算法對網絡進行分析的方法被稱為異常檢測系統或基于異常的入侵監測系統。與傳統的基于固定特征的檢測系統相比，異常檢測系統更易于檢測出未知的或是新的攻擊。但是，其檢測效果高度依賴于特征的選擇與檢測流程的設計，過于復雜的檢測算法導致檢測效率低下，其高昂的誤報率更是限制了異常檢測系統的應用場景。

為了解決以上的問題，本文以提升檢測效率為目標，設計了一種基于 Simhash 與神經網絡的異常檢測算法模型。該模型將在保持檢測率基本不變的前提下大幅縮短計算時間，使其能夠在適用于數據流量更大的大型網絡之中。

2 模型中使用的有關算法介紹

2.1 Simhash算法

為了解決海量數據的去重與索引的問題，Google 公司雇員 Gurmeet Singh Manku 等人提出了一種局部敏感哈希（locality sensitive hash）算法[1]。其主要思想是將原先高維度的特征向量空間映射至低維度的特征向量空間，并盡力保證在原空間內相近的兩個節點在新的空間內距離也相近。這樣就可以通過比較生成的特征向量間的漢明距離來判斷原文章之間的相似程度。

Simhash算法的流程如下：

（1）根據輸入數據的內在屬性，將其提取成為 N 個特征向量;

（2）對每一個特征向量分別使用傳統的哈希計算方法計算其哈希值;

（3）對得到的 N 個哈希值按位豎向累加。若哈希值中的某位為0則加 -1，若為1則加 1，最終得到每一位上的權重值;

（4）對于得到的權重值，若該位的值為負數則對應的哈希值中該位的值為0，否則為 1.

使用 Simhash 算法有以下兩個優點。一是傳統的檢測方法僅取網絡數據包的前一部分字節，對于特征位于會話后部的攻擊檢測效果較弱。使用局部敏感的 Simhash 算法，可以在盡可能保留數據相似特征的前提下將會話數據縮減到可以計算的范圍內，節約寶貴的計算資源。二是經前人的研究，判別異常流量的過程中網絡數據包中網絡協議的部分所起到的作用要比數據包中上層數據的部分大，故使用 Simhash 算法可以將進行判別的計算資源更優先地集中在數據包頭部的協議部分，從而以更小的輸入獲得更高的檢測率。

2.2 卷積神經網絡與長短期記憶網絡

近些年來，隨著科技的不斷發展，獲得單位算力所需的價格不斷降低，人工神經網絡（Artificial Neural Network，ANN）又重新成了機器學習領域的研究熱點。人工神經網絡通過數學計算的方式模擬神經網絡中神經元間的興奮、抑制作用，從而實現網絡整體對某一特定特征的有效識別。多層神經網絡通常由輸入層、隱藏層以及輸出層構成，每一層的神經元節點接受前一層節點的輸入，并對其做非線性運算后得到的值傳遞給下一層。

相比于傳統的人工神經網絡，卷積神經網絡（Convolutional Neural Networks， CNN）利用某些特征識別任務中特征的平移不變性，在網絡中引入了卷積層和下采樣層。卷積層使用各種不同的卷積核對前一層網絡中的對應區域進行卷積運算，而下采樣層則對卷積層得到結果通過取平均值或者最大值的方式進行規整。與傳統的全連接網絡相比，卷積層和下采樣層的引入大大地簡化了網絡的復雜度，減少了所需的計算量。因此，卷積神經網絡在醫學圖像識別[2]、語音識別[3]等領域得到了廣泛的應用，在網絡異常檢測[4-5]領域中也得到了較為充分的研究。

循環神經網絡（Recurrent Neural Network， RNN）是一種用于處理有一定序列性的數據的神經網絡[6]。在循環神經網絡中，特定的隱藏層除接受前一層提供的輸入外，也將網絡接受前一時刻數據時此節點的值作為輸入。這樣通過在序列中每個時間點共享同樣的參數，模型可以獲得更為強大的泛化能力。然而在某些任務中，傳統的RNN存在梯度消失與梯度爆炸的問題。為了解決此問題，Hochreiter和Schmidhuber在1997年引入了長短期記憶（Long Short-Term Memory，LSTM）網絡，其通過引入“遺忘門”允許網絡在較長的時間范圍內累積信息，并且累積的時間范圍可以動態改變。由于其優良的檢測效果，LSTM廣泛應用于自然語言處理[7]等領域中。

3 實驗所用到的網絡模型

本實驗中所采用的神經網絡架構如下圖1中所示。

如上圖，首先針對一個網絡會話中的每一個數據包分別進行處理。首先，根據數據包本身的特質（即網絡協議棧的分層結構）將數據包分為頭部與載荷兩部分。然后再對載荷部分計算Simhash哈希值，以求不在損失過多信息的前提下將載荷部分歸一化為定長的輸入向量。

對于神經網絡模型，本實驗選取了能夠同時提取時空兩種維度上信息的HAST-II模型[8]。該模型首先將輸入的數據進行獨熱編碼（One-Hot Encoding），轉換為元素只為零或一的二維稀疏矩陣。此后再將此矩陣作為二維圖像分別輸入兩個不同的擁有兩個隱層的卷積神經網絡之中，再將得到的輸出合并，作為單個數據包的特征向量。

通常一個網絡會話是由多個數據包組成。模型對會話中的前幾個數據包進行上述處理后，將得到的特征向量依照網絡中的時間順序作為一段時序序列傳遞給LSTM網絡處理。最終，得到的結果即為該會話對應的特征向量。

4 實驗數據

數據集是對網絡模型進行訓練以及測試的數據樣本，對異常檢測模型的實用性影響很大。在網絡安全的研究領域有許多公開的數據集，譬如DARPA1998數據集、NSL-KDD數據集以及Kyoto2009數據集等。這些數據集往往形成時間較早，無法反映目前互聯網中存在的最新的威脅。因此，本文選取了較新的ISCX2012數據集。

2012年，位于加拿大的新布倫瑞克大學信息安全中心（Information Security Centre of Excellence，ISCX）發布了名為ISCX2012的網絡異常檢測數據集[9]。該數據集包含了七天時間跨度內的所有原始數據流量。流量中包含正常流量以及四種不同種類的攻擊流量，分別為暴力SSH攻擊、滲透攻擊、HTTPDoS攻擊以及DDoS攻擊。將ISCX2012數據集中原始流量數據包組織成網絡會話，再與數據集中的標簽一一對應后得到的統計結果如下表所示。

5 實驗結果及分析

本實驗以Keras 2.2.2以及Tensorflow 1.12為主要的軟件環境，操作系統則為Arch Linux。硬件環境上，實驗運行在具有16GB內存、Intel Core i5-8500 CPU以及NVIDIA GeForce GTX 1070 Ti 顯卡的臺式機上。此次實驗使用分批訓練的方式，每個批次訓練128個樣本;全部數據集訓練15輪。

然而在頭部大于35字節之后，添加Simhash與否并不會對模型的檢測率造成顯著的差異，各模型的檢測率均在99.60%上下浮動。可以認為在包頭部達到一定長度之后其自身就已經包含分類所需的絕大多數信息，此時再添加Simhash僅僅是在浪費有限的計算資源。

6 總結

本文通過將Simhash與神經網絡相結合，設計了一種新型的網絡模型。在數據量較小時，該模型可以大幅提高網絡中異常流量的檢測率。關于神經網絡的研究前景廣闊，今后的研究工作將進一步探索不同網絡模型在網絡異常檢測中的應用，以求能夠更為快速準確地檢測網絡中可能存在的威脅。

參考文獻：

[1] Manku G S， Jain A， Das Sarma A. Detecting Near-duplicates for Web Crawling[C]//Proceedings of the 16th International Conference on World Wide Web. ACM，2007：141-149.

[2] 王巖.卷積神經網絡在肝穿刺圖像分類中的應用[J].電腦知識與技術，2018，14（25）：203-205.

[3] 楊洋，汪毓鐸.基于改進卷積神經網絡算法的語音識別[J].應用聲學，2018，37（06）：940-946.

[4] Vinayakumar R， Soman K P， Poornachandran P. Applying convolutional neural network for network intrusion detection[C]//2017 International Conference on Advances in Computing， Communications and Informatics （ICACCI）. IEEE， 2017： 1222-1228.

[5] 劉月峰，王成，張亞斌，苑江浩.面向網絡入侵檢測系統的深度卷積神經網絡模型[J].內蒙古科技大學學報，2018，37（01）：59-64.

[6] 楊麗，吳雨茜，王俊麗，劉義理.循環神經網絡研究綜述[J].計算機應用，2018，38（S2）：1-6+26.

[7] 胡榮磊，芮璐，齊筱，等.基于循環神經網絡和注意力模型的文本情感分析[J/OL].計算機應用研究，2019，36（11）. [2018-08-10]. http：//www.arocmag.com/article/02-2019-11-025.html.

[8] Wang W ， Sheng Y ， Wang J ， et al. HAST-IDS： Learning Hierarchical Spatial-Temporal Features using Deep Neural Networks to Improve Intrusion Detection[J]. IEEE Access， 2017：1-1.

[9] Shiravi A ， Shiravi H ， Tavallaee M ， et al. Toward developing a systematic approach to generate benchmark datasets for intrusion detection[J]. Computers & Security， 2012， 31（3）：357-374.

【通聯編輯：代影】