基于DL和TSVM的入侵檢測方法研究

魏明軍 彭 寧

(華北理工大學信息工程學院 河北 唐山 063210)

0 引 言

互聯網的發展使我們步入科技時代，人們的日常生活也因為網絡的普及而簡化，伴隨而來的網絡安全問題則愈演愈烈。比如，各大網絡平臺用戶信息泄露、DoS攻擊、WannaCry勒索病毒、被黑客竊取計算機全部內存內容的漏洞等。如何有效鑒別各種網絡攻擊行為是網絡安全領域中迫切需要解決的問題。入侵檢測是一種積極、主動的網絡安全防御技術手段，其通過分析收集計算機關鍵點的信息，從中發現是否有威脅計算機安全的異常行為[1]，若有則及時作出響應告知用戶，從而進行緊急處理以保護本地計算機安全。因此入侵檢測技術一直是網絡安全研究領域中不可規避的重點課題。

研究學者在入侵檢測系統(Intrusion Detection Systems，IDS)中嘗試引用不同的方法，比如：基于免疫方法[2]、基于神經網絡[3]、基于數據挖掘[4]、基于粒子群[5]、基于云計算[6]、支持向量機[7](Support Vector Machine，SVM)等方法，經實驗證明這些方法運用到入侵檢測中都顯示出各自的檢測優勢。然而，現如今面臨網絡上數據的海量化、高維化的特點，以及網絡攻擊方式的多樣化、復雜化的趨勢，入侵檢測技術需要尋求新的突破，在提取數據特征時，能夠盡可能保留初始數據的本質特征，并且提高檢測率。

深度學習(Deep Learning，DL)被廣泛運用于各個研究領域是因為其具有獨特的數據特征學習能力。結合計算機視覺可以感知路口車流量，從而動態地控制十字路口紅綠燈時間的長短；融合自然語言處理開發了百度智能機器人小度；在語音識別領域成功地被應用于同聲傳譯技術。將深度學習應用到不同領域且皆取得了很好的成果。

綜合IDS研究現狀，本文將深度學習和TSVM相結合，提出一種DBN-TSVM-5入侵檢測模型。深度學習具有很好的數據特征提取性能，用于數據降維；而TSVM比SVM具有更高的分類精度，且耗時僅占SVM的四分之一[8]。數據采用KDDCUP99數據集對DBN-TSVM-5模型進行測試與評估，結果表明該模型的性能比傳統的入侵檢測方法好。

1 深度置信網絡

DBN是Hinton等[9]于2006年提出的一種深度學習模型，其特征學習能力非常強大，通過逐層提取的方式，可將原始數據轉換成為更高層和更抽象的形式。

DBN由若干層受限玻爾茲曼機(Restricted Boltzmann Machine，RBM)和一層有監督的反向傳播(Back-Propagation，BP)網絡組成，如圖1所示。

圖1 DBN模型圖

1.1 RBM模型

1986年，一個層內無連接、層間全連接的兩層網絡模型被提出，它就是RBM，包含了一個可見層V和一個隱含層H，每一層都是由神經元組成，所有神經元都有激活狀態1和未激活狀態0兩種狀態值。W是兩層之間的連接權重矩陣，a是可見層偏差，b是隱含層偏差。如圖2所示。

訓練RBM模型使用的數據特征維數較高時，以Gibbs采樣方法訓練需要足夠大的采樣步數，可想而知用此方法訓練RBM會花費相當多的時間，導致最終訓練結果不理想。針對該問題，Hinton[10]提出對比散度算法(Contrastive Divergence，CD)。

1.2 CD對比散度

不同于Gibbs采樣，CD算法在一開始將訓練樣本作為輸入加載到可見層，經實驗證明，僅需要使用k=1步吉布斯次采樣，就可以得到很好的近似值[11]。

在已知v(0)的情況下，出于RBM的連接特性，所有隱含層之間相互獨立，利用式(1)計算隱含層第j個神經元的狀態。

(1)

確定所有隱含層神經元h(0)的狀態之后，由于可見層節點之間也是相互獨立的，再根據隱含層神經元的狀態，利用式(2)重構出可見層第i個神經元的狀態，到得可見層重構v(k)。

(2)

算法1CD算法

輸入：訓練樣本X(S)，學習率alpha，最大訓練周期k。

輸出：鏈接權重矩陣W，可見層偏置向量a，隱藏層偏置向量b。

初始化：令可見層神經元的初始狀態v(0)=X(S)，W、a、b取隨機較小的數值。

fort=0,1,…,kdo

forj=1,2,…,n(對于所有隱含層神經元節點)

fori=1,2,…,m(對于所有可見層神經元節點)

利用式(3)更新各個參數：

(3)

2 對支持向量機

Jayadeva等[12]在2007年提出了TSVM。TSVM的基本思想是對正負兩類樣本點分別構造一個分類超平面。這樣有兩點好處：一方面使得每一個分類超平面與其中一類樣本點盡可能近；另一方面遠離另一類樣本點。以二維平面內的樣本數據為例，對線性TSVM分類思想描述如圖3所示。

TSVM實質上是將傳統SVM中的一個二次規劃問題(Quadratic Programming Problem，QPP)分成兩個規模較小的QPP[13]，簡化了計算復雜度，使得樣本訓練時間縮減為傳統SVM的四分之一，而且還保持了較高的分類精度。

3 DBN-TSVM-5模型

3.1 模型總體設計

基于DBN-TSVM-5的入侵檢測方法框架結構圖如圖4所示。

圖4 DBN-TSVM-5框架結構圖

主要有以下3個步驟：

1)數據預處理。將KDDCUP99數據集通過特征映射的方法，把字符型數據轉換為數值；再對數值化后的數據全部進行數據歸一化處理，將數值規范到0～1之間，使之成為標準數據集。

2)DBN降維。經過預訓練和權重微調兩個過程后，得到DBN網絡模型最優表達，能夠反映標準數據特征的低維數據。

3)多分類TSVM-5。構造多分類TSVM-5分類器，對五類數據進行識別。

3.2 DBN降維過程

DBN訓練經過預訓練和微調兩個階段后方可得到一個可以反映高維、非線性原始數據特征的低維數據，從而實現對標準數據集的最優提取。

1)預訓練。將訓練集中的數據特征和類標簽分離，用無標簽的訓練集對每一層RBM進行自下而上、單獨、無監督、基于CD算法的訓練。輸入V0通過P(H|V0)計算出H0，H0根據P(V|H0)計算重構出的V1如果和V0一樣，那么隱藏層H0就是V0的另一種表示，如此H0可作為下一層RBM的可見層V1。按照此方法執行每一層RBM，直至訓練完所有的RBM層。

2)微調。RBM自下向上訓練完之后，只能保證RBM本身這一層內的權值對該層的特征提取是局部最優；因此還需要反向傳播網絡微調整個網絡參數，達到全局最優。在這一步需要將帶有標簽的數據附加到頂層，使用這些帶標簽的數據對網絡進行區分性、有監督的、自上而下的訓練來對整個網絡權值進行調整。BP網絡接受最后一層RBM輸出的特征向量作為其輸入數據[14]，將BP網絡輸出層得到的實際輸出與期望信息兩者之間做減法操作，有差值則進行反向傳播。

算法2DBN訓練

輸入：可視層變量V0=(v1,v2,v3,…,vi,…,vm)。

輸出：參數W,a,b。

(1)將每一條訓練數據X(S)賦值給第一個RBM的可見層V0，并用CD算法訓練第一層RBM。

(2)訓練完第一層RBM后，將其輸出結果作為下一層RBM的輸入，繼續用CD算法訓練下一層。

(3)迭代步驟(1)和步驟(2)直至訓練完所有層的RBM。

(4)向前計算完之后，誤差為：

(4)

(5)利用梯度下降算法進行逆向傳播，調整網絡中各個權值，使誤差達到最小值。權值更新公式為：

(5)

(6)重復步驟(4)-步驟(5)過程，直至誤差足夠小，保存參數。

3.3 多分類TSVM-5分類器

本文改進的多分類TSVM算法TSVM-5設計具體分類步驟如下：

1)先將KDDCUP99中正常樣本Normal標記為+1，其余四類攻擊樣本標記為-1，通過T1分類器篩選出正常樣本；

2)將Dos和Probe兩類樣本標記為+1，U2R和R2L標記為-1，再將剩余四類樣本輸入到T2分類器中。標記為+1的樣本傳到T3分類器，標記為-1的傳到T4分類器中；

3)通過T3分類器，輸出標記為+1的是Dos攻擊樣本，-1是Probe樣本；

4)通過T4分類器的，輸出標記為+1的是U2R攻擊樣本，-1是R2L樣本。

4 實 驗

4.1 數據來源與預處理

1998年，林肯實驗室在美國空軍局域網進行模擬而采集9周的網絡數據。隨后Sal Stolfo教授和Wenke Lee 教授在此基礎之上對網絡數據進行分析和預處理形成了KDDCUP99數據集，該數據集是IDS研究領域中被廣泛使用的實驗數據之一，其中包含494 021個訓練樣本和311 029個測試樣本，分布情況如表1所示。

表1 KDDCUP99數據分布情況

1)字符特征數值化。KDDCUP99數據集每一條數據有38個數字型屬性和3個字符型屬性，外加1個類標簽。字符型屬性的數據不利于特征提取和分類算法的識別，需要將其數值化。比如Protocol_type這一屬性有3種類型：Tcp、Udp、Icmp，映射規則設置如下：Tcp=0，Udp=1，Icmp=2，將這些轉化為數值類型。

2)數值歸一化。想要數據之間的量綱具有可比性而不對實驗造成影響，將訓練集和測試集中的全部數據記錄，都要進行歸一化處理，將數據歸一到0和1之間。經過上一步字符映射處理后，將數據用.csv格式導出，可以看出KDDTrain訓練集中的第20、21兩列全為0，數據歸一后這兩列會出現差錯，因此歸一數據之前，對每列數據最大值最小值進行判定：若差值不為0，進行歸一操作；若差值為0，則不進行歸一操作，給定這列歸一后的數據全為0。

(6)

4.2 參數設置

根據已有研究表明，當DBN層數到達7層及以上，入侵檢測識別的準確率趨于穩定值[15]。為了選取DBN模型處理KDDCUP99數據具有相對較高準確率的層數，本文選取2～7層DBN模型，設置6種不同的DBN網絡結構，如表2所示。將DBN最后的重構誤差作為選取DBN層數的依據，結果如圖5所示。由結果可知采用5層RBM網絡結構的誤差最小。

表2 DBN層數設置

圖5 DBN不同層數重構誤差

KDDCUP99數據集經過預處理后依然為41維特征，因此輸入層節點為41，之后依次選取為100、80、50、10和5，即用DBN-TSVM-5網絡結構為41-100-80-50-10-5對歸一后的標準數據進行降維。預訓練迭代次數為30次，微調權值迭代次數為100次。由于RBF(radial basis function)核函數參數設置少且非線性分類性能好[16]，所以本文采用RBF作為TSVM-5的核函數，設置懲罰因子C1=1，C2=1核函數參數gamma=1，最后獲得準確率。

4.3 實驗結果

采用Anaconda的Python集成環境，使用Pycharm編譯器編寫程序代碼。實驗用未改進的二分類對支持向量機模型(TSVM-2)、本文改進的多分類對支持向量機模型(TSVM-5)、基于DBN和TSVM-5混合模型(DBN-TSVM-5)三種方法對入侵檢測進行數據分析。

受到實驗硬件環境的限制，分類器的代碼數據量太大會導致存儲溢出。為了對比分析這三種方法的有效性，隨機抽取以下Data1、Data2、Data3、Data4四個數據集作為實驗數據，見表3。用Python第三方庫sklearn里的train_test_split函數，按照6∶4的比例將每個數據集分割成訓練集和測試集，函數里straight參數可以按照數據標簽的比例劃分，使每個樣本類別都分到訓練集和測試集。

表3 實驗數據

從準確率(Accuracy，AC)和誤報率(False Alarm，FA)來比對三種方法的有效性。表4是TSVM-2、TSVM-5和DBN-TSVM-5三種模型方法在不同數據集上進行實驗得到的檢測精度和誤報率結果。

表4 實驗結果 %

可以看出，在不同數據集上TSVM-5與TSVM-2對比得出，不僅實現了數據樣本的多分類，檢測率還平均提高了5.37%。由TSVM-5和DBN-TSVM-5對比看出，DBN降維操作可以提取出數據的深度特征，從而更有利于數據的分類與識別，比TSVM-5的檢測率平均提高了2.52%。

5 結 語

面對網絡環境具有高維、復雜數據的特點，本文提出一種基于DBN和改進的TSVM入侵檢測混合模型。以字符映射和歸一化處理后的KDDCUP99數據為實驗數據進行仿真實驗。DBN具有良好的降維性能，成功地減少了數據特征向量，再把降維后的數據輸入到TSVM-5多類分類器中檢測攻擊數據，進行入侵檢測識別。實驗數據表明，DBN-TSVM-5模型的檢測準確率分別比TSVM-2和TSVM-5提高了8.03%和2.52%，同時其誤報率也有所降低，是一種卓有成效的入侵檢測模型。