基于深度學習的支持向量機的信息安全檢測和預警研究

王貴喜

(92493部隊 一分隊， 葫蘆島 125001)

0 引言

隨著互聯網技術和網絡規模的不斷增加，網絡入侵檢測成為互聯網安全研究的重要內容和熱點問題。所謂入侵檢測是指通過網絡數據的監測，檢測出網絡安全的入侵行為和入侵類型，并在此基礎上發出警報和進行預警處理。傳統的網絡入侵檢測存在檢測正確率低、擴展性差和容易發生誤報的缺點，基于歷史數據的機器學習方法可以通過歷史數據建立網絡入侵檢測模型，并對未來所監測出的網絡未知入侵攻擊進行高效識別，具有很強的擴展性和適應性。目前很多學者將機器學習方法引入網絡入侵檢測研究，方法主要集中在神經網絡[1]、貝葉斯算法[2]、支持向量機[3]、極限學習機[4]等，這些方法的特征選擇過度依賴人工，存在表達能力有限以及模型訓練受制于類別標簽，對于復雜網絡環境下的網絡入侵數據檢測的穩定性、可靠性和正確性均難以得到保證。

本文將深度學習[5-6]與支持向量機結合，提出一種基于深度信念網絡和支持向量機的網絡信息安全檢測算法。在復雜環境下，DBN-SVM可以自動提取網絡入侵特征屬性數據，通過不同算法在所用訓練集的比例為20%、30%和40%的準確率和誤報率對比可知，相同訓練集比例情況下，DBN-SVM較DBN和SVM模型具有更高檢測準確率和更低誤報率。

1 深度置信網絡

Hinton等[5]人于2006年提出深度置信網絡(Deep Belief Nets，DBN)算法，掀起了深度學習研究的熱潮，DBN模型是一種深層混合模型，它由多個受限玻爾茲曼機以串聯的方式堆疊而形成的一種深層網絡。本文采用無監督方式的貪心算法對原始數據進行預訓練，進而采用有監督方式的SVM算法對整個網絡的參數進行微調，最終獲得重構誤差最小的輸出數據。如圖1所示。

圖1 DBN模型

1.1 受限玻爾茲曼機

受限玻爾茲曼機[6](Restricted Boltzmann Machines，RBM)是一類具有對稱連接，層間全連接，層內無連接的無向隨機神經網絡，其網絡結構分為兩層，一層為可視層v，表示觀測數據；另一層為隱層h，表示特征提取器；w為兩層之間的連接權重。如圖2所示。

圖2 RBM模型

設所有可見單元和隱單元均為二值變量，如式(1)。

?i,j,Vi∈{0,1},hj∈{0,1}

(1)

其中：vi表示第i可視單元的狀態，hi表示第j隱單元的狀態。則對于一組給定狀態(v,h)，RBM作為一個系統所具備的能量定義為式(2)。

(2)

其中：wij表示可視單元i與隱單元j之間的連接權重，ai和bi分別是可視單元和隱單元的偏置量。假定RBM參數為θ，θ={wij,ai,bj}。當參數確定時，可以得到(v,h)的聯合概率分布，為式(3)、式(4)。

(3)

(4)

對于真正的問題，由RBM所定義的v分布是非常重要的，即聯合概率的邊緣分布P(v|θ)，為式(5)。

(5)

另設中間變量F(v)為式(6)。

(6)

對(5)式求導后取負后，則為式(7)。

(7)

在上述推導中，如要使RBM系統穩定，系統的能量需要最小化。即使公式(2)達到最小值，則需要令F(v)最小，或者令P(v|h)最大。

由RBM的結構具有對稱性，當給定隱單元狀態時，各可視單元的激活狀態條件獨立，即的激活概率為式(8)。

(8)

由于RBM層內無連接、層間全連接可知，當給定v時，各隱單元之間的狀態也條件獨立，即hj的激活概率為式(9)。

(9)

其中：σ(z)=1/(1+exp(-z))為激活函數。基于上述算法，RBM采用迭代法進行訓練，最終得到學習參數θ=(wij,ai,bi)的值，以適應給定的觀測數據。可以通過最大化訓練集(T)上的RBM的最大對數似然函數來獲得參數[7]為式(10)

(10)

由式(10)我們發現梯度很難計算，因此，RBM采用吉布斯抽樣來取得其近似值。一般來說，只需要使用吉布斯抽樣來獲得足夠好的近似值。所以可以得到更新規則的參數為式(11)～式(13)。

-W←W+ε(p(h1|v1)v1-p(h2|v2)v2)

(11)

-a←b+ε(v1-v2)

(12)

-b←b+ε(h1-h2)

(13)

其中ε表示學習率(Learning Rate)。

1.2 DBN-SVM網絡

在正向傳播過程中，輸入層神經元負責從外部接收輸入信息并將其傳遞給隱含層中的神經元，將隱含層的信息傳遞到輸出層，在誤差的反向傳播過程中，由于實際輸出與預期輸出之間存在誤差，當輸出誤差超過期望誤差時，則會進行誤差的反向修正。在本文中，利用深度網絡預訓練過程優化RBM參數，同時對整個DBN網絡結構進行SVM算法微調，如圖3所示。

圖3 DBN-SVM結構模型

2 支持向量機

(14)

其中，ω、C、ξi分別表示權重向量、誤差懲罰函數和松弛變量；φ(x)和b分別表示核空間映射函數和偏差。Lagrange函數L構造如[8]式(15)。

(15)

其中，ai表示Lagrange乘子。根據KKT條件，對公式(15)求偏導可得[9]，為式(16)。

(16)

消去ω和ξi，可得公式(17)，如式(17)。

(17)

其中，Q=(1，…,1)T，A=(a1,a2,…,am)T，Y=(y1,y2,…,ym)T，通過式(17)的求解，可得到SVM數學模型的估計[10-11]式(18)。

(18)

其中，K(x,xi)=exp(-||x-xi||2/2σ2)。

3 DBN_SVM訓練算法

本文深度置信網絡訓練時通過自低到高逐層訓練RBM將模型參數初始化為較優值，再使用BP算法對網絡進行微調，使得模型收斂到接近最優值的局部最優點。由于RBM可以通過對比散度(contrastive divergence，CD)等算法快速訓練，這樣就可以避免了直接訓練DBN的高計算量，將模型化簡為對多個RBM的訓練問題，解決了模型訓練速度慢的問題，能夠產生較優的初始參數，經過這種方式訓練后，有效地提升了模型的建模以及推廣能力。具體的訓練學習過程如下：

1) 輸入網絡入侵特征屬性數據X，并用CD算法充分訓練第一層RBM；

2) 通過第一層訓練RBM獲得的權重和偏移量作為第二層的輸入量訓練RBM；

3) 重復1)和2)過程直到訓練完所有的RBM；

4) 最后一層RBM的輸出作為第一層的輸入，實現模型參數的初始化；

5) 確定模型參數后，在DBN自聯想記憶模塊利用有監督的SVM算法自上而下的調整整個模型的參數。

算法流程如下：

Input：網絡入侵特征屬性數據X(訓練集和測試集)、網絡入侵類別。

Output：網絡入侵類別。

Initialize：W1：輸入層→隱含層的權值，B1：輸入層→隱含層的閾值

W2：隱含層→輸出層的權值，B2：隱含層→輸出層的閾值

η：步長

1 for 1:2 000//循環次數

2 輸入層→隱含層：

3z1=E·W1+B1，Z1=S(z1) //激活函數S

4 隱含層→輸出層：

5z2=E·W2+B2，Z2=S(z2)

7 反向傳播

8 輸出層→隱含層的梯度

9δ2=J′

10 隱含層→輸入層：

11δ1=J′·Z2

12 更新權值參數

15 取步驟b)中RBM的隱含層L2的輸出值矩陣Z1代表編譯后的數據，其中Z1是一個特征數為隱含層L2神經元個數m的矩陣為Z=Z1,Z2,…,Zm，并且取步驟b)中訓練好的權值W2和閾值B2。

16 確定模型參數后，在DBN自聯想記憶模塊利用有監督的SVM算法自上而下的調整整個模型的參數。

4 實驗仿真

4.1 數據來源

為了說明DBN_SVM算法進行網絡入侵檢測的效果，選擇KDD CUP99數據集為實驗對象[12-14]，該數據集包含41個特征，其中涉及字符和數值型，網絡入侵的標簽類型分別是正常、U2R、Probe、DOS和R2L，其編碼類型，如表1所示。

表1 KDD CUP99數據集標簽編碼

4.2 數據預處理

為了使得網絡入侵數據屬性特征位于同一數量級內，運用公式(19)對屬性數據進行歸一化處理，如式(19)。

(19)

4.3 DBN_SVM參數設置

DBN_SVM模型的參數如表2所示。

表2 DBN_SVM參數表

輸入特征數據維數為41，輸出類別為5類，因此輸入層和輸出層的神經元個數分別為41和5，隱含層神經元結構為100-70-30-61。

4.4 評價指標

為了說明不同方法的網絡入侵檢測方法的好壞，選擇準確率(Accuracy Rate，AR)和誤報率(False Alarm Rate，FR)作為評價指標，其式如[15-16]式(20)、式(21)。

(20)

(21)

式中，A表示總樣本數量；B表示正確分類的樣本數量；C表示被誤報為入侵的正常樣本數量；D表示正常樣本總數。

4.5 實驗結果與分析

4.5.1 不同訓練集比例

針對KDD CUP99數據集，DBN、SVM和DBN_SVM分別運用20%-40%的總樣本數量進行訓練，剩余的樣本進行測試，測試結果，如圖4所示。

圖4 DBN_SVM檢測精度圖

由圖4DBN_SVM檢測精度圖可知，當所用訓練集的比例為40%時，DBN_SVM的檢測準確率高達97.8%，當所用訓練集的比例為30%和20%時，DBN_SVM的檢測準確率分別為97.1%和95.1%，通過對比可知，隨著當所用訓練集的比例的增加，準確率的提升效率降低，從而說明DBN具有強大的抽象表示能力，在只有很少的數據量的情況下，就能訓練出表達能力很強的模型，同時體現出SVM良好的預測能力。

4.5.2 不同算法對比

為了說明DBN、SVM和DBN_SVM分別在所用訓練集的比例為20%、30%和40%的準確率和誤報率，DBN、SVM和DBN_SVM的檢測準確率和誤報率分別如表3、表4和圖5和圖6所示。

表3 不同算法檢測準確率

表4 不同算法檢測誤報率

圖5 準確率對比圖

圖6 誤報率對比圖

通過不同算法在所用訓練集的比例為20%、30%和40%的準確率和誤報率對比可知，相同訓練集比例情況下，DBN_SVM較DBN和SVM模型具有更高檢測準確率和更低誤報率；隨著訓練集比例的增加，DBN、SVM和DBN_SVM的檢測準確率和誤報率分別呈現增加和降低的趨勢，從而說明DBN_SVM進行網絡信息安全檢測具有更高檢測準確率和更低的誤報率，效果優于DBN和SVM模型。

5 總結

傳統的網絡入侵檢測存在檢測正確率低、擴展性差和容易發生誤報的缺點，結合DBN模型的自學習能力、建模能力和較強的魯棒性的優勢，將DBN與支持向量機結合，提出一種基于深度信念網絡和支持向量機的網絡信息安全檢測算法。研究結果表明，與DBN和SVM相比，DBN_SVM進行網絡入侵檢測具有更高的檢測準確率和更低的誤報率，為網絡入侵檢測和預警提供新的方法和途徑。

[1] 劉羿. 蝙蝠算法優化神經網絡的網絡入侵檢測[J]. 計算機仿真, 2015, 32(2):311-314.

[2] 王春東, 陳英輝, 常青,等. 基于特征相似度的貝葉斯網絡入侵檢測方法[J]. 計算機工程, 2011, 37(21):102-104.

[3] 謝偉增. 人工蜂群算法優化支持向量機的網絡入侵檢測[J]. 微型電腦應用, 2017, 33(1):71-73.

[4] 李新磊. 改進布谷鳥算法優化極限學習機的網絡入侵檢測[J]. 激光雜志, 2015(1):105-108.

[5] Lecun Y, Bengio Y ,Hinton G. Deep learning[J]. Nature,2015,521(7553)：436-444.

[6] Hinton G E, Osindero S, Y W. A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation, 1960, 18(7):1527-1554.

[7] 李春林, 黃月江, 王宏,等. 一種基于深度學習的網絡入侵檢測方法[J]. 信息安全與通信保密, 2014(10):68-71.

[8] 李佳. 混合雜草算法優化支持向量機的網絡入侵檢測[J]. 計算機應用與軟件, 2015(2):311-314.

[9] 王雪松, 梁昔明. 改進蟻群算法優化支持向量機的網絡入侵檢測[J]. 計算技術與自動化, 2015(2):95-99.

[10] 陶琳, 郭春璐. 改進粒子群算法和支持向量機的網絡入侵檢測[J]. 計算機系統應用, 2016, 25(6):269-273.

[11] 張小琴，賈郭軍.一種采用粗糙集和遺傳算法的支持向量機[J]. 山西師范大學學報(自然科學版)，2013(1)：35-38.

[12] 馬磊娟, 王林生. 改進最小二乘支持向量機的網絡入侵檢測[J]. 微型電腦應用, 2017, 33(7):76-79.

[13] 梁辰, 李成海, 周來恩. PCA-BP神經網絡入侵檢測方法[J]. 空軍工程大學學報·自然科學版, 2016, 17(6):93-98.

[14] 華輝有, 陳啟買, 劉海,等. 一種融合Kmeans和KNN的網絡入侵檢測算法[J]. 計算機科學, 2016, 43(3):158-162.

[15] 夏棟梁, 劉玉坤, 魯書喜. 基于蟻群算法和改進SSO的混合網絡入侵檢測方法[J]. 重慶郵電大學學報(自然科學版), 2016, 28(3):406-413.

[16] 袁開銀, 費嵐. 混合粒子群優化算法選擇特征的網絡入侵檢測[J]. 吉林大學學報:理學版, 2016, 54(2):309-314.

[17] 馬勇. 模糊推理結合Michigan型遺傳算法的網絡入侵檢測方案[J]. 電子設計工程, 2016, 24(11):108-111.

[18] 石云, 陳鐘, 孫兵. 基于均值聚類分析和多層核心集凝聚算法相融合的網絡入侵檢測[J]. 計算機應用研究, 2016, 32(2):518-520.