基于AE-BNDNN模型的入侵檢測方法

江 頡，高 甲，陳鐵明

(浙江工業大學計算科學與技術學院，杭州310000)

E-mail:jj@zjut.edu.cn

1 引言

模型的超參數自動尋優，獲得較高的檢測精度.

入侵檢測系統(Intrusion Detection System，IDS)作為防止網絡攻擊的一種重要手段，是對傳統安全設備(如防火墻)的重要補充，彌補了傳統安全技術的不足.IDS最早是通過實時監視網絡流量或主機數據來判斷系統行為是否異常，可以將其抽象為多分類問題.隨著網絡應用規模擴大，安全事件頻發，IDS系統已經成為當前網絡安全主要防控手段之一.

由于機器學習、深度學習技術在解決復雜數據分類問題時所展現出的強大能力，研究人員提出了使用各種機器學習模型用于提高入侵檢測系統的準確率［1］.但是，在面對特征規模較大的入侵檢測時，存在著兩個主要問題:第一，入侵檢測數據中人工設置的特征常包含著許多冗余，影響模型的檢測效果;另外，冗余的特征會增加模型訓練時間.針對以上兩個問題，本文提出了一種基于深度神經網絡的檢測模型.該模型首先采用自編碼器對數據特征進行學習，降低訓練數據特征的維度、去除冗余特征，然后采用經過改進的深度神經網絡(Deep Neural Networks，DNN)對經過特征降維的數據集進行分類，提高模型收斂速度并減少過擬合，并通過設計多層網格搜索算法實現對

2 相關研究

傳統的機器學習算法如樸素貝葉斯(Naive Bayesian，NB)［2］、邏輯回歸(Logistic Regression，LR)［3］和支持向量機(Support Vector Machine，SVM)［4］等在入侵檢測的研究中取得一定的效果［5］，隨著計算機硬件技術的不斷更新，計算機運行速度及計算性能的不斷提升，以神經網絡［6］為基礎的深度學習算法在大規模特征數據處理方面帶來了新的突破［7］.1992年，Debar等人［8］首次將神經網絡應用于網絡入侵檢測，提出采用神經網絡對用戶行為進行建模，并將其作為入侵檢測專家系統的一個補充.此后多種深度學習方法被應用于入侵檢測領域［9］，以解決網絡連續收集的流量數據導致的入侵檢測數據量大和多維特征的問題.Staudemeyer等人［10］首次使用循環神經網絡的變體長短期記憶神經網絡(Long Short Term Memory，LSTM)用于入侵檢測，通過大量的調參實驗，使用KDD CUP99數據集進行驗證，取得93.82%的準確率，但由于LSTM模型更適合于處理時序特征，所以適合于對高頻攻擊進行分類，對于低頻攻擊，LSTM效果欠佳.Ni Gao等人［11］將深度信念網絡(Deep Belief Networks，DBN)引入到入侵檢測領域，經過參數調試和預訓練，模型準確率最高達到93.49%，模型性能優于 SVM 和 ANN.Aygun等人［12］采用自編碼器(Auto Encoder，AE)和去噪自編碼器(Denoising Autoencoder，DA)作為分類方法，對KDD CUP99數據集進行實驗，分別取得了88.28%和88.65%的準確率.直接采用深度學習模型對入侵數據進行分類取得了一定的檢測效果，但由于沒有對入侵數據進行充分的處理，導致提出的多種入侵檢測模型沒有發揮出最好的檢測效果.因此，本文擬對網絡入侵數據進行特征降維處理，再采用調整過的深度學習模型對降維后的數據進行訓練.

3 AE-BNDNN入侵檢測模型的設計

3.1 設計思路和模型總體框架

為解決入侵數據高維數據特征給檢測模型帶來的兩個問題，即影響訓練準確率和增加訓練時間，本節給出如下設計思路.

首先，入侵檢測數據特征維度較高，存在人工設置的冗余特征，例如KDD CUP99數據集的特征經過預處理后達到122個，這是導致入侵檢測模型訓練速度緩慢和影響模型準確率的主要原因，因此需要對特征維度較高的入侵數據進行特征降維.本文采用自編碼器對特征進行降維，自編碼器(Auto-Encoder，AE)［13］是神經網絡的一種，通過對指定數據集的壓縮編碼，可以達到對訓練數據進行特征降維的目的，且壓縮效果優于主成分分析法(Principal Components Analysis，PCA)［14］.該算法將數據的特征部分作為輸入，經過訓練后將輸入近似地復制到輸出［15］，即輸出盡可能復現輸入.因為沒用使用到標簽數據，所以自編碼器是一種非監督的網絡模型.從自編碼器中獲得有用的特征，需要限制壓縮表達層h的維度比輸入層x的維度小，這種編碼維度小于輸入層維度的自編碼器也稱作欠完備自編碼器，欠完備自編碼器的壓縮表達層捕獲訓練數據中最顯著的特征.

然后，入侵檢測數據中存在多個特征具有不同數量級，例如在KDD CUP99數據集中，表示連接持續時間的字段duration取值范圍約為0到6×104，而表示從源主機到目標主機數據的字節數的字段src_bytes取值范圍約為0到1.3×109.利用深層神經網絡訓練入侵檢測數據，由于涉及到多層疊加，其中每一層輸入數據的分布可能會發生變化，從而導致每層的參數也會改變.這使得在訓練過程中必須降低學習的速率，將會影響網絡的訓練速度，也即內部相關變量轉移(Internal Covariate Shift).本文采用 ICML文中［16］提出的規范化層(Batch Normalization，BN)概念，即在DNN隱藏層的激活函數之前添加批量規范化層，來降低特征具有不同數量級對模型訓練速度的影響.將自編碼器網絡和改進后的深度神經網絡結合，設計形成新的入侵檢測模型——AE-BNDNN模型.

AE-BNDNN入侵檢測模型中存在大量參數可分為兩類:一類是根據訓練數據學習到的參數，譬如模型的權重和偏差等;另外一類是人工設定的參數，用于定義模型屬性或者訓練過程的參數，也稱為超參數.超參數不相同，則模型也不相同.由于沒有公認最好的超參數設置方法，超參數一般根據經驗確定，并不斷的進行實驗調優.自動調參方法中遺傳算法(genetic algorithm，GA)［17］和粒子群算法(particle swarm optimization，PSO)［18］屬于啟發式算法，往往操作復雜，可能會陷入局部最優的處境.而網格搜索法(grid search)［19］是將待搜索的參數在其可能取值范圍內劃分成多個網格，遍歷其中的所有可能交點來尋找最優的參數組合，當劃分區間足夠大，且步長足夠小的情況下可以找到全局最優解，這樣可以在允許的時間范圍內找到使模型最優的參數組合.

圖1 AE-BNDNN檢測模型Fig.1 AE-BNDNN detection model

因此，本文提出的模型總體框架如圖1所示，模型分為3個主要部分，第1部分即自編碼器用于入侵檢測數據特征降維;第2部分即改進的深度神經網絡進行入侵行為的分類;第3部分即使用多層網格搜索算法對模型超參數進行自動尋優.

3.2 基于自編碼器的特征降維

本文采用的自編碼器網絡結構由編碼部分和解碼部分組成.將入侵檢測數據集預處理后得到122個特征作為自編碼器網絡的輸入，首先采用3層隱藏層結構來對輸入數據做壓縮表達，壓縮表達層得到5維的特征，壓縮維度的選取將在

4.4.2 節實驗部分給出，然后解碼部分對壓縮的特征進行解碼重構，最后通過最小化重構項和原始數據之間的誤差對權值進行訓練.

具體步驟:

步驟1.編碼器將輸入層數據x進行壓縮表達:

其中，f表示非線性激活函數，如relu或者tanh，W和b表示編碼部分的權值和偏置，h表示編碼部分的輸出.

步驟2.解碼器將壓縮表達層數據h進行解碼重構，輸出為:

其中，W'和b'表示解碼部分的權重和偏置.

步驟3.最小化重構數據和原始數據的誤差，采用均方誤差計算輸出和輸入之間的誤差:

3.3 批量規范化層的深度神經網絡結構

本文采用ICML文中提出的規范化層(Batch Normalization，BN)概念，在DNN隱藏層的激活函數之前添加批量規范化層，即在每次使用小批量的樣本來訓練時，通過對隱藏層的激活函數做規范化操作，使得每層輸入的均值為0，方差為1.添加了批量規范化層的DNN的結構如圖2所示.

對于大小為m的小批量樣本mini-batch:B={x1…xm}，其中xi表示批量中的第i條訓練樣本，批量規范化操作的具體步驟:

圖2 添加批量規范化層的深度神經網絡結構Fig.2 Deep neural network structure with batch normalization layer

步驟1.計算整個mini-batch的均值μB:

步驟2.計算整個mini-batch的方差σ2B:

步驟4.對于隱藏層第k個神經元x(k)都有一對參數γ和β:

步驟3.對xi進行規范化操作得到^xi:

其中Var［x(K)］表示一批訓練數據在第k個神經元上的方差，E［x(K)］表示一批訓練數據在第k個神經元上的均值.

3.4 檢測模型的超參數優化

本文采用多層網格搜索策略對AE-BNDNN模型的超參數進行自動尋優，目的是為了找到一組最優的超參組合，使得模型對網絡入侵行為識別準確率達到最優.例如對于批量大小batch-size和訓練輪次epochs這組參數尋找最優組合，首先設置大步長，進行大范圍的搜索，找出當前的最優參數組合，例如batch-size和epochs取值分別為200和300，然后重新劃定搜索范圍，縮小步長，進行細粒度的搜索，進一步確定精確的最優參數組合.例如batch-size和epochs取值分別為195和310，重復執行直到模型的分類準確率不再提高為止，多層網格搜索過程如圖3所示.

圖3 網格搜索示意圖Fig.3 Grid search schematic diagram

令超參數組合P={A，B，…}，其中A，B分別表示待搜尋的參數，{a1，a2，…}∈A 和{b1，b2，…}∈B 分別表示待搜尋參數的候選值，搜索策略優化過程如算法1所示:

算法1.多層網格搜索優化

輸入:待尋的神經網絡超參數

輸出:超參數最優組合

算法開始

1給每個待尋優的超參數初始化一組間距較大的候選值;(a1，a2…)，(bi，b2…)，…;

2 遍歷每一組超參數組合(a1，a2…)，(bi，b2…)，…;

2.1 當前超參數組合代入模型計算準確率:

Accuracy(ax，bx，…)

2.2 記錄當前超參數組合及其準確率Accuracy;

3選擇第2步得到使Accuracy最大的超參數組合，對其中的每一個超參數，在其鄰域內重新劃分較小的候選間距，使得上一層間距為新間距的α倍，α的具體值由實驗確定，設置新的間距候選值;

4對新的超參數候選值重復第2步、第3步;

5直到模型準確率不再提高為止，得到一組超參數組合(^a1，^b1，…).算法結束

4 實驗及結果分析

4.1 實驗數據和實驗環境

本文實驗數據采用Tavallaee等人［20］在KDD99數據集的基礎上提出的NSL-KDD數據集，它針對KDD CUP99數據集中存在的不足，刪去了其中的冗余數據.NSL-KDD數據集每條記錄的數據格式和KDD99數據集相同，每一條數據包括41個特征和1個標簽.其中41個特征包括32個連續特征和9個離散的特征，標簽包含拒絕服務攻擊(Dos)、掃描攻擊(Probing)、來自遠程機器的非法訪問(R2L)、普通用戶對超級用戶特權非法訪問(U2R)和正常(Normal)五類.本文隨機選取其中的30000條數據進行實驗.

實驗硬件環境為Windows7操作系統，CPU為i7-4790，內存4G.模型采用開源的深度學習框架Keras搭建.

4.2 數據預處理

對實驗數據主要進行離散數據數值化和數據歸一化處理.

對NSL-KDD數據集9個離散類型特征中的協議類型protocol_type、目標主機的網絡服務類型service和連接正常或者錯誤的狀態flag進行獨熱編碼(one-hot編碼).例如protocol_type共有三種取值，對其進行one-hot編碼如表1所示.

表1 對離散數據進行one-hot編碼Table 1 One-hot encoding of discrete data

對輸入數據特征進行歸一化使得特征被限定在一定的范圍內(比如［0，1］或者［-1，1］)，進而消除奇異樣本數據引起的不良影響，可以加快模型的學習過程.對于數據分化較大的特征如duration(連接持續時間)、src_bytes(從源主機到目標主機的數據的字節數)和dst_bytes(從目標主機到源主機的數據的字節數)采用非線性歸一化:

然后對所有特征進行最大最小標準化(Min-Max Normalization):

4.3 實驗評價標準

AE-BNDNN模型是分類模型，分類模型最常用真陽性(True Positive，TP)，假陽性(False Positive，FP)，真陰性(True Negative，TN)和假陰性(False Negative，FN)4 個指標來度量模型的有效性.

由于NSL-KDD數據集屬于分類不平衡的數據集，其中正常樣本所占比例遠遠高于其他四種異常樣本，因此選擇使用準確率(Accuracy)，精確率(Precision)，召回率(Recall)和F1分數(F1-score)四個指標評價AE-BNDNN模型以及其他對比模型的分類性能.

4.4 實驗對比與分析

AE-BNDNN模型自編碼器部分采用多層神經網絡結構，輸入層有122個神經元，輸出層和輸入層神經元相同，網絡入侵數據的輸入的特征向量既作為神經網絡的輸入又作為神經網絡的標簽，實驗中采用的編碼器和解碼器各三層，分別有80、40、10和10、40、80個神經元.輸入特征向量經過自編碼器隱藏層的重構，在隱藏層的向量就可看作是輸入特征向量的壓縮.其中隱藏層的數據作為下一步深度神經網絡分類器的輸入.

4.4.1 訓練輪次對模型的影響

模型訓練時把所有訓練數據完整訓練一次為一個輪次(epoch)，輪次的大小對模型分類準確率有很大影響.如圖4所示，隨著輪次次數的增加，AE-DNN模型檢測準確率Accuracy逐漸升高并趨于穩定，準確率可達到97%.

圖4 輪次大小對檢測準確率的影響Fig.4 Effect of the number of epochs on the detection accuracy of model

4.4.2 自編碼器壓縮維度對模型的影響

自編碼器將122維的特征壓縮至低維特征的程度對AEDNN模型準確率的影響如圖5所示.實驗結果顯示，特征降維的維度對模型的準確率產生一定的影響，特征縮放至10-20維時效果較好.

圖5 壓縮維度對模型檢測準確率的影響Fig.5 Effect of compression dimensions on the detection accuracy of model

4.4.3 添加批量規范化層對模型的影響

模型添加BN層與未添加BN層實驗對比如圖6所示，結果顯示，添加BN層模型收斂速度加快，并且模型的準確率有一定的提升，準確率最高可達到98%.

圖6 添加BN層對模型檢測準確率的影響Fig.6 Effect of adding BN layer on the detection accuracy of model

4.4.4 多層網格搜索優化超參數對模型的影響

使用多層網格搜索算法對批次大小、優化函數、初始權重、激活函數和隱藏層神經元個數等超參數進行自動參數尋優.搜索算法對AE-BNDNN模型超參數進行調優實驗結果如圖7所示，隨著訓練輪次的增加，模型收斂速度進一步提升，準確率最高達到99.28%.

圖7 網格搜索對模型檢測準確率的影響Fig.7 Effect of grid search on the detection accuracy of model

4.4.5 與其他方法對比

表2 不同模型對比Table 2 Comparison of different models

4.4.6 模型平均建模時間

圖8展示了本文所提模型與傳統DNN模型以及PCA-DNN模型的建模時間對比，包括模型訓練時間和模型測試時間.從圖8中可以看出，AE-BNDNN模型在訓練時間上比傳統DNN降低了18.8%，在測試時間上和傳統 DNN相當.由于本文采用的自編碼器屬于神經網絡，導致模型訓練時間較長，略高于采用PCA降維的模型，但用于測試時的時間消耗是相近的.實驗表明AE-BNDNN模型相對于DNN模型在提高檢測準確率同時，能夠進一步降低模型訓練時間.

圖8 建模時間對比Fig.8 Modeling time comparison

5 結論

本文針對入侵檢測數據特征規模較大而導致機器學習算法檢測準確率較低和訓練時間較長的問題，提出了AEBNDNN模型，實驗結果表明，本文提出的模型在多個評估指標上均優于其他對比方法，并且有效地降低了模型訓練時間.但由于自編碼器自身的不足，導致模型學習時間增加，所以模型在運行時間上還有改進空間.下一步工作將研究真實情況下的網絡入侵，使用帶有噪聲的數據來驗證AE-BNDNN模型的檢測性能.