基于ICNN-MMD的網絡入侵檢測方法

李卓文，鄧在輝，葉彩瑞，彭 濤

（武漢紡織大學 計算機與人工智能學院，湖北 武漢 430200）

0 引言

網絡技術發展使人們聯系更緊密，在帶來便利的同時，各種網絡安全問題也不斷浮現，一旦民生等重要設施被境外攻擊者入侵，后果將非常嚴重。為了應對上述問題，工業界和學術界提出了許多解決方案，網絡入侵檢測系 統（Network Intrusion Detection System，NIDS）為其中之一。

雖然，基于深度學習的網絡入侵檢測方法極大提升了檢測性能，但需要大量帶標簽數據才能訓練出更好的攻擊分類模型。與此同時，標注攻擊流量本身也是一項耗時長、易出錯的工作［1-2］。此外，深度學習方法只有在新數據與原有數據具有相同特征空間與統一分布的條件下才具有較好的性能，這意味著在網絡入侵檢測領域中一旦檢測到新型攻擊，模型就需要耗費大量計算資源重新訓練，并未較好運用原有模型蘊含的知識。因此，遷移學習［3］方法被提出，其核心思想是從原有數據集中提取信息并重新應用于新數據集，即利用源域數據集知識提升目標域的任務性能［4］。

本文提出一種基于改進卷積神經網絡結合最大均值差異（Improved Convolutional Neural Network and Maximum Mean Discrepancy，ICNN-MMD）的遷移學習網絡入侵檢測方法，通過無監督域適應方式最小化源域與目標域間距離，實現兩者特征遷移，達到提升模型泛化能力的目標。實驗表明，本文所提方法的各項總體指標相較于現有方法提升較大，證實了所提方法的有效性。

1 相關工作

張陽等［5］使用簡單抽樣與SMOTE 算法平衡KDD99 數據集，隨后利用常見的傳統機器學習算法分別在平衡前后的數據集上進行測試，但并未改進機器學習算法。其中，采用KNN 算法在少數分類攻擊類型上的檢測準確率較差。由于傳統機器學習方法未能較好提取數據特征，學者們開始研究基于深度學習的入侵檢測方法。時東閣等［6］利用卷積神經網絡提取特征，通過Softmax 回歸進行多分類，最后采用Focal loss 函數優化數據集不平衡問題，但需要花費較長的訓練時間。Sun 等［7］組合CNN 與LST 提取數據集的時空特征，利用分類權重優化方法平衡數據集以提升檢測率，但在CICIDS2017 上測試時，由于數據較少導致攻擊類型Heartbleed、SSH-Patator 的檢測率較差。Kunang等［8］結合預訓練的自編碼器（Auto Encoder，AE）與深度神經網絡（Deep Neural Network，DNN）實現入侵檢測，模型使用自動超參數優化過程尋找最優配置，預訓練階段使用AE、深度自編碼器（Deep Auto Encoder，DAE）、堆疊自編碼器（Stacking Auto Encoder，SAE）提取特征，其中深度自編碼器結果最優。Gao 等［9］設計基于深度神經網絡與聯合分析（Association Analysis，AA）的異常檢測系統，使用Apriori算法構建數據集各種特征間的關聯規則，然后匹配分類數據與規則，將不匹配的信息識別為惡意流量，生成報警日志，但該方法相較于部分方法在NSL-KDD 的二分類精確度偏低，深度神經網絡依然存在改進空間。

遷移學習作為新的學習方法，學者們嘗試將遷移學習應用到網絡入侵檢測領域。彭雨荷等［10］提出基于聯合分布適配的遷移學習方式，尋找最優變換矩陣以適配源域、目標域的邊緣概率、條件概率，實現源域與目標域的特征遷移，解決源域與目標域間的分布差異導致檢測率降低的問題。然而，該方法會產生高維特征遷移矩陣的搜索問題，對訓練集規模具有一定要求，且在大規模數據集上訓練模型時收斂速度較慢。Singh 等［11］提出一種基于廣義深度遷移學習（Transfer Learning，TL）的高擴展性堆疊GRU模型處理網絡入侵檢測中的多維數據、多變量時間序列的回歸與分類問題，但實現較為復雜。盧明星等［12］設計的遷移學習框架由嵌入層和標簽層實現編解碼，權重由源域、目標域共享，用于知識遷移。在嵌入層中，通過最小化域間嵌入實例的KL 散度來強制源域與目標域數據分布相似；在標簽編碼層中，使用Softmax 回歸模型編碼分類源域標簽信息。Li 等［13］提出基于主動遷移學習的入侵檢測算法AcTrAdaBoost，該算法準確率、訓練時間相較于其他算法更優，但更適用于單個源域且目標域存在少量數據標注的條件下。

2 ICNN-MMD模型

本文提出的ICNN-MMD 模型采用暹羅式網絡，源域數據與目標域數據共享神經網絡權值，具體結構如圖1 所示。ICNN-MMD 的神經網絡包含5 個卷積層，兩個最大池化層，4 個全連接層［14］。其中，卷積層1-3 使用RELU 激活函數增大網絡稀疏程度，全連接層1、2 使用Dropout 方法防止過擬合。

Fig.1 ICNN-MMD model structure圖1 ICNN-MMD模型結構

網絡采取跨層聚合的設計方式，跨層是指從卷積層2開始保存卷積結果，隨后分別進行卷積、池化、全連接操作，聚合是指利用Tensorflow 的concat 函數合并操作全連接層2、4 的輸出數據。最后，通過Softmax 分類計算分類損失值并反向傳播，不斷修正網絡權值和偏置值，直至模型收斂，ICNN 結構如圖2所示。

Fig.2 ICNN model structure圖2 ICNN模型結構

為了實現源域與目標域間的域適應（Domain Adaption，DA），本文設計的卷積神經網絡架構［15］引入適配層（Adaptation Layer，AL）與域損失（Domain Loss，DL），將入侵檢測數據集的訓練集作為源域數據，測試集作為目標域數據，二者共享神經網絡權值。在模型訓練時，DL 與原有損失共同計算并反向傳播，逐漸優化、調整卷積神經網絡的權值與偏置值，具體網絡架構如圖3所示。

Fig.3 Structure of convolution neural network in this paper圖3 本文卷積神經網絡結構

為了定量描述源域與目標域間的差異（域損失），引用標準分布度量，即最大均值差異（Maximum Mean Discrepancy，MMD），具體計算公式為：

其中，φ(·)為定義表征，xs∈XS表示源域數據，xt∈XT表示目標域數據。

因此，新架構的網絡優化目標是最小化分類損失與MMD 距離，如式（2）所示。

其中，LC(XL，y)表示標簽數據XL的分類損失，XL為Ground Truth 標簽，MMD(XS，XT)表示源域數據XS和目標域XT的距離，λ為超參數，決定了域適應的強度。若該參數設置過低將導致MMD 正則化在學習表征時效果較差，設置過高會導致數據點距離過近，學習表征退化。

3 數據預處理

3.1 實驗數據集

本文采用的NSL-KDD 數據集相較于KDD CUP 99，在模型訓練上收斂速度更快，樣本數據分布更均衡合理，可利用性更高，一定程度上提升了模型的泛化能力［16-17］。其中，訓練集KDDTrain+包含125 973 條記錄（約18.2 MB），測試集包含KDDTest+與KDDTest-21，分別包含22 544 條記錄（約3.28 MB）、11 850 條記錄（約1.69 MB）。表1 為NSL-KDD 數據樣本分布。

Table 1 Sample distribution of NSL-KDD dataset表1 NSL-KDD數據集樣本分布

由表1 可見，數據集中包含正常類數據（Normal）和另外4 種攻擊類型數據，分別為Probe、DoS、U2R、R2L，而他們又可細分為39 個小類攻擊類型。因此，NSL-KDD 數據集的每條記錄均為42 維，包含38 維數字特征，3 維符號特征與1個攻擊類型標簽（Label）。

3.2 數據預處理

3.2.1 獨熱編碼（One-Hot Encoding）

NSL-KDD 的3 個符號特征分別為protocol_type、service、flag。具體的，protocol_type 在數據集中包含TCP，UDP、ICMP，編碼為3 維二進制向量；service 在數據集中有70 類，編碼為70 維二進制向量；flag 編碼為11 維二進制向量。包括其他數值特征，數據集中的每條記錄始終為122維向量。

3.2.2 歸一化

NSL-KDD 數據集中各特征數值范圍不同，即存在明顯差異，如果直接送入模型訓練會導致收斂速度緩慢、波動較大、模型精度較差等問題。歸一化操作是將各區間數據映射到統一、特定區間，以此加速模型收斂速度。為此，本文將各特征數值縮放至［0，1］區間，具體計算公式如下：

其中，x為某個特征值，xmin表示數據集中對應該特征的最小值，xmax表示數據集中所對應特征的最大值，xnorm為歸一化處理后的結果。

4 實驗結果與分析

4.1 實驗設計

本文通過實驗驗證所提方法是否能使源域與目標域間的域適應為目標域帶來增益，并依據此方法所構建的多分類器是否能提升目標域的效果。

實驗將訓練集KDDTrain+作為源域數據，測試集KDDTest+、KDDTest-21 作為目標域數據并進行多分類輸出。同時，實驗分為兩次訓練，第一次在最優超參數的情況下使用源域數據訓練ICNN 模型，然后在目標域數據上測試得到結果；第二次為基于ICNN-MMD 的方法訓練，即在第一次訓練好的ICNN 模型基礎上使用不帶標簽的目標域數據，以無監督方式進行基于MMD 的域適應優化訓練。隨后，分別比較兩次訓練在目標域數據上的實驗結果，包含總體指標和多分類指標。最后，將本文算法與現存算法進行比較。

4.2 實驗環境

本文實驗在Windows 10 下進行，處理器為Intel i7-7700HQ，顯卡為NVIDIA GEFORCE GTX 1050，顯存為4GB。為提高程序運行效率，采用基于GPU 的Tensorflow-GPU 框架及Keras API，使用Pycharm 2019平臺進行開發。

4.3 實驗指標

本文使用檢測準確率（Accuracy）、精確度（Precision）、召回率（Recall）和F1 值（F1-Score）作為評價指標。其中，檢測精度為測試數據檢測過程中得出的檢測精度。

（1）準確率。準確率越高代表模型性能越好。

（2）誤報率。誤報率是正常流量被錯誤的判斷為攻擊的比例。

（3）精確度。精確度是精確性的度量值，精確度計算值通常為Precision=1 -FAR，也可通過公式（6）求解。

（4）召回率。召回率是覆蓋面的度量值，該值表示真實為正中被預測為正的比例。

（5）F1 值。F1 值是綜合計算Precision 與Recall 的指標值，能表示模型整體性能。

對于整體數據集而言，除誤報率外的指標越高越好；對于模型分類而言，精確度、召回率越高代表分類效果越好，但僅靠準確率可能無法判斷模型的分類優劣。

4.4 結果分析

經過多次組合訓練，第一次訓練最優參數Epoch=50，學習率為0.05，batch_size=50，優化器選擇隨機梯度下降優化器。第二次訓練最優參數epoch=10，學習率為0.005，lambda=30，優化器也選擇隨機梯度下降優化器。表2、表3均將KDDTest+作為目標域數據，表2展示多分類指標，表3展示總體指標。由表2 可見，ICNN-MMD 方法相較于ICNN，Normal 準確度提升0.13%，DoS 提升4.06%，Probe 提升0.41%，U2R 提升2.98%，R2L 提升0.38%。由表3 可見，ICNN-MMD 總體指標優于ICNN，Accuracy 提升1.5%，Precision提升0.26%，Recall提升2.54%，F1值提升1.9%。

Table 2 Multi-classification accuracy performance of ICNN-MMD on KDDTest+表2 ICNN-MMD在KDDTest+上多分類準確率指標（%）

Table 3 Global performance of ICNN-MMD on KDDTest+表3 ICNN-MMD在KDDTest+上總體指標（%）

表4、表5 將KDDTest-21 作為目標域數據。表4 展示多分類指標，表5 展示總體指標。由表4 可見，ICNN-MMD方法的多分類指標均有提升，Normal的準確度提升0.65%，DoS 提升7.21%，Probe 提升0.46%，U2R 提升1.49%，R2L 提升0.38%。

Table 4 Multi-classification accuracy performance of ICNN-MMD on KDDTest-21表4 ICNN-MMD在KDDTest-21上多分類準確率指標（%）

Table 5 Global performance of ICNN-MMD on KDDTest-21表5 ICNN-MMD在KDDTest-21上總體指標（%）

由表5 可見，ICNN-MMD 相較于ICNN，Accuracy 提升2.96%，Precision 提升0.54%，Recall 提升3.46%，F1 值提升3.0%。

為直觀觀察模型表現，表6 給出了KDDTest+數據集在多分類上的混淆矩陣，其中縱列為真實類，橫列為預測類。由此可見，大多數樣本被正確分類，位于對角線上，但U2R、R2L類型更多地被誤判為Normal類型。

Table 6 Confusion matrix on KDDTest+表6 KDDTest+上的混淆矩陣

表7 為KDDTest+每個攻擊分類的FAR 和Recall 指標。由于NSL-KDD 訓練集中U2R、R2L 類型數據較少，由此可見U2R、R2L類型的誤報率偏高，檢出率偏低。

Table 7 Multi-classification attack performance表7 多分類攻擊指標（%）

將本文所提方法與RF、DT、GaussianNB、BiLSTM、GoogleNet 和DLNID 方法進行比較，總體指標均在KDDTest+上測試所得，如表8 所示。由此可見，本文提出的ICNN-MMD 方法優于ICNN；DLNID-MMD 方法也優于DLNID。整體而言，本文所提方法的總體指標值均高于其他算法。

Table 8 Overall indicators of various methods on KDDTest+表8 各類方法在KDDTest+上總體指標（%）

5 結語

在目前網絡環境中，網絡設施數據交換量大，攻擊類型多樣，人工標注的數據集規模極為有限。為此，本文提出基于ICNN-MMD 的網絡入侵檢測方法，首先將NSLKDD 數據集預處理為適合神經網絡輸入的格式；然后將實驗分為兩次訓練過程，第一次以最優參數預訓練ICNN 模型，第二次則在前者的基礎上利用無標簽目標域數據進行無監督的域適應優化訓練；最后將兩次訓練的模型與第一次訓練和其他方法進行比較。

實驗表明，本文所提方法提高了網絡入侵檢測模型的總體指標。此外，由于KDDTest-21 同源域數據分布差異更大，將KDDTest-21 作為目標域數據相較于KDDTest+對模型的提升更明顯。