適應多元尺寸長度的卷積神經網絡模型在網絡入侵檢測中的應用

金立群

適應多元尺寸長度的卷積神經網絡模型在網絡入侵檢測中的應用

金立群

石家莊職業技術學院, 河北 石家莊 050081

為了實現對網絡入侵檢測領域深度層次特征的探索，本文將多元尺寸長度的卷積神經網絡模型引入，并通過BN算法改善模型在學習率方面的表現，結果表明，卷積神經網絡在檢測入侵事件方面是完全可行、有效的。

卷積神經網絡模型; 網絡入侵; 檢測

在網絡應用逐漸滲透到經濟、科研、軍事以及國民生活等領域的過程中，其重要性日益凸顯出來。與此同時，網絡攻擊事件層出不窮，各種新的攻擊手段不斷涌現，稍有疏忽就會導致發生網絡安全事件。當然，網絡具有開放性的特點，這就決定了安全隱患是無處不在的，所以當前最重要的采取科學的手段，盡量在最大程度上保障網絡的安全。在這樣的背景下，越來越多的學者開始投入到入侵檢測系統[1]的研究中來。以往的安全技術作用較為有限，入侵檢測模型在保障網絡安全方面展示出巨大的應用潛力。利用機器學習技術的建模是入侵檢測最受關注的新方法。相比而言，基于支持向量機[2]算法、神經網絡[3]、聚類算法等受到了更多的重視。但這些方法具有淺層挖掘的特征，面對附有標簽且容量較小的數據源，并不適用。在網絡數據呈現出幾何式暴增態勢的今天，每天都會產生海量的高維非線性無標簽網絡數據，導致入侵檢測的難度大幅提高，于是學者們將關注點轉向深度學習。Alom Zahangir[4]證明了深層信念網絡在入侵檢測領域的價值和作用；康松林[5]將深度神經網絡和極限學習機綜合起來，在此基礎上創建了全新的深度多層極限學習機算法，該算法具有更高的分類效率；高妮課題組[6]創建了深度信念網絡，實驗證明它非常適用于海量網絡數據；在研究中選擇的是遞歸神經網絡入侵檢測模型，其在入侵檢測精度方面具有更好的表現，整體性能遠超機器學習[7]。綜上所述發現卷積神經網絡在計算機視覺、語音識別、自然語言處理等方面具有較高的價值，但其網絡結構不支持IDS的網絡數據，這是很少有學者探討該網絡在入侵檢測領域作用的主要原因。

針對卷積神經網絡的缺陷，在本文中著重探討了其在網絡入侵檢測方面的價值和作用。基于網絡數據的特征，創建適應多元尺寸長度的卷積神經網絡（Multi-dimensional length neural network MDLCNN），然后利用BN（Batch Normalizing）[8]方法改善模型在學習率方面的表現，結果發現卷積神經網絡在網絡入侵檢測領域是一種可行、高效的方法。

1 MDLCNN模型

1.1 MDLCNN模型結構

本文基于網絡數據的特征，創建MDLCNN模型，CNN首先對圖像進行處理，圖像的分類，首先需要提取圖像的局部特征，據此對人臉進行識別，或者是區分各種目標。但這種方法在網絡流量分類中是行不通的，它需要拼湊不同的局部才可以達到分類的目的。針對這一點，本文創建了能夠完成網絡數據流量分類的MDLCNN模型，詳見下圖1(注：圖中數字值代表舉證的維數，如11，即為11*11矩陣)。

圖1 多元尺寸長度的卷積神經網絡模型結構

MDLCNN模型包含了3個多元尺寸長度卷積層，2個卷積層，1個Pooling層，3個全連接層，另外還有連接Softmax分類器。卷積層通過BN算法實現了更高的學習速率，各層都通過Relu函數激活，全連接層使用Dropout策略對抗過擬合激活函數采用Sigmoid，所以避免了BN層的應用，網絡結構參數詳見下表1，表中MS Conv為MS Convolution，Conv為Convolution，Ave Pool為Average Pooling，Drop為Drop out，Act Func為Activation Function。

表1 MDLCNN網絡結構參數

1.2 BN方法

BN方法是良好的訓練優化方法，來自Google公司，Batch代表數據的批量，Normalization代表數據的標準化，將BN算法引入到卷積層中，網絡結構的學習率因此大幅提高。BN算法的執行步驟為：輸入：輸入數據1,2,…,x（1至x均需要提供給激活函數）。

a.計算提供給激活函數數據1,2,``````,x的平均值：

b.計算1,2,``````,x這些數據的方差：

c.對數據予以標準化處理：

d.對參數，進行訓練

在訓練的正向傳播中，當前輸出是恒定的，只需記錄和，在反向傳播環節，基于與通過鏈式求導方式，計算出學習速率，據此調整權值。

2 實驗仿真

2.1 實驗數據集和仿真環境

實驗采用的數據都是由MIT林肯實驗室提供的，它包含了600萬條記錄，這里面有10%的數據是用來測試和訓練的。本實驗中具體的測試和訓練數據詳見下表2和3：

表2 訓練集類別、數量和比例

表3 測試集類別、數量和比例

2.2 仿真過程

首先對訓練集予以預處理，通過Pandas框架提取數據集包含的五類結構，新建五個文件夾并編號0、1、2、3、4，其中0用來存儲DOS類別，1用來存儲Normal類別，2用來存儲Probe類別，3用來存儲R2L類別，4用來存儲類別。分類存儲旨在讓所有的網絡記錄都能夠附上標簽。讀取訓練集的數據，然后提交測試數據。

三個模型的最后一層，均設置成5個輸出，分類是通過tf.arg.max函數實現的，也就是說五個輸出中最大概率位置的編碼對應的數字標簽。通過交叉熵tf.sparse_sofrmax_cross_entropy_with_logits()函數計算出誤差loss，優化器通過Adam optimizer提高精度，學習率設置成0.1。

通過0均值的高斯函數，對各層的權值以及偏置予以初始化處理，損失率達到了0.02，考慮到數據集里面的數據分布大小不均在卷積前使用BN層，使數據均勻分布，實現更高的網絡結構學習速率。通過drop out方式在全連接層中連接map特征，從而避免出現過擬合的情況，使網絡結構在泛化性方面具有更好的表現。

2.3 實驗結果分析

在本文中我們進行了4組對比實驗，以收斂速度、誤報率、準確率為指標進行比較。

第1組實驗的內容是Pooling層重疊MDLCNN和非重疊MDLCNN的分析，結果詳見下表4。

表4 不同重疊方式的錯誤率

對上表中的數據進行分析能夠確定：Average Pooling收斂耗時更短，且精準度更高。重疊方式Pooling或許會導致噪聲。根據數據類型利用Average Pooling或Max Pooling能夠消除噪聲，第2組實驗的內容是 Average Pooling和Max Pooling分析，結果詳見下表5 。

表5 不同Pooling方式的錯誤率

對上表中的數據進行分析可知，不管是從收斂效率抑或準確率來看，Average pooling 的表現都比Max pooling更好，充分證明推理是正確的。

BN層有助于實現更高的網絡學習速率，第3組實驗對比了單純的MDLCNN模型和帶有BN層的MDLCNN模型，結果詳見下圖2。

對圖2中的數據進行分析能夠確定：BN層的應用有助于縮短收斂耗時，實現更高的學習速率。

圖2 是否帶BN算法的實驗對比

Fig.2. Experimental comparison with or without BN algorithms

第4組試實驗比較的是Alexnet模型[9]，Lenet-5模型還有本文研究的MDLCNN模型，在實驗環境、訓練數據完全一致的情況下完成訓練，然后利用測試集對訓練結果進行驗證，利用準確率（Accuracy, AC）和誤報率（False alarm, FA）這兩項指標來評估模型的性能，實驗結果詳見下圖3和4；為了提高測試結果的可信度，計算五次測試結果的平均值。對圖3中的數據進行分析能夠確定，MDLCNN模型對DOS、Normal、Probe、U2L、R2L的檢測率依次為94%、93.1%、92.6%、92.1%、90%，比其他兩種模型的準確率高出了4.38%左右，因此該模型在檢測率方面具有顯著的優勢。

圖3 五種攻擊類型在三種算法上的檢測率

圖4 五種攻擊類型在三種算法上的誤報率

對圖4中的數據分析可知，MDLCNN模型在檢測DOS、Normal、Probe、U2L、R2L方面的誤報率依次為6%、7.9%、7.4%、8.9%、10.2%，證明模型在檢測IDS入侵事件方面的準確性更高。

3 結語

深度學習方法在入侵檢測方面具有良好的表現，它能夠有效的提取高維特征向量的特征，能夠高效、準確的完成分類任務。本文探討了卷積神經網絡在入侵檢測方面的價值和作用。實驗結果表明，卷積神經網絡在檢測入侵事件方面是完全可行、有效的。本文對卷積神經網絡進行優化，以改善其分類性能。在未來，將會有更多的精力對其進行研究和優化，從而縮短訓練耗時、降低分類誤差、強化其泛化性能。

[1] Bauer JM, Dutton WH. The New Cybersecurity Agenda: Economic and Social Challenges to a Secure Internet[R]. SSRN Electronic Journal, 2015

[2] Narayana KV, Manoj VVR, Swathi K. Enhanced Face Recognition based on PCA and, SVM[J]. International Journal of Computer Applications, 2015,117(2):40-42

[3] Samrin R, Vasumathi D. Hybrid Weighted K-Means Clustering and Artificial Neural Network for an Anomaly-Based Network Intrusion Detection System[J]. Journal of Intelligent Systems, 2016,27(2):135-147

[4] Alom MZ, Bontupalli VR, Taha TM. Intrusion detection using deep belief network and extreme learning machine[J]. International Journal of Monitoring and Surveillance Technologies Research, 2015,3(2):357-378

[5] 康松林,劉樂,劉楚楚,等.多層極限學習機在入侵檢測中的應用[J].計算機應用,2015,35(9):2513-2518

[6] 高妮,高嶺,賀毅岳.面向入侵檢測系統的Deep Belief Nets模型[J].系統工程與電子技術,2016,38(9):2201-2207

[7] Yin CL, Zhu YF, Fei JL,A Deep Learning Approach for Intrusion Detection Using Recurrent Neural Networks[J]. IEEE Access, 2017,5:21954-21961

[8] Loffe S, Szegedy C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[J]. ArXiv e-prints, 2015,3(2):448-458

[9] Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks[J]. Advances in neural information processing systems, 2012,25(2):1097-1105

Application of the Convolutional Neural Network Model being Suitable for Multi-dimensional Size Length in Network Intrusion Detection

JIN Li-qun

050081,

In order to realize an exploration for some deep characteristics in the field of network intrusion detection, this paper introduced the convolution neural network model being suitable for multi-dimensional size length into network intrusion detection and improved the manifestation of model in learning rate through BN algorithm. The results showed that it was completely feasible and effective to detect the network intrusion by convolutional neural network model.

Convolutional neural network model; network intrusion; detection

TP309

A

1000-2324(2019)05-0877-04

10.3969/j.issn.1000-2324.2019.05.031

2018-04-10

2018-06-08

金立群(1970-),男,本科,工程師/講師,主要研究方向為軟件工程、信息安全. E-mail:chinlichun@163.com