基于深度循環(huán)神經(jīng)網(wǎng)絡(luò)的入侵檢測方法

王佳坤 繆祥華，b 邵建龍

（1.昆明理工大學(xué)a.信息工程與自動化學(xué)院；b.云南省計(jì)算機(jī)技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室）

由于網(wǎng)絡(luò)數(shù)據(jù)的快速增長和可用計(jì)算資源的有限性，傳統(tǒng)的入侵檢測技術(shù)已經(jīng)難以維持較高的檢測效率，基于人工智能技術(shù)的入侵檢測技術(shù)比起傳統(tǒng)的入侵檢測技術(shù)具有更大的優(yōu)勢，因此該技術(shù)的發(fā)展至關(guān)重要。

攻擊類型逐漸多樣化，不再局限于攻擊者的技術(shù)或知識水平，利用深度學(xué)習(xí)可以產(chǎn)生復(fù)雜的攻擊，當(dāng)然也可用于攻擊的防御。 許多研究人員致力于用深度學(xué)習(xí)算法開發(fā)智能入侵檢測系統(tǒng)，提高應(yīng)對日益增長的網(wǎng)絡(luò)威脅的能力。

入侵檢測是發(fā)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)中與正常數(shù)據(jù)存在差異的異常數(shù)據(jù)。 傳統(tǒng)的機(jī)器學(xué)習(xí)方法，如監(jiān)督異常檢測方法，需要進(jìn)行數(shù)據(jù)標(biāo)記，可在平衡的數(shù)據(jù)集上獲得較好的效果，然而，數(shù)據(jù)集中大多存在數(shù)據(jù)不平衡的現(xiàn)象。 數(shù)據(jù)集中的不平衡性會使得某些攻擊類型數(shù)據(jù)偏少，降低了入侵檢測技術(shù)在訓(xùn)練過程中對少數(shù)攻擊類型的敏感性，最終導(dǎo)致入侵檢測系統(tǒng)存在缺陷，易讓攻擊者利用少數(shù)攻擊類型進(jìn)行攻擊。

入侵檢測技術(shù)不僅是網(wǎng)絡(luò)安全研究的重點(diǎn)領(lǐng)域，同時(shí)也是學(xué)術(shù)研究的重點(diǎn)領(lǐng)域。 Gao X W等使用NSL-KDD數(shù)據(jù)集通過自適應(yīng)集成學(xué)習(xí)模型測試，其中包含決策樹、隨機(jī)森林、K鄰近和深度神經(jīng)網(wǎng)絡(luò)，通過NSL-KDD測試集驗(yàn)證，決策樹算法的準(zhǔn)確率為84.2%， 自適應(yīng)算法的準(zhǔn)確率為85.2%，提高了檢測精度［1］。文獻(xiàn)［2］提出了一種用于異常檢測的在線過采樣主成分分析方法，利用在線平臺解決大量數(shù)據(jù)的入侵檢測問題，通過對數(shù)據(jù)類型中的少數(shù)攻擊類型進(jìn)行過采樣，實(shí)現(xiàn)了對少數(shù)攻擊類型檢測的功能；通過對主成分分析方法與其他檢測算法在適用性、有效性和準(zhǔn)確性上的比較，可以看出，該方法減少了計(jì)算成本和內(nèi)存需求。Taher K A等提出一種有監(jiān)督的機(jī)器學(xué)習(xí)系統(tǒng)對網(wǎng)絡(luò)流量進(jìn)行分類，實(shí)驗(yàn)采用NSL-KDD數(shù)據(jù)集，通過使用支持向量機(jī)和具有特征選取的人工神經(jīng)網(wǎng)絡(luò)算法進(jìn)行訓(xùn)練和測試，以對所檢測的數(shù)據(jù)流量進(jìn)行正常分類和惡意分類，實(shí)驗(yàn)結(jié)果顯示具有特征選取的人工神經(jīng)網(wǎng)絡(luò)算法表現(xiàn)得更好［3］。 Chandra A等提出將一種混合模型用于KDD CUP99數(shù)據(jù)集，通過使用基于過濾器的屬性選擇來減少數(shù)據(jù)集的特征維數(shù)， 使用K-Means和序列最小優(yōu)化算法對測試數(shù)據(jù)集進(jìn)行檢測，實(shí)驗(yàn)結(jié)果證明該模型可以有效提高檢測效率［4］。 文獻(xiàn)［5］測試了門控循環(huán)單元的學(xué)習(xí)能力，實(shí)驗(yàn)表明，其學(xué)習(xí)能力優(yōu)于長短期記憶 （Long Short-Term Memory，LSTM） 和 循 環(huán) 神 經(jīng) 網(wǎng) 絡(luò)（Recurrent Neural Network，RNN）。 文獻(xiàn)［6］提出了一種入侵檢測防御系統(tǒng)ANIDINR，系統(tǒng)中使用了多種深度學(xué)習(xí)算法對KDD CUP99數(shù)據(jù)集和NSL-KDD數(shù)據(jù)集進(jìn)行檢測，通過多種學(xué)習(xí)算法的比較，選出更適合入侵檢測領(lǐng)域的算法。 丁紅衛(wèi)等利用深度自編 碼 網(wǎng) 絡(luò)（DAN） 和BP 算 法， 提 出 了 基 于DAN-BP的入侵檢測模型， 能夠降低數(shù)據(jù)維度和消除冗余信息，并在學(xué)習(xí)過程中加入噪聲，使訓(xùn)練的模型具有魯棒性，進(jìn)而提高入侵檢測的準(zhǔn)確率［7］。 李勇和張波提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測算法， 并引入Inception模型和殘差網(wǎng)絡(luò)，獲得較好的泛化能力，最終的檢測準(zhǔn)確率達(dá)到了94.37%［8］。 張思聰?shù)忍岢隽艘环N基于深度卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測方法，通過數(shù)據(jù)填充的方式將原始一維數(shù)據(jù)轉(zhuǎn)換為二維“圖像數(shù)據(jù)”，可以使網(wǎng)絡(luò)有效學(xué)習(xí)特征，該方法提高了檢測準(zhǔn)確率［9］。 陳紅松和陳京九將循環(huán)神經(jīng)網(wǎng)絡(luò)用于構(gòu)建入侵檢測模型，并針對訓(xùn)練數(shù)據(jù)樣本不平衡的問題，提出了基于窗口的實(shí)例選擇算法精簡訓(xùn)練數(shù)據(jù)集，并進(jìn)行綜合優(yōu)化實(shí)驗(yàn)，最終檢測的準(zhǔn)確率達(dá)到了98.66%［10］。 楊印根和王忠洋提出一種入侵檢測模型LSTM-RESNET， 使用詞嵌入和LSTM進(jìn)行數(shù)據(jù)處理，使用殘差網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過對NSL-KDD數(shù)據(jù)集的測試，證明其具有良好的檢測能力［11］。 連鴻飛等提出一種基于混合神經(jīng)網(wǎng)絡(luò)的異常流量檢測模型，使用SMOTE與ENN解決數(shù)據(jù)集的不平衡問題，使用雙向長短時(shí)記憶網(wǎng)絡(luò)進(jìn)行訓(xùn)練，通過在NSL-KDD數(shù)據(jù)集上的實(shí)驗(yàn)，證實(shí)了該模型具有更高的準(zhǔn)確率［12］。 劉月峰等提出了一種多尺度卷積神經(jīng)網(wǎng)絡(luò)的入侵檢測方法，利用不同尺度卷積核對原始數(shù)據(jù)進(jìn)行不同層次的特征提取，采用BN方法優(yōu)化學(xué)習(xí)率，進(jìn)而獲得最優(yōu)特征表示，通過對KDD CUP99數(shù)據(jù)集的實(shí)驗(yàn)，證明該方法可以取得較高的檢測準(zhǔn)確率［13］。

筆者提出了一種基于深度門控循環(huán)單元（Deep Gated Recurrent Unit，Deep GRU） 的入侵檢測模型，每層密集連接的GRU使模型在學(xué)習(xí)和檢測過程中將各個特征緊密連接起來，并且提出簡化GRU， 在減少計(jì)算參數(shù)的同時(shí)保持學(xué)習(xí)能力。 同時(shí)，針對數(shù)據(jù)集中不平衡的問題，提出使用Borderline-SMOTE算法， 使得模型在面對少數(shù)攻擊類型時(shí)，能夠?qū)崿F(xiàn)較高的檢測效率。

1 實(shí)驗(yàn)?zāi)Ｐ?/h2>

1.1 入侵檢測模型

筆者提出的基于深度門控循環(huán)單元的入侵檢測模型框架如圖1所示。

圖1 基于深度門控循環(huán)單元的入侵檢測模型框架

檢測時(shí)，先將原始數(shù)據(jù)預(yù)處理為模型訓(xùn)練時(shí)能被識別的數(shù)據(jù)， 再通過Deep GRU 網(wǎng)絡(luò)和Dropout層的訓(xùn)練得到訓(xùn)練好的模型，利用測試數(shù)據(jù)集對模型進(jìn)行檢測，得到檢測結(jié)果。

一個完整的Deep GRU網(wǎng)絡(luò)包括輸入層、隱藏層和輸出層（圖2）。 輸入層為預(yù)處理之后的數(shù)據(jù)X1，X2，…，Xn。 隱藏層包含GRU網(wǎng)絡(luò)和Dropout層，在每次隱藏層訓(xùn)練過程中，需經(jīng)過兩層的GRU網(wǎng)絡(luò)， 第1層為2×256個GRU模塊， 第2層為256個GRU模塊，在經(jīng)過Deep GRU網(wǎng)絡(luò)訓(xùn)練后，Dropout算法通過自身的隨機(jī)選擇能力，解決訓(xùn)練過程中的過擬合問題，可以使訓(xùn)練之后的模型具有更好的泛化性。 輸出層通過Softmax實(shí)現(xiàn)多分類并輸出結(jié)果Y1，Y2，…，Yn。

圖2 完整的Deep GRU網(wǎng)絡(luò)結(jié)構(gòu)

1.2 門控循環(huán)單元

循環(huán)神經(jīng)網(wǎng)絡(luò) （Recurrent Neural Network，RNN）適用于訓(xùn)練具有順序?qū)傩缘臄?shù)據(jù)，典型的RNN模型中隱藏狀態(tài)的計(jì)算公式為：

其中，ht是t時(shí)刻保留的n維隱藏狀態(tài)；xt是t時(shí)刻的m維輸入向量；g（）是激活函數(shù)；W和U是兩個權(quán)重參數(shù)，W為n×m的矩陣，U為n×n的矩陣；b是偏差，為n×1的向量。

典型的RNN模型很難獲得長期的依賴關(guān)系，因?yàn)樵谟?xùn)練過程中會產(chǎn)生梯度消失或梯度爆炸現(xiàn)象，因此，通過對RNN變形，提出了長短時(shí)記憶模型和門控循環(huán)單元。 筆者主要利用GRU進(jìn)行實(shí)驗(yàn)，以下對GRU進(jìn)行詳細(xì)說明。

門控循環(huán)單元 （圖3） 是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種，它是為了解決循環(huán)神經(jīng)網(wǎng)絡(luò)中長期記憶和反向傳播中的梯度消失問題而提出來的，與長短時(shí)記憶模型相比更易于計(jì)算。

圖3 GRU結(jié)構(gòu)

在GRU中只有兩個門，一個重置門和一個更新門。 直觀來說，重置門決定了如何將新的輸入信息與前面的記憶相結(jié)合，更新門則定義了前面記憶保存到當(dāng)前時(shí)間步的量，這兩個門控向量決定了哪些信息最終能夠作為門控循環(huán)單元的輸出。 它們能夠保存長期序列中的信息，且不會隨時(shí)間而清除或因?yàn)榕c預(yù)測不相關(guān)而移除。 重置門和更新門的計(jì)算公式如下：

其中，rt代表重置門；zt代表更新門；σ為Sigmoid函數(shù)；Wr和Ur為重置門權(quán)重矩陣；br為重置門偏差；Wz和Uz為更新門權(quán)重矩陣，bz為更新門偏差；Wh和Uh為當(dāng)前時(shí)刻狀態(tài)的權(quán)重矩陣，bh為當(dāng)前時(shí)刻狀態(tài)的偏差；為t時(shí)刻暫時(shí)的隱藏狀態(tài)。

通過GRU模型與RNN典型模型的計(jì)算公式對比可以看出，GRU模型的計(jì)算參數(shù)量是典型RNN模型的3倍，即3（n2+mn+n）。 重置門和更新門所對應(yīng)的權(quán)值是通過時(shí)間反向傳播隨機(jī)梯度下降來更新的，在更新過程中試圖找到損失函數(shù)的最小值。 因重置門和更新門會長期保存序列中的信息，在計(jì)算過程中會對同樣的參數(shù)進(jìn)行重復(fù)計(jì)算，產(chǎn)生不必要的冗余數(shù)據(jù)，若能有效去除冗余數(shù)據(jù)的計(jì)算， 那么就可以提升GRU的計(jì)算能力。因此， 筆者在原有重置門和更新門的基礎(chǔ)上，提出通過應(yīng)用簡化重置門和更新門的計(jì)算結(jié)構(gòu)來提升訓(xùn)練的速度。 通過簡化GRU模型，提出將以下3種不同的簡化模型應(yīng)用到入侵檢測。

GRU1。 在此簡化中，僅使用之前隱藏狀態(tài)和偏差計(jì)算兩個門的信息， 在計(jì)算參數(shù)上減少了2mn：

GRU2。 在此簡化中，僅使用之前隱藏狀態(tài)計(jì)算兩個門的信息，在計(jì)算參數(shù)上減少了2（mn+n）：

GRU3。 在此簡化中，僅使用偏差來計(jì)算兩個門的信息，在計(jì)算參數(shù)上減少了2（nm+n2）：

通過以上3種簡化的GRU模型對比可以看出，在計(jì)算參數(shù)上有不同程度的減少。為了檢驗(yàn)簡化后的GRU的計(jì)算能力， 筆者利用具有正面和負(fù)面評論的IMDB影評數(shù)據(jù)集進(jìn)行性能測試，以作比較。 IMDB數(shù)據(jù)集是自然序列數(shù)據(jù)集，它由25 000 個訓(xùn)練數(shù)據(jù)和25 000 個測試數(shù)據(jù)組成。 筆者在10輪訓(xùn)練周期內(nèi)使用10-2、10-3、10-4和10-5這4種學(xué)習(xí)率進(jìn)行訓(xùn)練，在訓(xùn)練過程中，使用4層隱藏層，每層512個節(jié)點(diǎn)，并采用128的批處理大小。 在實(shí)驗(yàn)過程中，分別使用Relu、Tanh和Sigmoid激活函數(shù)對模型的性能進(jìn)行對比，對比結(jié)果見表1～3。

表1 使用Relu激活函數(shù)的準(zhǔn)確率對比 %

表2 使用Tanh激活函數(shù)的準(zhǔn)確率對比 %

表3 使用Sigmoid激活函數(shù)的準(zhǔn)確率對比 %

通過表1～3的數(shù)據(jù)對比可以看出，3種簡化的GRU模型在使用較少參數(shù)的情況下，性能與傳統(tǒng)GRU模型的性能相當(dāng)。 同時(shí)，從表中數(shù)據(jù)還可以看出，隨著學(xué)習(xí)率的下降，訓(xùn)練和測試的準(zhǔn)確率均下降， 尤其在學(xué)習(xí)率降低到10-5時(shí)，GRU0和GRU2模型還可以進(jìn)行有效訓(xùn)練和檢測，但GRU1和GRU3模型已經(jīng)無法有效學(xué)習(xí)。 但總地來說，在有效學(xué)習(xí)率的支撐下，GRU1～GRU3模型減少了部分計(jì)算參數(shù)， 依然可以保證有效的計(jì)算性能。通過表中數(shù)據(jù)的對比， 筆者選擇GRU2作為本項(xiàng)目模型。

2 數(shù)據(jù)集

2.1 數(shù)據(jù)集分析

NSL-KDD數(shù)據(jù)集由KDD CUP99數(shù)據(jù)集改進(jìn)，被廣泛視為入侵檢測領(lǐng)域的基準(zhǔn)數(shù)據(jù)，它通過刪除KDD CUP99數(shù)據(jù)集中的冗余數(shù)據(jù)，使得學(xué)習(xí)過程具有更高的效率和更高的準(zhǔn)確率。 NSL-KDD訓(xùn)練集和測試集分別包含125 973條和22 543條網(wǎng)絡(luò)數(shù)據(jù)，除正常類型（Normal）外主要包括以下4種攻擊類型的數(shù)據(jù)：

a. 拒絕服務(wù)攻擊（Denial of Service，DoS）。 攻擊者頻繁占用計(jì)算機(jī)或服務(wù)器中的計(jì)算或內(nèi)存資源，從而導(dǎo)致系統(tǒng)無法處理合法請求任務(wù)。

b. 探測攻擊（Probing）。攻擊者試圖收集計(jì)算機(jī)網(wǎng)絡(luò)的各種信息，以達(dá)到規(guī)避系統(tǒng)安全控制措施的目的。

c. 遠(yuǎn)程用戶攻擊（Remote to Local，R2L）。 攻擊者在目標(biāo)計(jì)算機(jī)或服務(wù)器中沒有賬號，通過網(wǎng)絡(luò)將數(shù)據(jù)包發(fā)送到計(jì)算機(jī)或服務(wù)器中，根據(jù)系統(tǒng)漏洞非法獲取本地用戶訪問權(quán)限。

d. 提權(quán)攻擊（User to Root，U2R）。 攻擊者使用普通賬戶進(jìn)行計(jì)算機(jī)或服務(wù)器的訪問，利用系統(tǒng)漏洞非法獲取系統(tǒng)的最高訪問權(quán)限。

NSL-KDD數(shù)據(jù)集的數(shù)據(jù)類型分布見表4。

表4 NSL-KDD數(shù)據(jù)集的數(shù)據(jù)類型分布 條

從表4可以看出，數(shù)據(jù)集存在不平衡性，影響模型對少數(shù)攻擊類型的學(xué)習(xí)能力。 要提高入侵檢測的性能，就應(yīng)降低這種不平衡性。 筆者采用數(shù)據(jù)過采樣算法來降低數(shù)據(jù)集中的不平衡性。 通過對少數(shù)攻擊類型的過采樣，人為地為少數(shù)攻擊類型增添新的樣本數(shù)據(jù)，將其用于模型訓(xùn)練，以提高模型訓(xùn)練時(shí)對少數(shù)攻擊類型的敏感性。

2.2 數(shù)據(jù)預(yù)處理

2.2.1 數(shù)值化處理

筆者采用LabelEncoder方式對字符型數(shù)據(jù)進(jìn)行數(shù)值化處理，LabelEncoder可以將標(biāo)簽映射到［0，n_classes-1］的區(qū)間進(jìn)行編碼，給各種標(biāo)簽分配一個可數(shù)的連續(xù)編號。 例如，對正常類型和4種攻 擊 類 型 ［Type， “Normal”］、 ［Type， “DoS”］、［Type， “Probing”］、 ［Type， “R2L”］ 和［Type，“U2R”］進(jìn)行數(shù)值化后，可變?yōu)椋跿ype，0］、［Type，1］、［Type，2］、［Type，3］和［Type，4］。 將非數(shù)值型的變量轉(zhuǎn)化為可計(jì)算的數(shù)值形式，有利于更好地提取特征和進(jìn)行計(jì)算。

2.2.2 歸一化處理

為提高模型的學(xué)習(xí)速度、 改善模型分型性能， 需對部分?jǐn)?shù)值過大的特征進(jìn)行標(biāo)準(zhǔn)化處理。數(shù)據(jù)的標(biāo)準(zhǔn)化是指通過映射的方式，將特征所有取值映射到一個較小的數(shù)值區(qū)間內(nèi)，從而消除特征單位對模型訓(xùn)練時(shí)間和檢測性能的影響。 筆者采用StandardScale算法對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，具體公式為：

式中 X——原始數(shù)據(jù)；

X.mean（）——數(shù)據(jù)集的均值；

X.std（）——數(shù)據(jù)的標(biāo)準(zhǔn)差；

X_scaled——標(biāo)準(zhǔn)化后的數(shù)據(jù)。

利用StandardScale算法標(biāo)準(zhǔn)化處理過的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，其均值為0，標(biāo)準(zhǔn)差為1。 并且StandardScale算法是針對每一個特征維度進(jìn)行處理，避免對某個特征的重視程度過大或過小。 該算法因受異常點(diǎn)的影響較小， 所以適用于繁雜、量大的數(shù)據(jù)。

2.2.3 數(shù)據(jù)集平衡處理

筆者采用Borderline-SMOTE過采樣算法對少數(shù)攻擊類型合成新樣本。 SMOTE算法對數(shù)據(jù)集中每個少數(shù)類樣本產(chǎn)生相同數(shù)量的合成數(shù)據(jù)，沒有考慮其鄰近樣本的分布特點(diǎn)，增大了類間發(fā)生重復(fù)的可能性。 Borderline-SMOTE算法改進(jìn)了原有SMOTE算法存在局限性的問題，先根據(jù)規(guī)則判斷少數(shù)類的邊界樣本，再對這些樣本生成新樣本。

設(shè)訓(xùn)練集為T，少數(shù)類樣本為F={f1，f2，…，fn}，Borderline-SMOTE算法具體步驟如下：

a. 計(jì)算少數(shù)類樣本F中每一個樣本在訓(xùn)練集T中的k個最近鄰；

b. 根據(jù)k個最近鄰對F中的樣本進(jìn)行歸類；

c. 設(shè)邊界樣本集合B={f1′，f2′，…，fb′}，計(jì)算B集合中的每個樣本在少數(shù)類樣本F中的k′個最鄰近fij；

d. 隨機(jī)選出s（1

e. 計(jì)算出它們各自與該樣本之間的全屬性插值dij；

f. 選擇一個隨機(jī)數(shù)rij與dij相乘，rij∈（0，1）；

g. 最后生成人工少數(shù)類樣本hij=fi′+rijdij。

循環(huán)執(zhí)行步驟c～g， 可生成滿足要求的少數(shù)類樣本數(shù)目。

其中，步驟b中的細(xì)分步驟如下：

a. 若k個最近鄰的樣本都是多數(shù)類樣本，則將該樣本定義為噪聲樣本，存放于集合N′中；

b. 若k個最近鄰的樣本超過一半是多數(shù)類樣本，則稱之為邊界樣本，將該樣本定義為危險(xiǎn)樣本，存放于集合B中；

c. 若k個最鄰近樣本超過一半是少數(shù)類樣本，則將該樣本定義為安全樣本，存于集合S中。

2.3 評價(jià)標(biāo)準(zhǔn)

筆者選擇的檢測效能評價(jià)標(biāo)準(zhǔn)有準(zhǔn)確率Accuracy、 精確率Precision、 召回率Recall和F1-Score，具體計(jì)算公式如下：

其中，TP表示數(shù)據(jù)為異常且預(yù)測也為異常的數(shù)據(jù)量；FP表示數(shù)據(jù)為正常而預(yù)測為異常數(shù)據(jù)的數(shù)據(jù)量；TN表示數(shù)據(jù)為正常且預(yù)測也為正常的數(shù)據(jù)量；FN表示數(shù)據(jù)為異常而預(yù)測為正常的數(shù)據(jù)量；l為類型數(shù)量；β為平衡因子， 最常見的選擇為1，由檢測精確率和召回率平衡得到。

準(zhǔn)確率是用來衡量檢測有效性的最重要的標(biāo)準(zhǔn)，可準(zhǔn)確表達(dá)每一種攻擊類型。

3 實(shí)驗(yàn)分析

本項(xiàng)目的實(shí)驗(yàn)環(huán)境是內(nèi)存為16 GB的Intel Core i7-9750H CPU， 內(nèi) 存 為8 GB 的NVIDIA GeForce GTX1050Ti顯卡，Win10 64 bit操作系統(tǒng)的Dell筆記本電腦。 選擇軟件Python3.7的Keras框架來構(gòu)建Deep GRU模型。 通過設(shè)置不同的參數(shù)以獲得最佳的性能，例如學(xué)習(xí)率、隱藏層數(shù)、節(jié)點(diǎn)數(shù)及激活函數(shù)等。 參數(shù)均經(jīng)過10次實(shí)驗(yàn)后取其平均值所得。

學(xué)習(xí)率選取范圍為{0.05，0.01，0.001}，根據(jù)圖4實(shí)驗(yàn)結(jié)果，模型在學(xué)習(xí)率為0.01時(shí)，具有更高的準(zhǔn)確率。

圖4 不同學(xué)習(xí)率下的準(zhǔn)確率

隱藏層數(shù)選取范圍為{1，2，3，4，5，10}，根據(jù)圖5實(shí)驗(yàn)結(jié)果，模型在隱藏層數(shù)為4時(shí)，具有更高 的準(zhǔn)確率。

圖5 不同隱藏層數(shù)下的準(zhǔn)確率

節(jié)點(diǎn)數(shù)選取范圍為{64，128，256，512}，根據(jù)圖6實(shí)驗(yàn)結(jié)果，模型在節(jié)點(diǎn)數(shù)為256時(shí)，具有更高的準(zhǔn)確率。

圖6 不同節(jié)點(diǎn)數(shù)下的準(zhǔn)確率

激活函數(shù)在{Relu，Sigmoid，Tanh}中選取，根據(jù)圖7實(shí)驗(yàn)結(jié)果，模型在激活函數(shù)為Sigmoid時(shí)，具有更高的準(zhǔn)確率。

圖7 不同激活函數(shù)下的準(zhǔn)確率

通過實(shí)驗(yàn)對平衡前、 后的數(shù)據(jù)集進(jìn)行檢測，實(shí)驗(yàn)結(jié)果均由100次實(shí)驗(yàn)取平均值所得。 未平衡數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果見表5。因訓(xùn)練集中U2R攻擊類型的數(shù)量過少，導(dǎo)致在測試時(shí)未對此類攻擊進(jìn)行有效檢測。對R2L攻擊類型的準(zhǔn)確率為64.63%，同其他攻擊類型的準(zhǔn)確率相比，表現(xiàn)較差。

表5 未平衡數(shù)據(jù)集的檢測結(jié)果

因此， 筆者采用Borderline-SMOTE過采樣算法， 針對數(shù)據(jù)集中R2L攻擊類型和U2R攻擊類型數(shù)據(jù)量過少的問題， 通過過采樣算法進(jìn)行擴(kuò)充。經(jīng)過平衡后的數(shù)據(jù)類型分布見表6。

表6 平衡后NSL-KDD訓(xùn)練集數(shù)據(jù)類型

在解決數(shù)據(jù)集中少數(shù)攻擊類型數(shù)量不足的問題后，實(shí)驗(yàn)結(jié)果見表7，對U2R攻擊類型的準(zhǔn)確率達(dá)到了98.63%。并且，對R2L攻擊類型的檢測準(zhǔn)確率提高了34.28%。

表7 平衡后數(shù)據(jù)集的檢測結(jié)果

經(jīng)過100次實(shí)驗(yàn)，從準(zhǔn)確率、精確率、召回率和F1-Score這4個評價(jià)標(biāo)準(zhǔn)通過取平均值來評價(jià)，結(jié)果見表8，可見分別提高了6.44%、1.80%、7.86%和4.93%。

表8 數(shù)據(jù)集平衡前后對比 %

通過以上模型參數(shù)的選擇和對數(shù)據(jù)集的平衡化，使訓(xùn)練得到的模型具有更好的檢測能力。其中最優(yōu)模型的參數(shù)選擇是，學(xué)習(xí)率為0.01，隱藏層數(shù)為4，節(jié)點(diǎn)數(shù)為256，激活函數(shù)為Sigmoid。最終筆者提出的Deep GRU模型的準(zhǔn)確率為99.44%，與其他文獻(xiàn)方法相比有一定的提升（表9）。

表9 不同模型實(shí)驗(yàn)結(jié)果對比 %

4 結(jié)束語

為提高入侵檢測技術(shù)的檢測能力，提升對少數(shù)攻擊類型的檢測率，提出了一種具有多層堆疊的Deep GRU入侵檢測模型，通過密集連接神經(jīng)元對特征有效學(xué)習(xí)，并且簡化GRU，在減少計(jì)算參數(shù)的同時(shí)保持學(xué)習(xí)能力。 同時(shí)， 使用Borderline-SMOTE算法對不平衡數(shù)據(jù)集進(jìn)行過采樣，增強(qiáng)了模型對少數(shù)攻擊類型的學(xué)習(xí)能力。 通過實(shí)驗(yàn)可以看出，筆者提出的入侵檢測方法在準(zhǔn)確率、精確率、召回率和F1-Score這4個評價(jià)標(biāo)準(zhǔn)上都有所提升。 并且與其他文獻(xiàn)方法進(jìn)行比較，具有較高的檢測能力。 因使用堆疊的Deep GRU模型，所以在訓(xùn)練和檢測的時(shí)間效率上有所降低，后續(xù)工作可以以提高時(shí)間效率為著力點(diǎn)，進(jìn)一步提高檢測效率。