融合自注意力機制的入侵檢測數據生成方法

張宣琦　繆祥華　張如雪　李響

摘 要 針對傳統入侵檢測領域由于數據不平衡而出現少數類檢測率低的問題，設計了一種基于條件生成對抗網絡和CatBoost算法的數據生成模型（SA?WCGAN）。首先，采用CatBoost算法對原始數據集進行特征選擇，減少模型訓練時間。之后，利用SA?WCGAN生成模型進行數據擴充，解決數據不平衡問題，該生成模型引入自注意力機制（SA），提取攻擊樣本的全局特征，提高少數類攻擊樣本生成的質量；同時，引入Wasserstein距離和梯度懲罰，提高模型訓練過程的收斂速度和穩定性。實驗結果表明：在公開基準數據集NSL?KDD上，SA?WCGAN生成模型在只有少數樣本的攻擊類型上具有較高的精確率、召回率和F1分數。同時，與現有5種方法的比較分析也證實了該模型的優越性。

關鍵詞 入侵檢測 SA?WCGAN生成模型 自注意力機制 數據增強 少數類攻擊 數據不平衡 Wasserstein距離 梯度懲罰

隨著網絡安全威脅日益嚴重，入侵檢測作為一種可以有效識別惡意攻擊的防御手段，被廣泛應用于目前復雜的網絡環境。同時，由于機器學習能夠針對不同情境進行精確的預測分析，能夠準確檢測到攻擊類型，因此機器學習在現代入侵檢測系統中起著至關重要的作用。機器學習模型的學習能力大多依賴所提供的樣本數量，然而現實網絡安全防御場景中，網絡檢測數據很少，同時大部分類型的攻擊都是罕見的，因此入侵檢測數據訓練樣本會出現少數類的現象，從而影響模型學習效果。

為了解決少數類的問題，目前的研究大多集中在以下兩種方法：一種是算法的改進，保留原始數據的分布特征和數據數量的同時，對分類思想采取優化和改進，如代價敏感學習、集成學習［1］等；另一種是利用數據采樣改變原始數據分布，以增加少數類所占比例，主要通過過采樣、欠采樣或兩者融合的方式實現。

過采樣技術是增加少數類數量最常用最簡單的方法，通過對少數類樣本進行復制采樣來提高少數類所占比例，實現較為簡單，但容易出現過擬合現象。另一種方法是采用線性插值方法生成少數類，雖然能解決過擬合問題，但該方法主要解決了二分類情況下的數據不平衡問題，很難解決多分類場景中存在少數類的問題［2］。在這種情況下，生成對抗網絡（Generative Adversarial Networks，GAN）在數據平衡情境下發揮了極為重要的作用，并且與傳統數據生成方法相比，基于納什均衡理論的GAN更能生成真實的樣本，還能從復雜的概率分布中進行采樣，生成足夠接近真實的新數據樣本。同時，基于GAN的數據生成方法可以有效處理惡意流量帶來的數據不平衡問題［3］。而條件生成對抗網絡（Conditional generative adversarial network，CGAN）［4］在GAN的基礎上加入了條件變量（如類別標簽），降低了生成樣本的不確定性，同時也可以采用條件變量來約束模型生成所需樣本。

本課題重點采用數據采樣技術解決少數類問題。首先針對原始數據集采用CatBoost算法進行特征選擇，并在CGAN模型的基礎上進行改進，加入Wasserstein距離和梯度懲罰，同時在CGAN模型的生成器中引入自注意力機制（self?attention，SA）來減少訓練時間，使得模型訓練更加穩定，并且提高了樣本的生成質量。本課題的改進工作主要解決了入侵檢測中樣本特征冗余和少數攻擊樣本檢測困難的問題。

1 相關工作

學者們提出了基于統計模型和機器學習的方法來解決存在少數類導致數據不平衡的問題，最簡單的就是欠采樣技術［5］和過采樣技術。欠采樣技術的局限性在于丟棄數據時，可能會導致丟失潛在的有用信息。過采樣技術則會導致過度擬合［6］，但由于容易實現，仍被大量應用于入侵檢測領域，用于提高對少數攻擊類型的檢測精度。

文獻［7］將隨機過采樣SMOTE技術和欠采樣技術結合，用于異常檢測領域合成少數攻擊類樣本，在該文獻中，通過采用當前流行的機器學習算法來衡量SMOTE欠采樣的有效性，如支持向量機（SVM）、決策樹、隨機森林、神經網絡和K?means。文獻［8］針對網絡流量存在冗余特征、數據分布不均衡等問題，結合LightGBM提出一種基于自動編碼器和LightGBM的網絡入侵檢測模型AE?LightGBM，首先通過Borderline?SMOTE優化數據分布，使得少數類和多數類的權重得到有效設置，然后采用自動編碼器（AE）選取特征減少了特征冗余，最后使用LightGBM模型對處理后的數據進行訓練，該模型相較于傳統模型具有更高的精確率和正確率。文獻［9］針對由于入侵檢測數據集的類不平衡導致分類器對少數類檢測精度低的問題，提出SMOTE和高斯模型相結合的欠采樣技術，并使用CNN對數據集進行分類，該模型在UNSW?NB15和CICIDS2017兩個數據集上都相較于其他數據不平衡處理方法和分類方法有較高的準確率。

GAN作為一種數據生成方法，在入侵檢測領域被證明是行之有效的方法。文獻［10］對CGAN進行改進，引入KL散度代替原始的JS（Jensen?Shannon）散度，以確保模型生成的數據能足夠接近原始數據，該模型在NSL?KDD和UNSW?NB15數據集上被證明為有效的，但該模型依舊存在過擬合和訓練不穩定的問題。文獻［11］為了減少數據生成模型訓練帶來的開銷，采取判別器和生成器不進行同步訓練的方法，對生成器進行更嚴格的訓練迭代，以生成更可靠的數據，該數據集與真實流量樣本非常相似，有效消除了由于過度訓練判別器而帶來的開銷，并將編碼器引入生成器中，學習數據低維特征表達，該模型在NSL?KDD和CIC?DDoS2019數據集上的F1分數分別達到了92%和99%，但是該模型無法針對特定的攻擊類型進行數據生成。

鑒于GAN在入侵檢測領域的顯著效果，筆者設計了SA?WCGAN攻擊樣本生成模型，以期有效處理入侵檢測領域中存在少數類的問題。

2 相關理論及方法

2.1 生成對抗網絡

原始的GAN通過輪流對生成器和判斷器進行訓練，使其相互對抗，以此不斷優化判別器和生成器，最后實現納什平衡。同時，GAN可以通過學習真實的數據分布來生成與訓練集具有相似統計信息的新數據，其目標函數為：

其中，θ為生成器參數；θ為判別器參數；E為期望；x為從真實數據P中采樣；D（·）為判別器判斷為真實數據的概率；x為從生成數據P中采樣得到的數據，x=G（z），z～N（0，I）為服從高斯分布的隨機噪聲向量，G（z）為生成的數據。

然而GAN只根據噪聲生成數據，但無法控制數據生成類別。因此，CGAN在生成器和判別器中加入條件變量c，如分類標簽，來減少GAN的不確定性。同時，CGAN可以根據條件變量c控制生成器生成特定數據，其目標函數為：

然而，傳統的生成對抗網絡（GAN）存在梯度消失、訓練時梯度不穩定及模型崩潰等問題，即判別器過于強大時，在訓練生成器時無法提供有意義的梯度。Wasserstein GAN（WGAN）則對傳統GAN的損失函數進行了改進，有效地解決了梯度消失等問題。

2.2 WGAN

由于傳統GAN中采用的JS（Jensen?Shannon）散度容易導致模型訓練不穩定等問題，因此WGAN模型［12］采用Wasserstein距離代替JS散度，以此衡量生成器生成樣本與真實樣本之間的距離，其將傳統GAN的目標函數改寫為：

式（3）與式（1）不同的是，WGAN中生成器和判別器的損失函數都不使用對數函數，同時，判別器的輸出也不采用Sigmoid激活函數，而是使用1?Lipschitz對其進行約束，算式如下：

根據文獻［16］將系數γ初始化為0。同時，最終的輸出也會在下一個注意力機制網絡中繼續進行特征提取與學習。

2.5 CatBoost算法

CatBoost是PROKHORENKOVA L［17］和DOROGUSH A V［18］等提出的一種新的梯度提升算法，該算法能以最小的損失處理類別型特征。

CatBoost不同于其他梯度提升算法，首先，該算法采用排序提升算法來解決目標泄露的問題；其次，該算法能有效處理類別型特征；同時，CatBoost算法采用對稱二叉樹作為基模型，克服了預測過程較慢的問題。CatBoost已經成功應用于各種類型和格式的數據，如時間序列數據［19］、金融領域［20］等。

2.6 特征重要性評估

CatBoost模型訓練時，能夠采用某個評價指標獲取特征系數或重要性，如使用預測值變化（Prediction Values Change，PVC）和損失函數變化（Loss Function Change，LFC）對數據集中的特征進行排序［21］。

PVC顯示的是如果當前特征的值產生變化，相應的預測值平均會發生多少變化。假設該特征越重要，其值產生變化時，相應的預測值的平均變化就越大。在CatBoost模型內默認采用PVC算法。

LFC表示的是具有某個特征和不具有該特征的模型之間損失值的差異，通常用于排序模型。

本課題基于PVC對數據集特征進行排序選擇。計算方法是：在建樹過程中，通往葉子對的路徑上的節點上包含不同的分割值，假如符合分割條件（該條件取決于特征F），則對象轉到左子樹，否則為右子樹。同時，還需考慮特征間的組合。特征F的重要度featureimportanceF的計算式如下：

其中，trees為樹節點；leafsF為葉子節點；avr為左右葉子節點的加權平均值；c、c分別為左葉子節點和右葉子節點中對象的總權重，假設該權重沒有特別設置，那么該權重為每個葉子節點中對象的數目；v、v表示左葉子節點和右葉子節點的取值。

3 基于SA?WCGAN的入侵檢測數據生成模型

基于SA?WCGAN的入侵檢測數據生成模型主要包含數據處理及特征工程模塊、數據生成模塊和機器學習模型分類模塊。首先，為了減少冗余特征，減少GAN網絡的訓練時間，采用CatBoost特征重要性評估方法進行特征選取；然后，利用SA?WCGAN數據生成模型生成少數攻擊樣本，提高檢測準確率；最后，采用機器學習模型對攻擊樣本進行分類。模型的基本架構如圖1所示。

本課題采用的基模型為CGAN，為了保證模型訓練的穩定性和收斂速度，在模型中引入Wasserstein距離以代替JS距離，同時采用梯度懲罰解決訓練過程中梯度消失的問題。為了提高生成樣本質量，在生成器中引入自注意力機制。

3.1 生成器總體網絡

本課題提出少數攻擊樣本生成模型的生成器結構以DCGAN［22］（deep convolutional generative adversarial network，DCGAN）模型中的生成器為基準框架。同時，本模型在第1反卷積塊和第2反卷積塊中加入自注意力機制模塊，提取攻擊樣本的全局特征。該生成器采用BatchNormalization層加速模型訓練，保證訓練的穩定性；同時使用ReLU作為激活函數，最后一層使用Tanh激活函數。生成器的網絡結構見表1。

3.2 判別器總體網絡

本課題采用的判別器結構是卷積神經網絡（convolutional neural network，CNN），其網絡中采用了LeakyReLU激活函數，并將其負值斜率設置為α=0.2。同時加入Dropout層，防止模型出現過擬合。判別器的網絡結構見表2。

4 仿真結果與分析

4.1 數據集

本課題采用的數據集為NSL?KDD，該數據集是對KDD?99的改進，不包含冗余和重復記錄，因此將其作為評估入侵異常檢測模型的基準數據集［23］。NSL?KDD數據集包含41個特征和4種類型的異常攻擊，分別為拒絕服務攻擊（Dos）、探測攻擊（Probe）、遠程侵入（R2L）和獲取權限（U2R）。NSL?KDD測試集和訓練集的數據分布見表3，可以看出，該數據集也存在明顯的類不平衡情況，Probe、R2L和U2R攻擊在訓練集中所占比例分別為9.25%、0.79%、0.041%，在測試集中所占比例分別為10.74%、12.22%、0.89%，判斷為少數類。

通過對數據集中少數類型攻擊進行過采樣來增加攻擊數量，過采樣前、后的數據分布見表4。

4.2 特征選擇

采用基于CatBoost特征的重要性評估實現特征選擇過程，從而減少生成模型訓練模型。進行特征選擇后，NSL?KDD數據集的特征子集共21個，即

duration、protocol_type、flag、src_bytes、dst_bytes、wrong_fragment、hot、logged_in、root_shell、count、srv_count、serror_rate、srv_serror_rate、rerror_rate、diff_srv_rate、dst_host_same_srv_rate、dst_host_diff _srv_rate、host_same_src_port_rate、dst_host_serror _rate、dst_host_srv_serror_rate、dst_host_rerror_rate。

4.3 評價指標

少數攻擊類型樣本生成是為了提高入侵檢測模型的準確率，因此通過衡量入侵檢測性能來進一步衡量SA?WCGAN入侵監測數據生成模型的性能。

本課題采用3種評價指標對模型性能進行衡量，即精確率（Precision）、召回率（Recall）和F1分數（F1?score）。精確率是判定為攻擊的樣本中真正為攻擊所占的百分比；召回率是在全部攻擊樣本中被正確判定為攻擊的比例；F1分數是結合了精確率和召回率的綜合指標。計算式分別為：

其中，TP為真陽性，FP為假陽性，FN為真陰性，FP為假陽性。

4.4 實驗結果及分析

CatBoost是一種梯度提升算法，在處理數據不平衡方面有很好的效果［24］。因此，本課題采用CatBoost構建分類器。同時，為了進一步證明本課題提出的少數攻擊樣本生成方法的綜合性能，在相同實驗條件下，與已有的4種數據平衡算法以及文獻［10］的算法進行對比，結果列于表5。

由表5可以看出，在與其他數據平衡算法進行比較時，SA?WCGAN數據平衡算法在Probe和R2L兩種攻擊類型上的精確率、召回率和F1分數3項指標都追平或超過其他的方法；對于Dos攻擊類型，SA?WCGAN數據平衡算法雖在精確率上落后于SMOTE、Borderline?SMOTE和DGM（1.98%、0.58%和0.4%），但在F1分數上都持平或高于其他數據平衡算法；對于U2R攻擊類型，SA?WCGAN數據平衡算法雖然在召回率上落后于其他方法，但在精確率和F1分數上均高于其他算法。

結合上述分析可知，SA?WCGAN生成模型在少數類數據生成方面能夠達到較高的性能，即能夠生成較高質量的樣本，具備了一定的實用價值。

5 結束語

在入侵檢測領域，由于數據分布不均衡而導致少數攻擊類型的檢測率低，并且影響機器學習模型的性能。因此，本課題提出SA?WCGAN數據生成模型來生成入侵檢測領域的少數類數據，SA?WCGAN可以以少數類為條件對數據進行采樣，提高了機器學習分類器對少數類的檢測率。本課題的改進工作主要解決了入侵檢測中樣本特征冗余和少數攻擊樣本檢測困難的問題，主要貢獻如下：

a. 在CGAN中引入Wasserstein距離代替JS散度，同時又引入梯度懲罰，解決了原始CGAN模型訓練中梯度消失的問題；

b. 引入自注意力機制，提高了少數攻擊樣本生成的質量和性能，在一定程度上提高了少數攻擊樣本的檢測率；

c. 采用基于CatBoost的特征重要性評估方法進行特征選擇，去除了數據中的冗余特征，縮短了模型訓練時間，提高了分類精度。

在公開的基準數據集NSL?KDD上進行實驗，與已有的5種數據平衡算法進行對比，結果顯示，SA?WCGAN生成模型在少數類生成上能夠達到較高的檢測性能。

在未來的研究中，會進一步將該入侵檢測模型應用于實際流量場景中，使其在實際應用中發揮更大的價值。同時，由于SA?WCGAN存在訓練時間較長的問題，還將持續研究，以縮短訓練時間。

參 考 文 獻

［1］ KIM J，KANG J，SOHN M.Ensemble learning?based filter?centric hybrid feature selection framework for high?dimensional imbalanced data［J］.Knowledge?Based Systems，2021，220：106901.

［2］ ZHU T，LIN Y，LIU Y.Synthetic minority oversampling technique for multiclass imbalance problems［J］.Pattern Recognition，2017，72：327-340.

［3］ ANDRESINI G，APPICE A，DE ROSE L，et al.GAN augmentation to deal with imbalance in imaging?based intrusion detection［J］.Future Generation Computer Systems，2021，123：108-127.

［4］? ?LEE J，PARK K.AE?CGAN model based high performance network intrusion detection system［J］.Applied Sciences，2019，9（20）：4221.

［5］ HASANIN T，KHOSHGOFTAAR T.The effects of random undersampling with simulated class imbalance for big data［C］//Proceedings of the 2018 IEEE International Conference on Information reuse and Integration（IRI）.Picataway NJ：IEEE，2018：70-79.

［6］ LAST F，DOUZAS G，BACAO F.Oversampling for imbalanced learning based on k?means and smote［J］.arXiv Preprint arXiv：171100837，2017.

［7］ DIVEKAR A，PAREKH M，SAVLA V，et al.Benchmar? king datasets for Anomaly?based Network Intrusion Detection：KDD CUP 99 Alternatives［C］//Proceedings of the 2018 IEEE 3rd International Conference on Computing，Communication and Security（ICCCS）.Prcataway NJ：IEEE2018：1-8.

［8］ YAO R，WANG N，LIU Z，et al.Intrusion detection system in the Smart Distribution Network：A feature engineering based AE?LightGBM approach［J］.Energy Reports，2021，7：353-361.

［9］ LIU J，LI T，XIE P，et al.Urban big data fusion based on deep learning：An overview［J］.Information Fusion，2020，53：123-133.

［10］ DLAMINI G，FAHIM M.DGM：A data generative mod? elto improve minority class presence in anomaly detection domain［J］.Neural Computing and Applications，2021.

［11］ XU W，JANG?JACCARD J，LIU T，et al.Improved Bidirectional GAN?Based Approach for Network Intrusion Detection Using One?Class Classifier［J］.Computers，2022，11（6）：15-22.

［12］ ARJOVSKY M，CHINTALA S，BOTTOU L.Wasserstein generative adversarial networks［C］//Proceedings of the International Conference on Machine Learning.PMLR，2017：214-223.

［13］ GULRAJANI I，AHMED F，ARJOVSKY M，et al.Improved training of wasserstein gans［J］.Advances in Neural Information Processing Systems，2017，30（2）：27-33.

［14］ NIU Z，ZHONG G，YU H.A review on the attention mechanism of deep learning［J］.Neurocomputing，2021，452：48-62.

［15］ VASWANI A，SHAZEER N，PARMAR N，et al.Attention is all you need［J］.Advances in Neural Information Processing Systems，2017，30（4）：66-78.

［16］ ZHANG H，GOODFELLOW I，METAXAS D，et al.Self?attention generative adversarial networks［C］//Proceedings of the International Conference on Machine Learning.PMLR，2019：7354-7363.

［17］ PROKHORENKOVA L，GUSEV G，VOROBEV A，et al.CatBoost：Unbiased boosting with categorical features［J］.Advances in Neural Information Processing Systems，2018，31（1）：72-80.

［18］ DOROGUSH A V，ERSHOV V，GULIN A.CatBoost：Gradient boosting with categorical features support［J］.arXiv Preprint arXiv：181011363，2018.

［19］ SUN H，HE J，CHEN Y，et al.Space?Time Sea Surface pCO2 Estimation in the North Atlantic Based on CatBoost［J］.Remote Sensing，2021，13（14）：2805.

［20］ XIA Y，LIU C，LI Y，et al.A boosted decision tree approach using Bayesian hyper?parameter optimiza? tion for credit scoring［J］.Expert Systems with Applications，2017，78：225-241.

［21］ DHANANJAY B，SIVARAMAN J.Analysis and classification of heart rate using CatBoost feature ranking model［J］.Biomedical Signal Processing and Control，2021，68：102610.

［22］ YANG J，LI T，LIANG G，et al.A simple recurrent unit model based intrusion detection system with DCGAN［J］.IEEE Access，2019，7：83286-83296.

［23］ MEENA G，CHOUDHARY R R.A review paper on IDS classification using KDD 99 and NSL KDD dataset in WEKA［C］//Proceedings of the 2017 International Conference on Computer，Communications and Electronics （Comptelix）.Piscataway? NJ：IEEE，2017：553-558.

［24］ TANHA J，ABDI Y，SAMADI N，et al.Boosting methods for multi?class imbalanced data classification：An experimental review［J］.Journal of Big Data，2020，7（1）：1-47.

（收稿日期：2022-09-04，修回日期：2022-12-14）

Intrusion Detection Data Generation Method withSelf?attention Mechanism

ZHANG Xuan?qia， MIAO Xiang?huaa，b ， ZHANG Ru?xuea， LI Xianga

（a. Faculty of Information Engineering and Automation； b. Yunnan Provincial Key Laboratory of Computer Technology Application， Kunming University of Science and Technology）

Abstract? ?Aiming at the low detection rate of minority classes caused by the existence of data imbalance in the current traditional intrusion detection field， a data generation model （SA?WCGAN） based on condition? al generative adversarial network and CatBoost was designed. Firstly， CatBoost algorithm was adopted to select features of the original dataset so as to reduce model training time； secondly， the SA?WCGAN generative model was used for data expansion to solve data imbalance. The generative model introduced a self?attention mechanism （SA） to extract global features of the attack samples so as to improve performance of the minority class of attack samples； meanwhile， the Wasserstein distance and gradient penalty were introduced to improve convergence speed and stability during the model training. Experimental results show that， on the public benchmark dataset NSL?KDD， the SA?WCGAN generative model proposed in this paper has high precision， recall and F1 score on attack types with only a few samples. Furthermore， comparative analysis with existing five methods confirmed the superiority of the model proposed.

Key words? ?intrusion detection， SA?WCGAN generative model， self?attention mechanism， data enhancement， minority class attack， data imbalance， Wasserstein distance， gradient penalty

中圖分類號 TP393.08? ?文獻標識碼 A? ?文章編號 1000?3932（2023）02?0199?08

作者簡介：張宣琦（1998-），碩士研究生，從事信息安全、入侵檢測的研究。

通訊作者：繆祥華（1972-），副教授，從事信息安全、網絡安全的研究，xianghuamiao@126.com。

引用本文：張宣琦，繆祥華，張如雪，等.融合自注意力機制的入侵檢測數據生成方法［J］.化工自動化及儀表，2023，50（2）：199-206.