摘" 要:針對傳統入侵檢測模型對零日攻擊漏報率高、細粒度分類能力不足的瓶頸,提出DCVAE-DPC混合框架,首次將判別式條件變分自編碼器(Discriminative Conditional Variational Auto Encoder,DCVAE)與動態密度峰值聚類(Density Peaks Clustering,DPC)結合,通過隱空間監督學習與自適應閾值優化,實現未知攻擊的高效識別。通過監督式隱空間重構與動態閾值學習,模型在NSL-KDD等數據集上的未知攻擊召回率達97.19%,較BiGAN等基線方法提升15.5%,并且支持15類攻擊的細粒度分類(F1值93.34%)。實驗驗證其在對抗噪聲環境下的魯棒性(誤報率為3.1%)與邊緣設備實時性(延遲23 ms)。
關鍵詞:網絡入侵檢測" 條件變分自編碼器" 動態閾值" 生成對抗網絡" 邊緣計算
中圖分類號:TP393.08;TP18
Research on Network Intrusion Detection Model Based on Deep Learning
LU Yan1" XU Qinghui2" YANG Qiufen1
1.Hunan Open University, Changsha, Hu’nan Province, 410004 China; 2. Qingyuan Primary School, Changsha, Hu’nan Province, 410004 China
Abstract: To address the bottleneck of high zero day attack miss rate and the insufficient fine-grained classification ability in traditional intrusion detection modelssensitivity of existing intrusion detection models to unknown attacks, this study research proposes the DCVAE-DPC hybrid framework. For the first time,, the which integrates a Discriminative Conditional Variational Autoencoder (DCVAE) is combined with and a Density Peak Clustering (DPC) to achieve efficient identification of unknown attacks through hidden space supervised learning and adaptive threshold optimizationalgorithm. Through supervised latent space reconstruction and dynamic threshold learning, the model achieves a recall rate of 97.19% foran unknown attacks recall rate of 97.19% on datasets such as NSL-KDD, which is 15.5% higher than baseline methods such asoutperforming baseline methods like BiGAN by 15.5%. It also supports fine-grained classification of 15 attack types (F1 -score:value of 93.34%). Experimental verification ofresults validate its robustness in adversarial noise environments (1 positive rate : of 3.1%) and real-time performance on edge devices (latency:delay of 23 ms).
Key Wwords: Network intrusion detection; Conditional variational auto encoder; Dynamic threshold; Generative adversarial networks; Edge computing
國際電信聯盟(ITU)2024年報告顯示,零日攻擊占比突破20%,傳統檢測技術因靜態特征匹配機制難以應對動態威脅。盡管VAE、GAN等模型提升了檢測效率,但仍存在閾值依賴和模式崩潰等問題。本研究提出的DCVAE-DPC框架通過動態閾值與對抗訓練優化,在IDS2018數據集上召回率達97.19%,誤報率降至3.1%,為復雜網絡環境提供了高魯棒性解決方案。
1" 相關工作
1.1" 傳統機器學習方法的瓶頸
早期研究多采用K-means、單類支持向量機(OCSVM)等無監督算法檢測未知攻擊。例如,HU X W等人[1]通過優化OCSVM超平面將誤報率降至8.6%,但特征工程依賴人工經驗,難以適應高維流量數據。CIKLABAKKAL E等人[2]發現自編碼器(AE)在無標簽數據下的F1值達72.4%,但對噪聲敏感且閾值設定困難。此類方法普遍面臨特征工程耗時和非平衡數據分類偏差的挑戰[3]。
1.2" 深度學習模型的革新與局限
隨著算力提升,基于深度學習的檢測技術逐步成為主流。陳虹等人[4]證實變分自編碼器(Variational Autoencoder,VAE)在UNSW-NB15數據集上的未知攻擊檢測F1值(81.3%)顯著高于傳統AE(68.5%),但其重建誤差閾值仍依賴經驗設定,對隱蔽攻擊的漏報率達19.7%。生成對抗網絡(Generative Adversarial Networks,GAN)通過對抗機制提升判別能力,如KAPLAN M O等人[5]采用雙向GAN(BiGAN)平衡樣本分布,但在IDS2017數據集上的模式崩潰問題導致其召回率波動幅度超±15%。近期研究嘗試融合多模態架構,XU W等人[6]通過解耦生成器與判別器訓練流程,將BiGAN的未知攻擊識別準確率提升至83.2%,但細粒度分類精度仍低于75%,難以區分具有相似行為特征的攻擊變種(如DDoS與端口掃描組合攻擊)。
1.3 研究突破方向
當前研究呈現三大局限性:現有模型多采用固定閾值判定異常,無法動態適應流量特征漂移;超90%的模型僅支持二分類,難以應對APT攻擊的多階段行為關聯分析;GAN的模式崩潰現象使檢測穩定性降低約30%[7]。本研究通過引入動態聚類與條件對抗機制,旨在突破上述技術瓶頸,相關對比如表1所示。
2" 基于DCVAE-DPC的動態入侵檢測框架
2.1 構建模型
2.1.1" DCVAE:判別式條件變分自編碼器
判別式條件變分自編碼器(DCVAE)在傳統CVAE基礎上引入判別網絡,通過細粒度標簽約束實現隱空間監督學習。其編碼器將流量樣本x與標簽y聯合映射至隱變量z,解碼器重構樣本。目標函數結合重構損失與KL散度,并通過判別網絡最大化標簽一致性損失,使隱空間類內距離縮小40%,類間距離擴大2.1倍,顯著提升特征可分性(F1值達92.7%,較CVAE提升18.3%)。此外,對抗性重建誤差增強策略使模型在高噪聲環境(SNR=10dB)下保持91.5%的召回率。
2.1.2" WGAN-GP:梯度懲罰優化的對抗生成網絡
(1)Wasserstein距離與梯度懲罰機制。
為避免傳統GAN的模式崩潰問題,本研究采用WGAN-GP框架,其判別器損失函數引入梯度懲罰項(式1),強制滿足1-Lipschitz連續性。具體地,通過在真實樣本x與生成樣本說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image004.gif?的線性插值空間說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image004.gif上施加約束,顯著提升了訓練穩定性(損失方差降低72%)。其判別器D的損失函數定義,如式(1):
說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image006.gif" " (1)
式(1)中:說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image008.gif為生成器輸出的合成樣本;說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image010.gif?為真實與生成樣本的線性插值;說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image012.gif為懲罰系數。梯度懲罰項通過強制判別器滿足1-Lipschitz連續性,替代傳統WGAN的權重裁剪策略,從而提升訓練穩定性。
(2)條件生成器的對抗優化。
在DCVAE-DPC框架中,生成器說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image014.gif與判別器說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image016.gif均以細粒度標簽y為條件輸入,實現生成器優化目標,最小化生成樣本的Wasserstein距離,同時約束其與DCVAE隱變量z的分布一致性,如式(2):
說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image018.gif" " "(2)
式(2)中:MMD(Maximum Mean Discrepancy)度量隱變量分布與標準正態分布的距離;η=0.1為平衡因子。
為區分真實流量x與生成樣本說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image004.gif,同時提供對抗梯度以優化DCVAE的重建過程,如式(3):
說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image020.gif" (3)
(3)性能優勢與實驗驗證。
在IDS2018數據集上的實驗表明,WGAN-GP通過梯度懲罰機制顯著提升了模型性能:相較于原始GAN,其判別器損失函數方差降低72%(從12.4×10?3降至3.5×10?3),且平均收斂時間縮短至2.9 h(原始GAN為5.1 h)。進一步分析生成樣本的質量,WGAN-GP的Fréchet Inception Distance(FID)值為28.7,較傳統GAN(FID=56.2)和WGAN(FID=39.5)分別優化了48.9%和27.3%,表明其對真實數據分布的覆蓋能力顯著增強。此外,在注入10%對抗噪聲的測試場景下,模型的未知攻擊召回率僅下降3.2%(從97.19%降至94.0%),而傳統GAN與WGAN的召回率分別下降21.8%和12.0%,驗證了WGAN-GP在對抗魯棒性方面的優勢。這些結果證明,梯度懲罰機制與條件生成策略的結合有效提升了模型在復雜網絡環境下的實用性與可靠性。
2.1.3" DCVEA-WGAN模型
針對現有深度學習入侵檢測模型在未知攻擊識別中存在的靜態閾值依賴、細粒度分類能力不足等瓶頸,本研究提出DCVAE-DPC(判別條件變分自編碼器-動態峰值聚類)混合模型。如圖1所示,數據預處理(圖1a)是對原始流量進行符號特征數值化(如協議類型獨熱編碼)與標準化處理(Z-score歸一化),消除異構數據尺度差異;聯合訓練(圖1b)是基于DCVAE學習標簽約束的隱空間表示,結合WGAN-GP對抗訓練增強生成樣本多樣性,并利用密度峰值聚類動態分析正常流量誤差分布,生成自適應閾值;在線檢測(圖1c)是實時流量經重建誤差計算后,若超過動態閾值則判定為未知攻擊,否則輸出細粒度分類結果(支持≥15類攻擊識別)。實驗表明,該模型在IDS2018數據集上的未知攻擊召回率達97.19%,較主流模型提升15.5%,并且細粒度分類F1值達93.34%,可為安全人員提供攻擊類型、行為模式等多維度診斷信息,輔助精準響應決策。
2.2" 訓練模型
2.2.1" 數據預處理
對入侵檢測數據集中符號型特征屬性進行數值化處理,然后對所有數據進行歸一化處理,得到標準化的原始數據。使用獨熱編碼將NSL-KDD和UNSW-NB15數據集中的所有符號特征值轉換為數值特征值,數據傳輸后,所有符號屬性都將轉換為數值,將所有特征值歸一化在[0,1]的范圍內,公式如(4)。其中:說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image024.gif是需要進行歸一化的數值;說明:
2.2.2" 細粒度已知分類訓練
本階段通過監督學習與隱空間對齊的雙重優化策略,實現高精度已知攻擊分類,并為未知攻擊識別提供判別基礎,如式(5):
2.2.3" 未知攻擊識別訓練
本階段采用動態閾值學習與對抗擾動增強策略。首先通過JS散度約束對抗樣本分布差異,提升模型對攻擊邊界的敏感性。其次,基于密度峰值聚類分析正常流量重建誤差,構建自適應閾值機制,使IDS2018數據集的未知攻擊召回率從82.3%提升至96.5%。同時引入FGSM對抗訓練,在保證23ms實時性的同時將誤報率降至3.1%。實驗證明該策略在邊緣設備上可達85FPS的檢測效率。入侵檢測模型的訓練過程總結在圖2中。
2.3" 驗證模型
2.3.1" 細粒度已知分類
DCVAE-DPC入侵檢測系統在輸入流量經預處理后,通過DCVAE的隱變量均值μ1?與判別網絡說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image052.gif,輸出預測標簽說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image058.gif,分類準確率達95.3%,得到這一階段的分類結果,如式(8)所示:
說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image060.gif" " " " " " " " " " " " " " "(8)
式(8)中,說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image062.gif。
2.3.2" 未知攻擊識別
由于細粒度已知分類階段會將未知攻擊誤分類為正常流量,所以在未知攻擊識別階段將說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image064.gif與網絡流量的預測標簽說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image058.gif,輸入編碼器網絡中采樣說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image066.gif,然后從解碼器網絡說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image068.gif中得到重建后的網絡流量說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image026.gif,如式(9):
說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image070.gif" " " " " " " " " " " " " "(9)
式(9)中,說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image072.gif。利用在訓練階段求得的正常流量的聚類中心說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image074.gif,計算輸入實例的重建誤差與說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image074.gif的距離說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image076.gif,當超過預定的閾值說明: C:\Users\Administrator\AppData\Local\Temp\msohtmlclip1\01\clip_image078.gif后,即可判定為未知攻擊。實驗表明,該機制在IDS2018數據集上的未知攻擊召回率達97.19%,較靜態閾值方法提升14.2%,并且誤報率控制在3.1%以下。此外,模型在邊緣設備上的推理延遲僅23 ms,滿足實時檢測需求。
3" 實驗結果
3.1" 數據集選擇
實驗選用NSL-KDD、UNSW-NB15等4個權威基準數據集,其特性覆蓋低維規則型(如NSL-KDD)與高維流量型(如UNSW-NB15)攻擊場景,確保模型泛化能力驗證。數據劃分遵循嚴格隔離原則:80%用于訓練(僅含已知攻擊),20%作為測試集(注入15%未知攻擊樣本),模擬真實場景中零日威脅的檢測需求。為評估細粒度分類性能,對標簽體系進行多級重構(如將DoS攻擊細分為Teardrop、Pod等9個子類),最終構建包含15類已知攻擊與5類未知攻擊的混合測試環境。此外,采用時間滑動窗口(窗口大小=60 s)處理動態流量,以驗證模型對特征漂移的適應性。
3.2" 參數設置
通過網格搜索確定最優超參數組合:epoch=100(收斂曲線平穩)、batch_size=32(兼顧內存效率與梯度穩定性)、初始學習率0.001(余弦衰減策略),確保模型在訓練集與驗證集上的平衡優化。
3.3" 結果分析與分析
實驗基于TensorFlow 2.8框架,硬件配置為Intel i7-12700K+RTX 3090,模擬邊緣計算場景時切換至Jetson Nano平臺,驗證模型輕量化性能。使用不同的數據集MAWILab、ISCX2012、IDS2017和IDS2018,以準確率、精確率、召回率、F1分數4個指標來評估模型檢測網絡入侵的能力。以IDS2018數據作為樣本,從實驗結果來看,相比其他3種算法,提出的算法準確率、精確率、召回率和F1值都在一個很好的水平。尤其是對于入侵檢測系統來說未知攻擊識別要求更高,所以對應到攻擊類的召回率有更高的要求,實驗結果如表2所示。
此外,選擇MAWILab、ISCX2012、IDS2017和IDS2018這4個不同的數據集驗證DCVAE-DPC模型,實驗結果如表3所示。實驗證明,提出的基于深度學習的網絡入侵檢測模型在互聯網流量數據集中有較好的分類效果,驗證了所提方法的有效性。
4" 結論
本文提出的DCVAE-DPC模型通過判別式隱空間重構與動態聚類機制,解決了現有入侵檢測技術對未知攻擊敏感性不足與細粒度分類能力有限的瓶頸。實驗表明,模型在IDS2018等數據集上的未知攻擊召回率達97.19%,較主流方法提升15.5%,并且支持≥15類攻擊的細粒度識別(F1值93.34%)。創新性體現在三方面:動態閾值機制實現誤差分布的自適應跟蹤,誤報率降低至3.1%;對抗訓練策略增強模型抗噪能力,對抗環境下召回率波動小于5%;輕量化架構在邊緣設備上達到23 ms級實時檢測。未來將探索增量學習策略,以應對零日攻擊的持續演化。
參考文獻
[1]HU X W,PENG Y B.Intrusion detection system based on ONE-ESVM[J].Electronic Design Engineering,2021,29(20):86-91.
[2]CIKLABAKKAL E,DONMEZ A,ERDEMIR M,et al. ARTEMIS: An intrusion detection system for MQTT attacks in Internet of Things[C]//In:Proceedings of the 38th Symposium on Reliable Distributed Systems (SRDS).IEEE,2019:369-3692.
[3]HAO Y,LIU Y,WANG Z.Imbalanced data classification: A survey[J].IEEE Transactions on Knowledge and Data Engineering,2020,33(8):3158-3178.
[4]陳虹,姜朝議,金海波,等.融合改進堆疊編碼器和多層BiLSTM的入侵檢測模型[J].計算機工程與應用,2025,61(3):306-314.
[5]KAPLAN M O,ALPTEKIN S E.An improved BiGAN based approach for anomaly detection[J].Procedia Computer Science,2020,176:185-194.
[6]XU W,JANG J J,LIU T,et al.Improved bidirectional GAN-based approach for network intrusion detection[J].Journal of Cybersecurity Research,2024,12(2):120-135.
[7]白文榮,馬琳娟,鞏政.基于菌群優化深度學習的網絡入侵檢測模型[J].南京理工大學學報,2023,47(5):636-642.