基于深度學習的入侵檢測模型綜述

張 昊，張小雨，張振友，李 偉

華北理工大學 人工智能學院，河北 唐山 063210

隨著科學技術的發展，網絡幾乎成為了人們生活和工作中不可或缺的重要工具。但是，在當今愈加復雜的網絡環境下，各種網絡攻擊手段接踵而來，攻擊頻率不斷增加，影響范圍不斷擴大，全球因網絡安全引發的泄露事故呈日趨頻繁。尤其是零日攻擊[1-3]，讓人防不勝防。因此對于入侵檢測（intrusion detection，ID）的研究已成為當前網絡安全領域的重要研究方向之一，研究人員都在追求高效、穩定的入侵檢測。入侵檢測的任務是發現可疑攻擊，采取相應的措施，使網絡避免被攻擊，從而有效減少經濟損失。入侵檢測系統（intrusion detection system，IDS）最早研究于1980年，到目前為止，入侵檢測系統經過了幾十年的發展取得了一定的成果，通過不斷引入新想法、新技術（區塊鏈技術[4]等），使其充滿活力，但是對于入侵檢測系統的研究還有較大的提升空間。

入侵檢測系統根據所檢測數據來源的不同，可以分為基于主機的入侵檢測系統和基于網絡的入侵檢測系統。由于互聯網的應用越發廣泛，研究人員對網絡入侵檢測系統的研究也越來越重視，為此研究人員將深度學習算法應用于網絡入侵檢測，以進一步提高其性能，因此本文主要針對網絡入侵檢測進行研究調查。另外，根據其檢測能力，入侵檢測方法又分為特征檢測方法和異常檢測方法。其中特征檢測方法通過將事件和流量與已知攻擊標志數據庫相匹配，從而判斷是否存在攻擊行為，但是這種方法無法檢測未知的攻擊。另一方面，異常檢測方法試圖學習正常行為規律并將其他一切識別為異常或入侵。但這種方法還存在著較高的誤報率，因此研究人員將深度學習技術應用于異常入侵檢測的研究中，從而降低入侵檢測誤報率。

雖然目前研究人員針對不同類型的網絡攻擊提出了各種入侵檢測模型，并將機器學習算法應用到入侵檢測模型中，但是這些模型還存在著一系列的問題[5]。首先，基于機器學習的入侵檢測模型在準確率上取得的效果并不是很理想，并且這種入侵檢測模型還有著較高的誤報率。其次，隨著互聯網技術的不斷發展，如今的網絡流量越來越大，入侵檢測模型在運行過程中需要對大量的網絡流量進行分析和處理，而機器學習在分析和處理大量數據上并不能表現出良好的性能。

近年來，深度學習模型在大數據分析中取得了很好的成效，許多研究人員開始將深度學習技術應用在入侵檢測模型上，基于深度學習的入侵檢測模型被廣泛研究和應用[6]。本文主要調查近年來深度學習技術在入侵檢測上的應用成果，對其自身的優點和不足進行闡述，并對入侵檢測模型未來的挑戰進行分析。

1 數據預處理

數據預處理是指在對數據進行主要的操作之前的一系列處理操作，既保證數據的完整性和準確性，也為后面對數據進行操作提供方便。下面將介紹幾種常用于入侵檢測模型的數據預處理方法。

1.1 數據標準化

數據標準化是通過對原始數據進行等比例縮放，經過處理之后的數據處于同一數量級，從而使模型在訓練過程中使用的數據都具有相同的標度。使用數據標準化處理后的數據對深度學習模型進行訓練時，可以在一定程度上提高深度學習模型精度。并且對于使用梯度下降優化的模型，可以有效地提高模型的收斂速度。下面介紹兩種常用的標準化方法，分別為Min-Max標準化和Z-score標準化。

Min-Max標準化是通過對原始數據進行線性變換，將原始數據映射到[0，1]之間[7]。該方法計算公式如下：

其中，x為原始數據，xnorm為標準化后的數據，xmax和xmin分別為原始數據中的最大值和最小值。

Z-score標準化是通過計算原始數據的均值和標準差來對其進行標準化[8]。對于要使用Z-score標準化進行處理的數據，需要保證原始數據近似高斯分布，否則經過處理后的數據反而會影響后續模型的訓練。該方法計算公式如下：

其中，μ和σ分別為原始數據的均值和方差。

數據標準化在深度學習方法中非常有用，并且被用于大多數神經網絡計算工作中，這與神經元的激活特征和權重的更新有關。例如，Liu等人使用Min-Max標準化對KDD999數據集以及UNSW-NB15數據集進行預處理，為后續模型的訓練與測試做準備[9]。

1.2 特征編碼

由于訓練入侵檢測模型所使用的數據集中可能會帶有一些非數字的特征符號，但是對于深度學習模型而言，特殊符號并不能用作模型的訓練，因為只有數字類型的數據才能進行計算。所以，對于數據集中這些特殊的特征值，通常會采用兩種編碼方式進行解決，分別是標簽編碼和One-Hot編碼[10]。而對于深度學習算法而言，采用One-Hot編碼方式更為適合。下面將對One-Hot編碼進行詳細介紹。

One-Hot編碼也被稱為一位有效編碼，其基本原理是通過多位狀態寄存器來對多個狀態進行編碼。例如，Xiao等人在對KDD99數據集進行預處理時，使用One-Hot編碼方法將數據集中的符號特征數值化[11]。通過One-Hot編碼處理后便可以將KDD99數據集中的三個符號特征映射成一個84維向量，從而使數據集符合深度學習所需的輸入類型。

1.3 特征選擇

特征選擇也被稱為特征子集選擇，該方法是在給定的特征集合中選擇出對于模型訓練比較重要的特征組成特征子集[12-13]。通過特征選擇可以有效地降低數據集的維數，緩解維數災難問題，并且通過刪除不重要特征來降低后續模型學習的難度[14-15]。特征選擇包括三種選擇方式，分別是過濾式、包裹式以及嵌入式。過濾式特征選擇是先對數據集進行特征選擇，然后再對分類器進行訓練。過濾式特征選擇算法復雜性低，可以快速去除大量不相關的特征，因此適用于大規模數據集。但是由于算法的評價標準獨立于特定的學習算法，其所選的特征子集在分類準確率方面通常低于包裹式特征選擇。而包裹式特征選擇根據學習器的性能來對特征子集進行評價，因此包裹式特征選擇具有更好的分類性能。但是包裹式特征選擇選出的特征子集通用性不強，當改變學習算法時，需要針對該學習算法重新進行特征選擇。由于每次對子集的評價都要進行分類器的訓練和測試，所以算法計算復雜度很高，因此對于大規模數據集來說，算法的執行時間過長。嵌入式特征選擇是指對原始數據的特征選擇是在學習器訓練過程中完成的。

1.4 采樣技術

入侵檢測模型訓練所使用的數據集通常存在著類別不平衡的問題。針對這個問題，可以使用采樣技術將存在類不平衡問題的數據集轉換為較平衡的數據集，以提高少數類別的預測精度。當前，根據數據集中類別樣本數目的多少可以分為兩種采樣方法，分別是欠采樣方法和過采樣方法。

欠采樣方法是對樣本數量過多的類別進行“欠采樣”，通過減少其樣本數量從而使得正例、反例的樣本數量接近，然后再進行學習。例如，Yang等人為避免數據集不平衡和數據冗余對檢測精度的影響，通過欠采樣方法對AWID數據集進行處理，減少多數類數據樣本數量，使得攻擊樣本和正常樣本的數量基本相等[16]。實驗證明，通過這種方法，可以有效地檢測潛在的攻擊并提高模型精度。

過采樣方法是使用“過采樣”對樣本數量過多的類別進行處理，通過增加其樣本數量從而使得正例、反例的樣本數量接近，然后再進行學習。例如，Sun等人為解決數據集中攻擊樣本數量的較少的問題，對數據集中攻擊樣本進行過采樣[17]。實驗結果證明，過采樣方法在攻擊樣本數量較少的情況下，可以提高入侵檢測的準確性。

2 基于深度學習的入侵檢測模型

近些年，深度學習從機器學習技術中脫穎而出，用于特征選擇、感知和無監督學習。該算法使用多個后續層來實現其操作，通過開發多層人工神經網絡，并且其中許多隱藏層彼此堆疊，可以從基準數據集中自主學習，無需人為手動標記，實現特征精簡提取，進而提高準確性和實時性。研究人員逐漸將深度學習應用于多個領域：例如檢測鑒別物體；文字、語音、圖像的識別；網絡入侵檢測等。

在過去的研究中，部分學者對基于深度學習的入侵檢測方法進行了梳理總結[18-23]，但是還不夠完善。本章首先對現有基于卷積神經網絡、自編碼器、長短期記憶網絡、生成式對抗網絡等深度學習算法的入侵檢測模型進行分類介紹。這四種深度學習算法是在當前入侵檢測模型的研究中，被研究人員使用的最為廣泛幾種深度學習算法。另外，對于使用其他深度學習算法的入侵檢測模型將在本章最后進行總結補充。

2.1 基于卷積神經網絡的入侵檢測模型

卷積神經網絡（convolutional neural network，CNN）是一種含有卷積操作的深度結構神經網絡，由輸入層、卷積層、池化層、完全連接層和輸出層組成，其中卷積層和池化層是卷積神經網絡的重要組成部分。卷積神經網絡是深度學習中的代表算法之一[24-25]，根據卷積層和池化層層數的不同可以構建不同結構的卷積神經網絡。

卷積神經網絡具有良好的泛化能力，能夠適用于多種分類任務。通過卷積神經網絡構建的入侵檢測模型，能直接對灰度圖像進行分析和識別。使用卷積神經網絡構建入侵檢測模型時，需要對數據集進行處理，將其轉換為符合卷積神經網絡輸入的灰度圖，然后將灰度圖輸入卷積神經網絡中進行訓練，以此將流量分類問題轉換為圖片分類問題。通過卷積神經網絡來提取流量的特征，能夠提取數據中具有影響力的特征，并且由于其權值共享的特性，可以有效地提高入侵檢測模型對數據處理時的效率，從而進一步提高入侵檢測模型的性能。

Xiao等人提出了一種基于特征降維和卷積神經網絡的入侵檢測模型[11]，該模型通過主成分分析[26]（principal component analysis，PCA）或自編碼器（auto-encoder，AE）對處理后的數據集進行降維，然后將降維后的數據轉換為灰度圖像輸入到卷積神經網絡中，最后通過卷積神經網絡提取和分析數據特征進行分類。實驗結果表明，模型的預測準確率可達到94.00%。該方法在卷積神經網絡的基礎上，通過使用主成分分析和自編碼器對數據集進行降維，減少了數據集的冗余，提高了入侵檢測模型的性能，減少了分類時間[11]。Khan等人通過對卷積神經網絡進行改進，提出了一種入侵檢測模型。該模型所設置的卷積神經網絡共有三個隱藏層，每個隱藏層都包含一個卷積層和一個池化層，并且卷積層的內核數量是逐步增加的，分別為32、64、128。通過實驗表明，該模型預測準確率可達到99.23%[27]。該方法通過改變卷積神經網絡中卷積層內核的數量，將輸入的低維數據映射到高維空間，從而增強模型學習特征的能力，有效地提高模型的準確率。Wu等人提出了一種基于卷積神經網絡的大規模網絡入侵檢測模型，該模型與使用機器學習構建的入侵檢測模型相比提高了準確率，并且由于卷積神經網絡具有權值共享的特性，能夠有效地減少訓練的參數數目和計算量，從而使入侵檢測模型更快地從流量數據中識別攻擊類型[28]。但由于該方法并未對卷積神經網絡進行改進，因此并未取得較好的效果。Ho等人使用卷積神經網絡構建了一種入侵檢測模型，該模型選擇CICIDS2017數據集用作訓練和測試，針對該數據集中所存在的問題，研究人員提出了在CICIDS2017數據集的基礎上創建一個適合訓練的新數據集，以此解決CICIDS2017數據集中類不平衡和數據分散存儲的問題。通過實驗證明，該模型在CICIDS2017數據集上準確率可達99.78%[29]。Andresini等人基于卷積神經網絡提出了一種新穎的入侵檢測模型[30]。該模型首先采用自編碼器提取輸入數據的特征，然后對輸出的特征執行最近鄰搜索和聚類過程的組合來導出符合卷積神經網絡輸入的灰度圖像，最后對卷積神經網絡進行訓練。實驗證明，該模型在KDD99數據集上的準確率可達到93.58%。Andresini等人提出將生成式對抗網絡（generative adversarial network，GAN）和卷積神經網絡相結合的入侵檢測模型[31]。該模型首先將輸入數據的一維特征向量表示映射到二維圖像表示，然后訓練一個輔助分類器生成式對抗網絡來生成表示不可預見的網絡攻擊的新圖像，以此來得到類平衡的數據集。最后將數據集放入卷積神經網絡中進行訓練和測試。實驗證明，該模型在KDD99數據集上的準確率達到93.29%。該方法通過將生成式對抗網絡與卷積神經網絡相結合，解決了數據集中的類不平衡問題，并且通過生成式對抗網絡生成新的網絡攻擊，使得卷積神經網絡得到更好的訓練效果，有效地提高模型的準確率。

通過以上方法可以看出，基于卷積神經網絡的入侵檢測模型可以有效地檢測攻擊行為。卷積神經網絡可以很好地提取數據的特征，并且由于其權值共享的特性，能夠有效減少所要訓練的參數，從而減少訓練所需時間。

如圖1基于卷積神經網絡入侵檢測模型結構所示。在基于卷積神經網絡構建的入侵檢測模型中，首先對原始流量數據進行預處理，將其轉化為標準數據。然后，將標準數據進行圖片化轉化為灰度圖像。最后，將獲得的流量灰度圖輸入到卷積神經網絡中，利用卷積神經網絡提取流量數據中的相關特征，并利用所得到的特征進行分類，檢測是否存在異常流量。

圖1 基于卷積神經網絡的入侵檢測模型Fig.1 Intrusion detection model based on convolutional neural network

2.2 基于長短期記憶網絡的入侵檢測模型

長短期記憶網絡（long short-term memory，LSTM）[32]是一種具有反饋連接的神經網絡，它是一種特殊的循環神經網絡[33-34]（recurrent neural network，RNN）。循環神經網絡在處理序列數據上具有良好的效果，但其本身還存在著一些問題，其中最主要問題就是循環神經網絡對梯度消失或爆炸的敏感性[35]。而長短期記憶網絡[36]體系結構通過在其循環連接中提供存儲塊來解決此問題。每個存儲塊都包括存儲單元，用來存儲網絡時間狀態。此外，它還包含用于控制信息流的門控單元。因此長短期記憶網絡通常用于處理圖像、視頻或語音等。

Althubiti等人使用長短期記憶網絡建立入侵檢測模型，并在CIDDS001數據集上評估了模型的性能，實驗結果證明，該模型在CIDDS001數據集上的預測準確率可達到84.83%[37]。Hassan等人提出了一種高效入侵檢測模型，該模型通過將卷積神經網絡與長短期記憶網絡相結合來構建入侵檢測模型。實驗結果證明，該模型預測準確率可達到97.17%，該方法又經10倍交叉驗證測試，準確率達到96.975%[38]。該方法利用卷積神經網絡提取數據的空間特征，并且通過長短期記憶網絡保留所提取的特征之間的依賴關系，以此來提取數據的時空特征。通過這種結合的方式，可以更好地提取數據的時空特征，從而提高模型準確率。Yang等人提出了一種基于注意力機制的長短期記憶網絡入侵檢測模型，它通過長短期記憶網絡來保留數據間長期依賴關系，從而更好地提取數據的時間特征。通過實驗表明，該模型的預測準確率達到94.30%[39]。該方法在長短期記憶網絡的基礎上添加了注意力機制，通過注意力機制的優勢解決了入侵檢測模型無法關注關鍵特征的問題，從而提高了模型的準確率。Kim等人構建了一個基于梯度下降優化的長短期記憶網絡入侵檢測分類器，通過對長短期記憶遞歸神經網絡模型的六種優化算法進行比較，選取最合適的優化算法構建入侵檢測模型，該模型最終的預測準確率達到了97.54%[40]。Jiang等人提出了一種混合采樣與深度分層網絡相結合的網絡入侵檢測模型，首先通過單側選擇和過采樣技術創建一個均衡的數據集，使模型充分學習少數樣本的特征，大大減少模型的訓練時間。其次，通過卷積神經網絡來提取數據的空間特征，利用長短期記憶網絡提取數據的時間特征，形成了一個深層的層次化網絡模型。該模型在NSL-KDD數據集和UNSW-NB15數據集上得到的預測準確率分別達到83.58%和77.16%[41]。Imrana等人提出了一種基于雙向長短期記憶網絡（bidirectional long short-term memory，BiLSTM）的入侵檢測模型[42]。該模型在輸入數據上訓練兩個長短期記憶網絡。第一個長短期記憶網絡位于原始輸入數據上，另一個位于輸入數據的反向副本上。通過使用雙向長短期記憶網絡，可以有效地提高模型在分類問題上的性能。實驗結果表明，該模型在NSLKDD數據集上進行二元分類的準確率可達到87.46%。Kanna等人提出了一種基于優化卷積神經網絡和分層多尺度長短期記憶網絡的入侵檢測模型[43]。在該模型中，獅群優化算法（loin swarm optimization，LSO）用于調整卷積神經網絡的超參數，幫助模型更好地學習數據的空間特征。并使用分層多尺度長短期記憶網絡學習不同特征之間的層次關系并提取時間特征，這種分層多尺度長短期記憶網絡可以減少參數數量，提高訓練效率。經實驗證明，該模型在NSL-KDD數據集上準確率可達到90.67%。

基于長短期記憶網絡的入侵檢測模型能夠有效地提取數據的時序特征，保持數據間長期依賴關系。但通過以上方法可以發現，基于長短期記憶網絡的入侵檢測模型普遍存在著較高的誤報率，可以使用長短期記憶網絡與其他深度學習算法相結合，準確描繪數據的時空特征，從而降低模型誤報率。

2.3 基于自編碼器的入侵檢測模型

自編碼器（auto-encode，AE）是一種無監督學習算法[44-45]。其作用是重新編碼輸入，讓輸出接近輸入，使得隱藏層深層較低維度的神經元能夠代替淺層高維度的輸入層神經元，從而達到降維和特征提取的作用。自動編碼器可以分成兩部分：一個由函數h=f(x)表示的編碼器和一個由函數x′=g(h)表示的重構解碼器。第一個函數能將輸入數據進行壓縮并提取特征，第二個函數則是對壓縮后的數據進行重構。

通過編碼和解碼，自編碼器可以學習數據內在的特征分布。如果僅用正常流量進行訓練，則能夠得到一個簡單的正常與異常流量分類器，分類器會根據重構誤差（輸入和預測之間的誤差）是否在設定閾值范圍內判定流量數據是正常流量還是異常流量。

基于自編碼器的入侵檢測模型架構如圖2所示，研究人員在其基礎上提出了各種各樣的入侵檢測模型。例如，Gurung等人提出了一種基于稀疏自編碼器的入侵檢測模型，通過其稀疏性減少特征向量之間的依賴關系。通過實驗表明，該模型在NSL-KDD數據集上的準確率可以達到87.2%[46]。Farahnakian等人將四個自編碼器進行連接建立了一個深度自編碼器的入侵檢測模型，將上一個自編碼器的輸出作為下一個自編碼器的輸入。實驗結果表明，該模型在KDD99數據集上的二類分類和多類分類的預測準確率分別可達到96.53%和94.71%[47]。該方法通過將多個自編碼器組合構建深度自編碼器，實現了數據的降維以及解決不平衡分類的問題，從而使入侵檢測模型性能得到有效提升。Shone等人采用非對稱多隱層自編碼器與隨機森林分類器相結合搭建了一種入侵檢測模型，其減少了計算成本和所需的訓練數據量。實驗結果表明，該模型在KDD99數據集上的預測準確率達到97.85%[48]。Zavrak等人提出了一種基于變分編碼器的入侵檢測模型，實驗結果表明，該方法的檢測率在大多數情況下要優于自編碼器，但是由于方法的誤報率比較高，因此要使用受監督的學習算法[49]。Wang等人提出了一種基于堆疊去噪自編碼器（stacked denoising auto encoder，SDAE）和極限學習機（extreme learning machine，ELM）相結合的集成深度入侵檢測模型[50]。該模型通過去噪自編碼器學習數據集的特征，然后將學習到的特征輸入到極限學習機中進行微調，最終得到訓練好的模型。其中，極限學習機具有學習效率快、泛化性能好的優點，可以減少模型訓練時間。通過多次實驗證明，該模型對KDD99數據集進行二類分類的準確率可達到93%以上。Khan等人基于長短期記憶網絡以及自編碼器提出了一種混合智能入侵檢測模型[51]。該模型通過長短期記憶網絡來檢測時間特征，利用自編碼器更有效地檢測全局特征。通過實驗表明，該模型在ISCX-UNB數據集的準確率高達97.52%。該方法使用長短期記憶網絡以及自編碼器相結合，準確地刻畫了數據的時空特征，使得模型在準確率上取得了較大的提升。Vaiyapuri等人提出了一種無監督的入侵檢測模型[52]。該模型利用深度自動編碼器的優點來學習魯棒的特征表示，并使用一類支持向量機（one-class support vector machine，OCSVM）來尋找更緊湊的決策超平面來進行入侵檢測。與現有方法不同的是，該模型結合重構誤差和分類誤差定義了統一的目標函數，以確保學習到的特征表示具有魯棒性，從而最大限度地減少分類誤差并實現更高的入侵檢測精度。最終該模型在UNSW-NB15數據集上取得96.97%的準確率。

圖2 基于自編碼器的入侵檢測模型Fig.2 Intrusion detection model based on auto-encoder

通過以上方法可以發現自編碼器在入侵檢測的研究中應用得較為廣泛，研究人已經將多個版本的自編碼器應用于入侵檢測的研究，包括普通自編碼器、堆疊自編碼器、稀疏自編碼器和堆疊稀疏自編碼器。自編碼器已成為入侵檢測研究中降維和分類階段最常見的架構，其既可以作為一種數據處理方法，對維度較大的數據進行降維，也可以作為分類器對網絡流量進行檢測。

2.4 基于生成式對抗網絡的入侵檢測模型

生成式對抗網絡[53-54]是由Goodfellow等人提出的一種新穎的深度學習生成模型，是當前最有研究價值的模型之一[55]。生成式對抗網絡由生成器和鑒別器兩個部分組成，其中生成器通過學習捕獲真實數據樣本的概率分布生成新的樣本數據，然后通過鑒別器來判斷輸入樣本是真實數據樣本還是生成樣本數據。

生成式對抗網絡在多個領域得到了廣泛的應用，實現了強大的圖像、聲音和文本生成能力，同時也有助于改善入侵檢測模型的性能。生成式對抗網絡作為一種深層生成模型，基于交互和對抗的思想，可以將未標記的數據轉化為有標記的數據。因此，由生成器生成的樣本可以被視為假樣本，生成器將生成的樣本與訓練集中的真實樣本進行混合，然后將其隨機地輸入到鑒別器中，從而判斷樣本是真實樣本還是生成樣本。因此生成式對抗網絡能有效地解決數據集中標簽數據樣本較少的問題。

由于信息時代的到來，收集大量未標記樣本很簡單，但是想要采集大量標記樣本就需要消耗大量的人力物力。生成式對抗網絡有效地解決了這個問題，因此得以廣泛應用。Liao等人將GAN的標準模型進一步轉化為監督學習模型，提出了一種基于GAN的網絡入侵檢測方法。分別選用LSTM網絡和人工神經網絡作為信號生成器和鑒別器。在相同的測試集樣本下，將GAN與其他方法的原始分類模型在多個性能指標上進行了比較。實驗結果表明，該方法能有效地提高網絡入侵檢測性能，精度達到82.3%[56]。Singla等人基于生成式對抗網絡提出了一種對抗域自適應的入侵檢測模型，該模型通過將域自適應和生成式對抗網絡相結合，降低了入侵檢測模型訓練所需要的數據量，使得可以通過少量的樣本數據訓練而達到更高的準確率和精度，同時降低了訓練所需時間。通過實驗表明，該模型在相同特征空間下對源數據集預測準確率可以穩定在91%～94%[57]。Li等人基于GAN提出了一種新的入侵檢測模型，用于在正常流量和惡意流量不成比例的情況下提高攻擊檢測性能。通過信息增益和主成分分析進行特征提取，通過DBSCAN（density-based spatial clustering of applications with noise）進行數據聚類以及通過WGAN-DIV（wasserstein GAN divergence）進行數據生成，最后使用六個入侵檢測分類器在三個數據集中分別進行實驗，實驗結果表明，該模型使用XGBoost分類器使得準確率在90%～98%，并且獲得了最佳的F1得分（F1 Score）[58]。Liu等人針對入侵檢測數據集的不平衡性和高維性的特點，提出使用生成式對抗網絡對數據集進行處理[59]。一方面通過生成式對抗網絡生成少數類樣本數據，另一方面使用方差分析法進行特征選擇，從而得到低維且平衡的數據集，最后將生成的類平衡數據集放入機器學習模型中進行訓練。該方法通過生成式對抗網絡的優點來解決數據集不平衡問題，為接下來的模型提供平衡的數據集，有效地提高了模型的準確性。

生成式對抗網絡通過學習少量數據集從而產生新的不可預測的攻擊樣本，以此解決數據集不平衡問題。生成式對抗網絡適合在數據集較少的情況下使用，并與其他深度學習方法相結合，可以更好地提高入侵檢測模型性能。

2.5 不同類型入侵檢測模型分析比較

表1中列出了以上四種基于深度學習的入侵檢測模型的優點和適用情況。

表1 不同類型入侵檢測模型分析比較Table 1 Analysis and comparison of different types of intrusion detection models

通過2.1～2.4節以及表1的介紹可以看出，現有的基于深度學習的入侵檢測模型可以歸為以下幾類：（1）采用卷積神經網絡構建的入侵檢測模型可以更好地提取數據中的空間特征，提高模型的計算效率。并且由于其權值共享的特性，能夠有效減少所要訓練的參數，降低了模型的自由度，避免了在有限的數據集上花費大量時間進行擬合所造成的過擬合。（2）時序特征是數據的一個重要特征，長短期記憶網絡可以通過其特有的細胞結構來保持數據間的長期依賴關系。可以使用長短期記憶網絡和其他神經網絡組合構建入侵檢測模型，提取準確描繪數據的時空特征，提高模型的準確率。（3）自編碼器可以實現對數據的降維，適用于數據集中數據特征較多的情況，并且自編碼器還可以解決數據集中數據分類不平衡的問題，提高模型對少量分類數據的預測準確率。（4）目前用于入侵檢測的數據集已經不能代表當前的網絡狀況，但在當前復雜的網絡中獲取大量的標記數據樣本也并不容易，面對這種問題，可以采用生成式對抗網絡構建入侵檢測模型，只需要為模型提供少量的數據樣本便可以完成模型的訓練。

表2列出了多類入侵檢測模型的性能對比，可以看出大部分模型在數據集上的測試都取得了很好的準確率，但這些模型還存在著一定的誤報率，這是當前入侵檢測模型研究中需要解決的問題。

表2 多類入侵檢測模型性能對比Table 2 Performance comparison of multiple types of intrusion detection models

2.6 基于其他深度學習的入侵檢測模型

以上是對卷積神經網絡、長短期記憶網絡、自編碼器和生成式對抗網絡等當前流行的基于深度學習的入侵檢測模型進行的分析和比較。除去以上四種主要用于入侵檢測的深度學習方法，還有其他深度學習方法被應用于入侵檢測中。例如，Duan等人提出了兩種入侵檢測模型進行分析比較，包括基于反向傳播（back propagation，BP）神經網絡和基于深度置信網絡（deep belief networks，DBN）的入侵檢測模型[26]。其中基于BP神經網絡的入侵檢測模型首先通過主成分分析對數據集進行處理，以消除冗余和無用信息，然后將獲得的低維標記訓練數據作為BP神經網絡輸入，從而對分類器進行訓練。然而基于深度置信網絡的入侵檢測模型是在對大量未標記訓練數據進行預處理，得到高維未標記訓練數據后，直接將其作為初始深度置信網絡的輸入，從而對分類器進行訓練。實驗結果表明，深度置信網絡在特征學習方面有著獨特的優勢和良好的效果，因此，可以將其應用于入侵檢測研究中，通過從當前高維冗余的網絡數據中提取有效特征，從而提高入侵檢測模型的檢測性能及其對當前復雜高維網絡環境的適應性。Jia等人提出了一種基于深度置信網絡的入侵檢測模型[64]。該模型使用信息增益技術（information gain，IG）對高維數據特征進行降維并去除冗余特征，基于信息熵來確定深度置信網絡中隱藏神經元的數量和網絡深度。并且采用過采樣技術對數據集進行處理來解決數據不平衡問題。實驗結果表明，與其他方法比較，該模型的預測準確率可達到97.95%。Yang等人提出了一種用于入侵檢測系統的并行集成學習方法[65]。該方法使用集成學習將梯度提升決策樹（gradient boosting decision tree，GBDT）模型和門控循環單元（gate recurrent unit，GRU）模型結合為一個模型。其中GRU模型具有記憶結構，能夠捕獲數據間長期依賴關系，但是很難提取到數據的空間特征。所以通過加入GBDT模型來提取數據的空間特征。該方法使用集成學習來吸收兩種模型優點，使得其能有效地提取和處理數據的時空特征。此外，由于GBDT和GRU的基本思想完全不同，該集成方法可以最大限度地發揮兩種不同方法的優點并避免過度擬合。該模型在CIC-IDS-2017數據集上的預測準確率為99.90%。Singh等人提出了一種基于廣泛和深度遷移學習（transfer learning，TL）的堆疊GRU框架，以處理網絡入侵檢測中的多維數據和多變量時間序列回歸和分類問題[66]。經實驗證明，該模型在KDD99數據集上的準確率可達到99.92%。

3 常用數據集

大量數據集的提出，是為了滿足入侵檢測模型的研究需求，如KDD99數據集[67]、NSL-KDD數據集[68]、UNSW-NB15數據集[9]、CIC-IDS-2017數據集[69]、CIDDS-001數據集[37]等。表3給出了數據集的詳細介紹[70]。下面對基于深度學習的入侵檢測模型研究中常用的數據集分別進行介紹。

表3 常用于入侵檢測的數據集Table 3 Data sets commonly used in intrusion detection

KDD99數據集：該數據集包括有關TCP連接的屬性，但其中并不包括IP地址。并且數據集格式既不是標準數據包格式，也不是基于流的格式。KDD99數據集中具有41個特性以及4類主要攻擊，其中4類主要攻擊分別是拒絕服務攻擊（DOS）、端口掃描（Probe），來自遠程主機的未授權訪問（R2L），未授權的本地超級用戶特權訪問（U2R）。KDD99數據集是最早用于入侵檢測模型訓練與測試的公共數據集之一，也是目前在入侵檢測模型訓練與測試中使用最為廣泛的數據集。盡管KDD99數據集被頻繁使用，但是該數據集還是存在許多缺陷，如重復記錄等，因此KDD99數據集不能準確反映現代網絡流量和攻擊。

NSL-KDD數據集：由于KDD99數據集中存在著一些問題，研究人員在其基礎上研發出新的數據集，也就是NSL-KDD數據集[71]。NSL-KDD數據集通過刪除KDD99數據集中的重復記錄和一些難以進行分類的數據來進行改進，雖然這種改進消除了KDD99數據集的一些問題，但是該數據集仍然具有一定的局限性，因此它也不能夠代表現有真實網絡流量數據。但是在研究過程中仍然可以用它作為入侵檢測模型的訓練和測試數據集，以幫助研究人員與其他入侵檢測模型進行對比。

UNSW-NB15數據集：該數據集包含基于數據包格式的正常和惡意網絡流量，這些流量是使用IXIA Perfect Storm工具在小型仿真環境中歷時31個小時創建的。其包含九種不同的攻擊系列。該數據集還可以使用具有附加屬性的基于流的格式。UNSW-NB15數據集帶有預定義的拆分，用于訓練和測試。該數據集包含45個不同的IP地址，并且是公開可用的。

CIC-IDS-2017數據集：研究人員通過建立一個模擬正常流量的小型網絡環境，從中采集數據形成該數據集，歷時5天，包含基于數據包和基于雙向流格式的網絡流量，其中數據更加接近真實世界數據。CIC-IDS-2017數據集中包括80多個網絡流特征以及包含多種攻擊類型，如SSH暴力攻擊、心血漏洞、僵尸網絡攻擊、DOS攻擊、DDos攻擊、Web攻擊和滲透攻擊。

CIDDS-001數據集：該數據集是研究人員通過模擬小型企業環境獲得的，其包括基于單向流的網絡流量，并帶有詳細的技術報告和附加信息。該數據集是公開可用的，其中包括SSH暴力、DOS和端口掃描攻擊以及從野外捕獲的多個攻擊。

以上便是對基于深度學習的入侵檢測模型研究中常用數據集的介紹。然而隨著攻擊場景的不斷增加，以及更復雜軟件和網絡結構的出現，要求數據集應包含最新的和真實的網絡流量。一個完美的數據集應該是最新的、正確標記的、公開可用的，包含各種攻擊和正常用戶行為以及有效負載的真實網絡流量。但是，這樣的數據集并不存在。因此，每個數據集都有其適合的使用場景。其中KDD99和NSL-KDD數據集更適合研究人員在與其他模型對比時使用，雖然其已經不能代表當前網絡流量，但其廣泛的使用率可以使研究人員有更多的對比對象，更能確定新的模型是否在準確率等方面取得了更好的效果。CIC-IDS-2017、CIDDS-001和UNSW-NB15等數據集可能適用于一般評估場景，這些數據集更能夠代表當前的網絡流量。其中CIC-IDS-2017和UNSWNB15數據集包含多種攻擊場景，CIDDS-001數據集包含用于深入調查的詳細元數據。

4 存在的問題和挑戰

近年來，基于深度學習的入侵檢測模型取得了不錯的性能。與機器學習相比，其在提高準確率、降低誤報率上得到改進。但現有方法還有著如下不足：

（1）用于訓練與測試的數據集已經不能代表當今時代的數據流量。現在的網絡流量狀況已不是當初可以想象的，已經進入大數據時代。所以早期的數據集已經不能滿足當今的需求，比如，以往研究人員在訓練與測試中使用的KDD99數據集，基于該數據集上所提出的模型往往可以得到很高的準確率和很低的誤報率，但是這不能代表所提出的模型在當前網絡狀況中也能達到良好的效果。

（2）模型實時分析問題。實時分析對于在企業級別應用的任何模型都是必不可少的。本文中介紹的入侵檢測模型通常是脫機的，并沒有在真實的網絡中進行實際應用。在惡意流量識別分類中，最大的挑戰在于模型對合法流量和惡意攻擊流量的區分。本文中的深度學習模型是在離線模式下完成測試的，也就是說入侵檢測模型在靜態數據集上進行工作，而對于實際應用，需要模型在網絡中實時分析在線數據流。到目前為止，對網絡流量的實時分析還沒有太多探索。

（3）模型普適性問題。本文中的入侵檢測模型通常是在一個數據集上完成整個訓練和測試過程，并沒有將訓練好的模型使用其他數據集進行測試，這種方法所訓練的模型并不能表明它在其他數據集上也能夠普遍使用，并取得良好的效果，這是當前研究的不足。

（4）模型訓練時間問題。目前大多數入侵檢測模型的訓練時間較長，這會嚴重影響模型的性能，有時需要對系統的整體性能進行折中，以減少訓練時間。并且對于基于深度學習的入侵檢測模型來說，由于涉及深層次的結構，且所需訓練的參數較多，需要大量時間，這將成為入侵檢測模型訓練過程中的巨大挑戰。

5 結束語

通過對基于深度學習的入侵檢測模型當前研究現狀的分析可知，深度學習技術為解決傳統入侵檢測模型的問題提供了更好的方法。本文從數據預處理、入侵檢測模型分類及數據集等方面總結并分析了近年來基于深度學習的入侵檢測模型的相關研究現狀，雖然各種新穎有效的方法被提出并應用，但是其檢測性能還需要進一步提升。因此，能夠準確、高效、實時地對復雜的網絡流量進行正確識別是未來基于深度學習入侵檢測模型的目標。