網絡未知攻擊檢測的深度學習方法

狄 沖，李 桐

1.上海交通大學 網絡空間安全學院，上海200240

2.國網遼寧省電力有限公司 電力科學研究院，沈陽110000

1 引言

入侵檢測系統（Intrusion Detection System，IDS）作為抵抗網絡攻擊的重要防御手段，承擔著保護計算機安全和保障工業企業網絡平穩運行的任務，是信息安全領域的重要研究課題[1]。其中，異常檢測通過對網絡流量特征進行建模，來識別網絡中的正常流量和異常流量，是網絡入侵檢測的重要手段[2]。

在入侵檢測系統中，通過對所識別到的異常流量進行阻斷，可實現面向網絡攻擊的被動防御。同時，對異常流量進行分類，分析不同的攻擊行為，對攻擊方式建模，持續完善攻擊特征數據庫，又可進一步提高系統防御水平。因此，對于網絡異常檢測的研究，可分為以下兩部分內容：（1）異常流量的識別；（2）流量類型的分類，包括正常流量和攻擊類型。網絡異常檢測本質上可歸結為機器學習中的二分類和多分類問題。多年來，研究人員不斷將各種機器學習算法（如支持向量機、決策樹、K 近鄰等）用于網絡異常檢測[3-4]，并取得一定的成果。但是傳統機器學習算法大多依賴于特征的提取與選擇[5]，分類的準確率和精度也存在進一步提升的空間。近年來，隨著深度學習的不斷發展，深層神經網絡憑借其強大的表征學習能力，在計算機視覺、語音識別、自然語言處理等多個領域取得遠超傳統機器學習算法的效果[6]，也為網絡異常檢測提供了新的解決方法。

目前，國內外均已出現一些基于深度學習的網絡異常檢測成果[7-11]。Alrawashdeh等[7]利用受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）對原始網絡流量特征進行提取，并利用另一組RBM 所組成的深度信念網絡（Deep Brief Network，DBN）對提取到的特征進行分類；Kim等[8]以ReLU（Rectified Linear Unit）作為激活函數，利用含兩個隱含層的深度神經網絡（Deep Neural Network，DNN）對網絡流量進行檢測；Vigneswaran 等[9]對比分析了不同深度的DNN 的算法性能以及網絡異常檢測效果；Vinayakumar 等[10]還進一步研究了多層感知機（Multi-Layer Perceptron，MLP）、卷積神經網絡（Convolutional Neural Network，CNN）以及循環神經網絡（Recurrent neural network，RNN）等網絡結構在異常檢測上的應用效果；張思聰等[11]利用數據填充的方式將原始的一維網絡流量數據轉換為二維的“圖像數據”，而后以tanh作為激活函數，利用卷積神經網絡進行異常檢測。相較于傳統機器學習算法，以上研究成果在相關數據集上均取得了一定程度的效果提升，表明深度學習方法是一種有效的異常檢測工具。

前述研究存在以下兩點局限性：第一，檢測的精度仍存在提升的空間。入侵檢測系統的性能對分類的精度十分敏感，分類錯誤的攻擊數據會進一步影響對攻擊的建模。第二，前述研究僅適用于網絡流量類型已知的情況。入侵檢測是一個與攻擊者持續博弈的過程，在入侵檢測系統不斷完善的同時，攻擊者也在更新其攻擊方式[12]。在面向未知攻擊威脅時，傳統分類器由于不具備識別能力，會將其錯誤地標注為某已知類別，從而造成誤判，導致分類精度的進一步降低和入侵檢測系統性能的惡化。“知之為知之，不知為不知，是知也”。一個理想的異常檢測方法應該具備識別未知攻擊的能力，以及在無法做出準確判斷時的感知能力。

對于未知攻擊的識別，在本質上可將其歸結為開集（Open Set）分類問題，即對于一個訓練好的分類器，測試樣本中存在訓練樣本中沒有出現的未知類別，以期分類器能夠在準確識別已知類別數據的同時，對未知類別數據具備感知能力，將其判斷為未知類別。為了實現對未知攻擊的識別，近年來，有少量基于機器學習的方法被提出[13-16]，其中最為主流的是基于內容相似度的檢測模型[17]。作為代表性工作，Song等[16]提出利用單分類支持向量機（One Class SVM），通過對已知流量類別進行單獨建模，學習高維特征空間中用于區分各類別的超平面，判斷網絡流量是否屬于某已知類型，從而識別未知攻擊。由于正常網絡流量行為多變，不易單獨建模，且需要訓練多個攻擊模型，對特征選擇也有著一定要求，上述方法仍存在準確率較低和誤報率較高的問題，檢測性能存在進一步提升空間。

對于開集分類問題，利用深度學習方法，在計算機視覺領域也有相關研究出現。Hendrycks等[18]提出一種基于神經網絡中Softmax 分類層的置信度估計方法，將Softmax層的最大值作為分類結果的置信度，通過閾值判斷樣本是否屬于訓練數據中的已知樣本類別。在該方法的基礎上，DeVries等[19]提出脫離Softmax層，額外訓練一個網絡參數作為樣本類別的置信度來進行已知類別圖像和未知類別圖像的區分。此外，Lee[20-21]、Hendrycks[22]、Nalisnick[23]等提出了數種基于生成模型的訓練樣本擴充方法來提高圖像分類器的邊界學習能力，從而提升對未知類別的檢測效果。為了進一步提高網絡異常檢測系統性能，尤其對未知攻擊的識別能力，受文獻[19]工作啟發，本文提出一種基于置信度神經網絡（Confidence Neural Network，ConfNN）的異常檢測方法，通過訓練具備置信度參數的DNN，利用置信度對DNN的分類結果進行評估和校正，實現網絡流量分類精度的提高和對未知類型網絡攻擊的檢測。

2 相關理論方法

2.1 深度神經網絡

鑒于本文所采用的ConfNN是傳統DNN的變型，首先介紹DNN的網絡結構和訓練過程。

DNN 由包括輸入層、隱含層和輸出層在內的若干層組成，每一層包含若干個神經元[6]。一般而言，輸入層神經元的數目與數據的特征維度，即預處理后網絡流量的特征數相同；輸出層神經元的數目與樣本類別的數量，即網絡流量已知標簽的種類相同；隱含層的層數與各隱含層神經元的數量為網絡的超參數，層數越多、神經元的數量越大意味著更強的特征處理和表達能力，但也帶來了更高的模型復雜度、訓練難度以及過擬合的風險。圖1展示了一個僅有一個隱含層的DNN，其訓練過程可概括為前向傳播（Forward Propagation）評估模型效果和反向傳播（Backward Propagation）調諧模型參數兩個階段。

在前向傳播階段，一組網絡流量的原始特征經數值化編碼、標準化處理后得到特征向量x，通過輸入層與隱含層之間的連接關系傳遞到隱含層，實現特征的映射x →h：

圖1 DNN基礎結構

其中，w 為輸入層神經元與隱含層神經元連接的權重值，b 為偏置值，f 為神經元激活函數。當有多個隱含層時，數據特征在隱含層間映射關系的作用下依次傳遞，實現原始特征的深度變換和提取。最后一個隱含層與輸出層之間為全連接關系，在連接權值、偏置值以及激活函數的共同作用下，得到網絡輸出aL。利用Softmax函數，將輸出層各神經元的激活值轉化為具有統計意義的概率值：

通過計算當前網絡對輸入數據的預測結果y^ 與數據真實標簽y 之間的交叉熵（Cross Entropy，CE），評估網絡模型，得到網絡預測損失L：

在反向傳播階段，根據網絡損失L，利用網絡參數優化算法（如隨機梯度下降、ADAM 等）對網絡參數進行調優，得到優化后的模型。迭代執行前向傳播和反向傳播算法，通過對網絡參數的不斷調整來提高模型的分類能力。

2.2 置信度神經網絡

相較于DNN，ConfNN最大的特點在于網絡輸出層的不同。除了aL外，ConfNN的輸出層還包含一個與最后一個隱含層直接連接的置信度神經元cL，經Sigmoid激活函數處理后得到置信度c：

圖2展示了ConfNN的基本結構。

圖2 ConfNN結構示意圖

對于置信度c，期望其具有以下作用：當網絡模型對當前輸入的類別進行判定的準確率低時，輸出較小的置信度；反之，則輸出較大的置信度。進而，在對網絡流量進行檢測時，可通過置信度c 的大小來評估當前網絡分類結果的可靠程度，實現分類精度的提高和對未知攻擊的檢測。在網絡訓練的前向傳播階段，設計以下規則更新網絡輸出的概率值[19]：

進而得到概率更新后的預測損失：

通過以上設定，鼓勵網絡在預測錯誤時，輸出較低的置信度值，從而使得最終預測結果更接近于真實值，減少預測損失。為了防止出現網絡將置信度值全部輸出為0，從而使得Lp=0 以最小化預測損失的情況，額外定義置信度損失Lc，激勵網絡在具備正確的分類能力時輸出較高的置信度值：

最終損失為預測損失和置信度損失之和，其中λ 作為超參數起平衡兩類損失的作用：

3 基于置信度神經網絡的異常檢測方法

本文所提出的基于ConfNN 的未知攻擊檢測方法，主要包括兩部分：（1）置信度神經網絡訓練；（2）已知流量類型的分類及未知攻擊的檢測。整體框架如圖3 所示。對于網絡流量特征，首先經過預處理模塊對特征進行數值化編碼和歸一化，而后使用訓練數據對ConfNN參數進行訓練，得到訓練好的ConfNN 模型；對于輸入ConfNN 模型中的待測網絡流量，利用網絡輸出的分類信息和置信度信息對其類別進行分析。

3.1 置信度神經網絡實施細節

為提升網絡模型異常檢測效果，本文改進ConfNN訓練過程，提出自適應的損失平衡策略和動態調整正則化項的方法。

3.1.1 自適應損失平衡

在ConfNN的損失函數中引入了置信度損失Lc，當平衡參數λ 為固定值時，在Lp?λLc的情況下，往往會出現網絡將所有置信度值c 無差別地輸出為1 以使Lc→0，從而降低整體損失L 的結果，使得置信度值c無法發揮應有的作用。因此，在訓練的過程中，需要動態地對平衡參數λ 進行調整，以達到對于正確分類的數據有置信度值c →1 和錯誤分類數據有置信度值c →0的理想訓練效果。本文提出基于預測損失Lp和置信度損失Lc關系的平衡參數λ 調節方法：當Lp≥Lc時，適當減小平衡參數λ 的值，從而鼓勵網絡學習生成較低的置信度值給錯誤分類的數據以降低預測損失Lp；當Lp＜Lc時，適當增大平衡參數λ 的值，以鼓勵網絡在對數據正確分類時生成較高的置信度值。

圖3 基于ConfNN的異常檢測方法框架

3.1.2 動態正則化

置信度損失Lc可以看作是網絡損失函數中的正則化項，在一定程度上能夠起到防止網絡過擬合的作用。但是在訓練網絡生成置信度的過程中，由于利用了數據的真實標簽，會導致網絡在處理一些復雜的分類問題時，尤其是在處理分類邊界數據時，往往會通過生成低置信度值以利用真實數據標簽信息降低整體損失，從而失去學習分類邊界的機會，造成模型能力的下降和分類準確率的降低。針對該問題，本文提出引入學習自動機理論（Learning Automata Theory）[24]，在訓練過程中，動態調整置信度模塊發揮作用的概率。

考慮式（3）所定義的原始交叉熵，當它的值下降時，意味著網絡正在學習訓練樣本的分類邊界，需要降低引入置信度模塊的概率，提高網絡的分類能力；當原始交叉熵的值不變甚至升高時，提高置信度模塊的利用率，防止網絡過擬合并訓練網絡置信度值的生成參數。學習自動機作為一種經典的增強學習算法，能夠根據外部反饋動態調整自身行為以適應環境需求，是一種較好的解決工具。

具體而言，定義一個學習自動機A:=＜A,B,P ＞，其中A={a1,a2}對應學習自動機的兩個行為，分別為激活置信度模塊(a1)和凍結置信度模塊(a2)；B 為學習自動機所接收到的外部信息，此處為原始交叉熵的前后大小關系；P=[p1,p2]為概率向量，對應學習自動機選擇各行為的概率。在網絡訓練過程中，根據原始交叉熵的前后大小關系，按如下規則更新概率向量P ，實現正則化項的動態調整：

其中，Δ 為更新步長。

3.2 未知攻擊檢測

對于一個訓練好的ConfNN 模型，網絡輸出層包括aL和cL。其中，aL用于分類，cL用于對網絡分類結果進行評估。如式（2）和式（4），分別利用Softmax 函數和Sigmoid函數對aL和cL進行處理，得到分類預測信息y^和置信度值c，分類的結果為arg maxi{y^}。

給定閾值δ，對于待測數據x：

當置信度值c 大于等于閾值δ 時判定x 為已知類型，接受網絡分類結果；當置信度值c 小于閾值δ 時判定x 為疑似未知攻擊。

相較于傳統分類器，ConfNN 通過同步訓練置信度c 使得模型具有對分類結果的自我評估能力，從而突破閉集分類的限制，適用于未知攻擊檢測這一開集分類問題。具體地，在對網絡流量進行檢測時，理想情況下模型表現為：（1）當對流量數據正確分類時，ConfNN 輸出較高的置信度值c，接受模型分類結果；（2）當對流量數據錯誤分類時，ConfNN輸出較低的置信度值c，拒絕模型的分類結果，判定為疑似未知攻擊類型。在情況（2）中，ConfNN 所判定的疑似未知攻擊中包括錯誤分類的已知類型數據和未知攻擊數據。對于錯誤分類的已知類型數據，將其判定為疑似未知攻擊，拒絕模型分類結果，有助于提高模型對已知類型數據的分類精度，從而降低模型誤分類對異常檢測系統的影響。

對于ConfNN，δ 的取值決定了模型的性能。在實際應用中，可以通過人工搜集大量未知攻擊流量數據進行δ 取值的調優，但該方法費時費力，可行性低。對于一個訓練好的ConfNN模型，考慮上述情況（2），在訓練集上無法被正確分類的流量數據相當于ConfNN 模型所判定的疑似未知攻擊。因此，在訓練數據集上可將正確分類的數據和錯誤分類的數據分別作為已知類型和未知攻擊，以檢測錯誤率為標準，利用一維搜索的方法確定模型閾值δ 的取值。

4 實驗

為了驗證本文所提出的ConfNN 模型的實際效果，在UNSW-NB15、CICIDS 2017 等最新網絡異常檢測數據集上進行實驗，分析模型效果，利用分類準確率、檢測錯誤率、AUROC等多個指標評估算法性能。

4.1 數據集

UNSW-NB15數據集[25]是由澳大利亞網絡安全中心2015年發布的網絡異常檢測通用數據集，該數據集彌補了傳統異常檢測數據集（如KDDCUP 99，NSLKDD等）所存在的信息缺失、冗余度高等缺陷，廣泛應用于異常檢測算法的性能評估。除正常網絡流量外，UNSWNB15 數據集包含Fuzzers、Analysis 等9 種不同的網絡攻擊類型，每條流量數據包含49維特征。CICIDS 2017數據集[26]由加拿大網絡安全研究所于2017年發布，該數據集囊括多種最新的網絡攻擊類型，記錄了14 類不同的網絡攻擊，每條流量數據包含78維特征，并且更接近于真實的現代網絡流量。由于CICIDS 2017 數據集存在樣本數量分布不均衡的問題[26]，本文在包含全部攻擊類型的基礎上，對部分攻擊類型的數據進行隨機采樣，以形成樣本數據分布較均衡的數據集。

表1和表2分別展示了兩個數據集的統計信息。在訓練過程中，選擇部分類型的攻擊作為已知流量類型進行訓練得到ConfNN模型，剩余類型的攻擊將作為未知攻擊，用于評估ConfNN對未知攻擊的檢測效果。通過將數據集進行劃分，保證用于模型訓練的“已知類型”數據和用于模型評估的“未知攻擊”數據享有相同的數據采集方法和處理方式，減少因采集方式不同所造成的數據差異，從而在流量特征的本質上評估模型對未知攻擊的檢測效果。

表1 UNSW-NB15數據集統計信息

表2 CICIDS 2017數據集統計信息

4.2 評價標準

本文采用以下性能指標對ConfNN 模型效果進行評估：

（1）準確率：對于已知類型數據，分類正確的樣本數占全部樣本數的比例。

（3）檢測錯誤率：錯誤判斷已知類型為未知攻擊的樣本數占總已知類型樣本數的比例與錯誤判斷未知攻擊為已知類型的樣本數占總未知攻擊樣本數的比例的均值，即0.5Pin(f(x)≤δ)+0.5Pout(f(x)＞δ)。

（4）AUROC：受試者工作特征（Receiver Operating Characteristic，ROC）曲線下的面積，該性能指標不受閾值δ 的影響，綜合地評估模型性能。AUROC值越大，說明模型正確區分已知流量類型和未知攻擊的能力越強。

（5）AUPR：精度-查全率（Precision-Recall，PR）曲線下的面積，該性能指標不受閾值δ 的影響。AUPR值越大，說明模型識別未知類別數據的平均精度越高。

4.3 網絡結構及參數設置

對于兩種數據集，本文均采用相同的ConfNN 結構和訓練方法。具體而言，ConfNN包含兩個隱含層，輸入層和輸出層的神經元個數分別與數據特征數以及已知類別數相同，隱含層神經元的數量分別設置為128 和64。激活函數選擇ReLU函數，反向傳播階段所采用的優化算法為基于動量（Momentum）的隨機梯度下降算法[27]，學習速率為0.01，動量參數為0.9。訓練過程共經過10 次迭代，在迭代中每次利用32 條流量數據進行訓練，權值衰減參數設置為10-4。為防止網絡過擬合，采用插入Dropout層的方法，Dropout參數設置為0.1。

4.4 實驗結果

4.4.1 模型效果分析

圖4 和圖5 分別展示了在UNSW-NB15 數據集和CICIDS 2017 數據集的測試集上，ConfNN 對于已知類型數據和未知攻擊數據所產生的置信度值的分布直方圖。從圖中可以觀察到以下信息：（1）對于正確分類的已知類型數據，ConfNN 生成接近于1 的置信度值；（2）對于錯誤分類的已知類型數據以及未知攻擊數據，ConfNN生成較低的置信度值；（3）對于錯誤分類的已知類型數據和未知攻擊數據，ConfNN 生成的置信度值十分接近。以上現象說明ConfNN模型效果符合訓練目標，具備識別未知攻擊的能力，并且驗證了利用訓練集誤分類流量數據進行閾值δ 選擇的可行性。

圖4 UNSW-NB15數據集置信度值分布直方圖

圖5 CICIDS 2017數據集置信度值分布直方圖

圖6 ～圖9 展示了使用相同網絡參數訓練的傳統DNN 模型與ConfNN 模型在對測試數據進行檢測時的歸一化混淆矩陣。結果表明，對于已知類型流量數據，ConfNN 模型在分類時會將DNN 模型錯誤分類的數據判斷為未知類型，具有更高的分類精度，從而降低模型錯誤分類對入侵檢測系統的負面影響。但是ConfNN模型在提升分類精度的同時，也無法避免地在一定程度上降低了分類的查全率。F1-Score能夠綜合精度和查全率兩項指標評估模型性能，在UNSW-NB15 數據集上，對于已知類型流量，DNN 模型與ConfNN 模型的平均F1-Score 分別為0.56 和0.69，在CICIDS 2017 數據集上平均F1-Score 分別為0.92 和0.96。以上結果表明，對已知類型數據進行分類，ConfNN模型在精度和查全率上的綜合表現優于DNN 模型。此外，對于未知類型流量，DNN模型會將其誤分類為某已知類型，造成模型分類精度進一步降低。ConfNN模型能夠準確識別未知類型流量，具備疑似未知攻擊類型發現能力。

4.4.2 對比實驗

圖6 DNN模型UNSW-NB15歸一化混淆矩陣

圖7 ConfNN模型UNSW-NB15歸一化混淆矩陣

圖8 DNN模型CICIDS 2017歸一化混淆矩陣

圖9 ConfNN模型CICIDS 2017歸一化混淆矩陣

表3 One Class SVM、SoftmaxNN與ConfNN模型實驗結果

為了更客觀地評估ConfNN 的性能，將傳統未知攻擊識別的單分類支持向量機（One Class SVM）模型[16]和文獻[18]提出的利用網絡Softmax層的最大值作為分類置信度的SoftmaxNN模型作為對比算法，比較三種算法在不同評價指標下的表現。對于One Class SVM，采用徑向基核函數，內核系數設置為特征維數的倒數，訓練誤差分數的上限和支持向量分數的下限設置為0.5；對于SoftmaxNN，采用與ConfNN 相同的參數設置和閾值設定方法。

表3展示了One Class SVM、ConfNN和SoftmaxNN三種算法所給出的實驗結果。由于One Class SVM模型中不包含直接影響未知攻擊檢測結果的閾值參數，無需計算AUROC和AUPR。從測試結果可以看出：（1）深度學習模型（包括ConfNN和SoftmaxNN）相比傳統One Class SVM模型在對已知類型流量分類的準確率和F1-Score 上有很大的提升，說明深度學習模型在實現未知攻擊檢測的同時能夠更好地保證對已知類型流量的分類能力。（2）深度學習模型相比傳統One Class SVM模型在識別未知攻擊時的檢測錯誤率明顯下降。（3）相較于SoftmaxNN 模型，ConfNN 在各項評價指標上均有一定的提升。尤其在檢測錯誤率上，在UNSW-NB15 數據集，ConfNN 將檢測錯誤率從34.5%降低到21.2%；在CICIDS 2017 數據集上，將檢測錯誤率從25.1%降低到12.6%。實驗結果驗證了ConfNN模型具有較強的區分已知攻擊和未知攻擊的能力，表明ConfNN是一種有效的未知攻擊識別方法。

5 結束語

為了提高入侵檢測系統的綜合防御能力，基于置信度神經網絡，本文提出面向網絡流量的異常檢測模型ConfNN。相較于傳統異常檢測模型，ConfNN具備未知攻擊的識別能力，同時提高了異常檢測算法的精度，減少了因攻擊類型誤分類對攻擊入侵檢測系統中攻擊建模和行為分析所造成的消極影響。本文在UNSW-NB15和CICIDS 2017 兩個異常檢測數據集上的仿真實驗結果驗證了ConfNN模型的效果，并通過與其他未知攻擊檢測方法的對比實驗評估了ConfNN 模型的綜合性能。實驗結果表明，ConfNN 模型是一種有效的未知攻擊檢測方法，能夠更好地滿足入侵檢測系統的需求。但是，ConfNN模型在分類的準確率、查全率以及區分未知和已知流量類型的檢測錯誤率上仍存在提升空間，這是未來工作中需要進一步解決的問題。此外，目前已有的異常檢測數據集仍存在樣本分布不均衡的問題，部分攻擊樣本數量較少，利用生成模型人工生成攻擊樣本用于模型訓練也是未來工作中十分重要的研究內容。