基于遺傳算法和LightGBM的網(wǎng)絡(luò)安全態(tài)勢感知模型

胡 銳，徐 芳，熊郁峰，熊洲宇，陳 敏

(江西省煙草公司吉安市公司，江西 吉安 343009)

0 引言

網(wǎng)絡(luò)給諸多行業(yè)發(fā)展帶來了便利，但因網(wǎng)絡(luò)而導(dǎo)致的問題也日漸顯著，相繼出現(xiàn)了因網(wǎng)絡(luò)信息保護(hù)不利而導(dǎo)致的信息泄露、網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)監(jiān)聽等事件[1]。人工智能技術(shù)是網(wǎng)絡(luò)安全技術(shù)難題的重要解決手段，越來越多的研究著重于基于人工智能構(gòu)建網(wǎng)絡(luò)態(tài)勢感知模型[2]。

應(yīng)對網(wǎng)絡(luò)攻擊的研究成為熱門[3-4]，研究人員逐漸使用網(wǎng)絡(luò)安全態(tài)勢感知代替原有的被動防御措施，能夠提前預(yù)測和發(fā)現(xiàn)潛藏的網(wǎng)絡(luò)攻擊。原始的網(wǎng)絡(luò)異常流量檢測模型中通常使用統(tǒng)計分析[5]等方法，由于是通過已有信息來進(jìn)行防范，往往因為預(yù)測效果差而達(dá)不到防范新型網(wǎng)絡(luò)攻擊的效果。

態(tài)勢感知是一種基于環(huán)境的、動態(tài)的、系統(tǒng)的洞悉安全風(fēng)險的能力，可以全面地發(fā)現(xiàn)、識別安全威脅，并能準(zhǔn)確分析、及時處理安全威脅的一種方式。最早在軍事領(lǐng)域中被提出，分為覆蓋感知、理解和預(yù)測3個層次[6]。普通的安全管理策略視角單一，不能以全局的視角挖掘出網(wǎng)絡(luò)空間的內(nèi)在聯(lián)系，存在潛在風(fēng)險，而網(wǎng)絡(luò)安全態(tài)勢感知可整合采集的全部數(shù)據(jù)，以此評價網(wǎng)絡(luò)運行態(tài)勢[7]。

基于傳統(tǒng)機器學(xué)習(xí)的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)研究中，常用的方法有K鄰近算法[8]、支持向量機[9]、樸素貝葉斯[10]、隨機森林[11]，相較于原始的網(wǎng)絡(luò)檢測模型，在基于傳統(tǒng)機器學(xué)習(xí)的方法中，異常網(wǎng)絡(luò)模型檢測中的準(zhǔn)確率被提高了，但是存在復(fù)雜函數(shù)表達(dá)有限、魯棒性較差的問題。隨著網(wǎng)絡(luò)服務(wù)的增加以及網(wǎng)絡(luò)邊界不斷往外延伸，網(wǎng)絡(luò)流量呈現(xiàn)爆炸式增長的趨勢，傳統(tǒng)的機器學(xué)習(xí)表現(xiàn)出較大誤報率和泛化能力差等現(xiàn)象。

在基于深度學(xué)習(xí)構(gòu)建異常網(wǎng)絡(luò)檢測模型的研究中，PEI等人[12]提出了一種基于長短期記憶自編碼的異常網(wǎng)絡(luò)檢測模型，有較高的檢測精度。YIN等人[13]提出了一種基于循環(huán)卷積網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的異常網(wǎng)絡(luò)檢測模型，在多分類二分類中，相較于傳統(tǒng)的機器學(xué)習(xí)方法性能較好。來杰等人[14]提出將改進(jìn)的高斯模型和深度AE網(wǎng)絡(luò)相結(jié)合，實現(xiàn)了數(shù)據(jù)的降維優(yōu)化，檢測異常網(wǎng)絡(luò)有較好的效果。Hwang等人[15]使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)和無監(jiān)督的模型進(jìn)行自動的分析流量模式。目前注意力機制也被廣泛應(yīng)用，可以學(xué)習(xí)特定的特征，而忽略掉不重要的信息，皇甫雨婷等人[16]提出了一種基于注意力機制的模型來學(xué)習(xí)多個特征之間的相關(guān)性，抑制掉干擾信息，提出的模型有較高的準(zhǔn)確率，但是在表格文件中，無法學(xué)習(xí)到位置信息和異常網(wǎng)絡(luò)信息中的前后信息關(guān)系。

綜上所述，傳統(tǒng)機器學(xué)習(xí)方法難以處理大量高維實驗數(shù)據(jù)，又因為本文使用的實驗數(shù)據(jù)為表格數(shù)據(jù)，而深度學(xué)習(xí)方法在表格數(shù)據(jù)中表現(xiàn)不如樹模型，所以不選擇注意力機制和CNN等深度學(xué)習(xí)方法。基于此，本文提出一種基于遺傳算法+LightGBM(Light Gradient Boosting Machine)的網(wǎng)絡(luò)安全態(tài)勢感知模型，著重解決實驗數(shù)據(jù)的格式、數(shù)量規(guī)模和維度帶來的問題。在現(xiàn)有針對性的流量攻擊中，使用主動防御的網(wǎng)絡(luò)安全技術(shù)，強化的網(wǎng)絡(luò)模型進(jìn)行檢測，挖掘網(wǎng)絡(luò)流中的信息，提高網(wǎng)絡(luò)安全態(tài)勢預(yù)測模型精度與效率。

1 相關(guān)技術(shù)

1.1 遺傳算法

遺傳算法(Genetic Algorithm，GA)是一種模擬生物群體演化的計算機方法，它仿照自然界中的環(huán)境選擇和基因遺傳，使適應(yīng)性高的個體更容易生存和繁衍，而適應(yīng)性低的個體則被淘汰[17-18]。它不依賴于群體中的梯度信息，而是依靠群體內(nèi)部的搜索策略，可以求解復(fù)雜的非線性問題，具有并行性、魯棒性、通用性、搜索能力、適用面廣等特點[19]。

GA有如下優(yōu)點：(1)無需求導(dǎo)，僅依據(jù)目標(biāo)函數(shù)進(jìn)行搜索；(2)以決策變量的編碼為運算對象，不受函數(shù)約束條件的影響；(3)在同一時間內(nèi)使用了多個查詢點的信息，因此它具有平行查詢點的特點；(4)在選擇、交叉、變異等操作上采用概率的方法，增加了算法的靈活性；(5)具有較強的全局尋優(yōu)能力，對求解復(fù)雜及非線性問題有較好的效果；(6)與其他的啟發(fā)式算法具有很好的兼容性，能夠與諸如各向異性擴散融合(Anisotropic Diffusion Fusion，ADF)等的其他優(yōu)化算法相結(jié)合，提高算法的性能。

1.2 LightGBM

LightGBM是一種梯度提升框架，其作為一個實現(xiàn)梯度下降樹(Gradient Boosting Decision Tree，GBDT)算法的框架，支持高效率的并行訓(xùn)練。相較于經(jīng)典神經(jīng)網(wǎng)絡(luò)算法能夠以batch的方式訓(xùn)練來保證訓(xùn)練數(shù)據(jù)的大小不受內(nèi)存的限制，普通的GBDT算法每次迭代，都需要遍歷整個訓(xùn)練數(shù)據(jù)多次，但由于弱學(xué)習(xí)器的強依賴性，只能串行訓(xùn)練，從而導(dǎo)致訓(xùn)練耗時較長。LightGBM的單機多線程與多機并行訓(xùn)練特點彌補了這個缺陷。具體算法優(yōu)化的體現(xiàn)主要在于單邊梯度抽樣算法(Gradient-based One-Side Sampling，GOSS)與互斥特征綁定算法(Exclusive Feature Bundling，EFB)這兩大利器。

GOSS算法能夠?qū)μ荻刃〉臉颖景幢壤M(jìn)行采樣，對于梯度大的樣本點予以保留。而由信息增益公式(如式(1)所示)及定義可知大梯度樣本對信息增益有更大作用。所以這樣做不僅保證了模型的準(zhǔn)確度，而且能夠極大減少樣本量，從而提高訓(xùn)練效率。

(1)

其中：no=∑I[xi∈O]，

njl|O(d)=∑I[xi∈O：xij≤d]，

njr|O(d)=∑I[xi∈O：xij>d].

EFB算法專門被用于處理高維特征，能夠?qū)コ馓卣鬟M(jìn)行捆綁形成新的特征。其采用一種構(gòu)圖思想，將特征作為圖的頂點，對相互之間不互斥的特征進(jìn)行相連，隨后根據(jù)頂點的度進(jìn)行降序排列，度越大，則該特征與其他特征間的沖突越大，設(shè)置最大沖突閾值K，將加入到特征簇后沖突數(shù)不超過K的特征加入到捆綁簇中，否則建立新的特征簇。

2 本文提出的方法

2.1 數(shù)據(jù)清洗

讀取數(shù)據(jù)集(CSE-CIC-IDS2018)進(jìn)行分析，首先要對數(shù)據(jù)集中的特征進(jìn)行初步的篩選與清洗，需要刪除IP address、Flow ID、Timestamp等多余特征列。為了提高實驗結(jié)果的準(zhǔn)確性，需要對于每個數(shù)據(jù)集中的樣本進(jìn)行數(shù)據(jù)清洗，丟棄一些無窮大值、NaN空值和重復(fù)行等無效的數(shù)據(jù)。每個數(shù)據(jù)集的網(wǎng)絡(luò)流量類型及樣本數(shù)量統(tǒng)計如表1所示，包含各個數(shù)據(jù)集的丟棄樣本以及剩余的樣本。

表1 每個數(shù)據(jù)集的網(wǎng)絡(luò)流量類型及樣本類型

2.2 基于遺傳算法改進(jìn)的LightGBM

為了提高模型的泛化能力和穩(wěn)定性，本文引入GA對LightGBM進(jìn)行參數(shù)優(yōu)化。利用GA的隨機性、全局性特點，能夠使得模型避免陷入局部最優(yōu)情況。圖1是基于遺傳算法改進(jìn)的LightGBM模型的流程圖。

圖1 模型流程圖

為了減少LightGBM全局最優(yōu)參數(shù)組的偏差，提升網(wǎng)絡(luò)安全態(tài)勢感知模型的準(zhǔn)確性，在對原始數(shù)據(jù)的處理中，除了正常的數(shù)據(jù)清洗空值填充以及數(shù)值化以外，還需要針對二分類實驗進(jìn)行額外的標(biāo)簽整理工作。將原本多分類的標(biāo)簽整理成有攻擊和無攻擊兩種類型。隨后輸入到本文的模型中訓(xùn)練，其中利用GA進(jìn)行參數(shù)調(diào)優(yōu)的核心步驟主要分為6步：

(1)求解不同參數(shù)組下的LightGBM分類模型的均方根誤差(Root Mean Square Error，RMSE)取值大小；

(2)對每個待尋優(yōu)參數(shù)進(jìn)行編碼；

(3)計算種群內(nèi)各個體的適應(yīng)度函數(shù)值；

(4)找出適應(yīng)度函數(shù)值最大時對應(yīng)的參數(shù)組，并記錄結(jié)果；

(5)運用輪盤賭算法進(jìn)行自然選擇，保留被選中的參數(shù)組；

(6)對剩余參數(shù)組按交叉率進(jìn)行二進(jìn)制位交換操作以及按變異率進(jìn)行二進(jìn)制位變異操作。

2.3 創(chuàng)新點及優(yōu)勢

本文提出的模型相比于傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)方法更適用于表格實驗數(shù)據(jù)，傳統(tǒng)機器學(xué)習(xí)方法面對大量高維特征表格實驗數(shù)據(jù)時，常常表現(xiàn)出誤報率大和泛化能力差等結(jié)果，而深度學(xué)習(xí)方法在表格數(shù)據(jù)中表現(xiàn)不如樹模型。本文提出的一種基于遺傳算法+LightGBM的網(wǎng)絡(luò)安全態(tài)勢感知模型，以LightGBM為主模塊，使用GA進(jìn)行參數(shù)優(yōu)化可避免模型過擬合，在兩者組合的基礎(chǔ)上，使用特定步驟清洗過的數(shù)據(jù)進(jìn)行訓(xùn)練能進(jìn)一步提升模型的態(tài)勢感知準(zhǔn)確率，能夠有效解決實驗數(shù)據(jù)的格式、數(shù)量規(guī)模和維度帶來的問題。

3 實驗分析

3.1 實驗環(huán)境

本次實驗使用的軟硬件環(huán)境如表2所示。

表2 軟硬件環(huán)境

3.2 數(shù)據(jù)集

為驗證模型的效果，本實驗使用的數(shù)據(jù)集是CSE-CIC-IDS2018 on AWS，來自通信安全機構(gòu)(CSE)與加拿大網(wǎng)絡(luò)安全研究所(CIC)之間的協(xié)作項目。CSE-CIC-IDS2018 on AWS是基于創(chuàng)建用戶概要文件生成的用于入侵檢測的多樣且全面的基準(zhǔn)數(shù)據(jù)集。受攻擊的攻擊基礎(chǔ)設(shè)施包括50臺計算機，以及5個受害組織部門的420臺計算機和30臺服務(wù)器。捕獲每臺計算機的網(wǎng)絡(luò)流量和系統(tǒng)日志，使用CICFlowMeter-V3從捕獲的流量中提取的80個特征。包括七種不同的攻擊場景的14種攻擊類型：Heartbleed、Botnet、DoS等。

在數(shù)據(jù)預(yù)處理部分對數(shù)據(jù)進(jìn)行初步篩選和匯總，從匯總后的數(shù)據(jù)中提取出正常的標(biāo)簽和每種攻擊類型的數(shù)據(jù)，正常標(biāo)簽數(shù)據(jù)為Benign，剩下的標(biāo)簽數(shù)據(jù)為各種攻擊類型。正常的網(wǎng)絡(luò)流量類型與各個攻擊類型的比例為7：3左右，統(tǒng)計如表3所示。本實驗將所有的攻擊類型統(tǒng)一劃分，分為正常類型與受攻擊類型，使用模型進(jìn)行異常識別分類，驗證模型效果。

表3 網(wǎng)絡(luò)流量類型數(shù)量統(tǒng)計

3.3 實驗分析與評價

為了更好地驗證本文提出的模型在進(jìn)行網(wǎng)絡(luò)安全態(tài)勢感知的效果，根據(jù)所使用的數(shù)據(jù)集劃分了四個對照組：80個特征多分類對照組(IDS-2018-mul-80future)、80個特征二分類對照組(IDS-2018-bin-80future)、18個特征多分類對照組(IDS-2018-mul-18future)以及18個特征二分類對照組(IDS-2018-bin-18future)。在每個對照組中，選取了幾個其他應(yīng)用在網(wǎng)絡(luò)安全態(tài)勢感知方面的深度學(xué)習(xí)網(wǎng)絡(luò)模型，并使用相同數(shù)據(jù)集進(jìn)行對比實驗。若本文提出的模型能夠根據(jù)輸入數(shù)據(jù)正確預(yù)測網(wǎng)絡(luò)攻擊類型，則判定為感知成功。

首先是80特征下的網(wǎng)絡(luò)安全態(tài)勢感知效果，根據(jù)表4可以看出不同模型在80特征下的多分類、二分類準(zhǔn)確率，本文所提出的模型在80特征的情況下的態(tài)勢感知準(zhǔn)確度要明顯優(yōu)于其他深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，其中多分類的感知準(zhǔn)確率達(dá)到了99.43%，二分類的感知準(zhǔn)確率達(dá)到了99.87%。

表4 80特征訓(xùn)練準(zhǔn)確率對比

對比分析網(wǎng)絡(luò)安全態(tài)勢感知效果較好的TabNet網(wǎng)絡(luò)模型。在80特征條件下，模型訓(xùn)練過程的損失變化和準(zhǔn)確率變化結(jié)果如圖2、圖3所示，測試準(zhǔn)確率如圖4所示，圖示中的橫坐標(biāo)為epoch，縱坐標(biāo)為loss值和準(zhǔn)確率。

圖2 TabNet 80特征訓(xùn)練損失變化曲線

圖3 TabNet 80特征訓(xùn)練準(zhǔn)確率變化曲線

圖4 TabNet 80特征測試準(zhǔn)確率曲線

由以上訓(xùn)練損失、訓(xùn)練準(zhǔn)確率和測試準(zhǔn)確率曲線變化圖可得出結(jié)論：雖然TabNet網(wǎng)絡(luò)模型的感知效果在訓(xùn)練時呈現(xiàn)出較高的感知準(zhǔn)確率，但是其在測試集上呈現(xiàn)出震蕩的趨勢，根據(jù)其曲線變化可以推斷出這是由于訓(xùn)練特征過多而導(dǎo)致的過擬合現(xiàn)象。

為驗證因特征過多導(dǎo)致的模型過擬合猜想，設(shè)置18特征對照組實驗，根據(jù)構(gòu)建樹模型時各個特征所做出的貢獻(xiàn)的重要程度進(jìn)行排序，排序結(jié)果如圖5所示，提取重要度排名前18的特征用于訓(xùn)練，圖示中的橫坐標(biāo)為前18個特征名，縱坐標(biāo)為特征重要度評分。

圖5 特征重要度評分

將80特征降維為18特征后，訓(xùn)練過程的損失變化和測試準(zhǔn)確率如圖6和圖7所示。

圖6 TabNet-18訓(xùn)練損失曲線

圖7 TabNet-18測試準(zhǔn)確率曲線

選取18特征用于訓(xùn)練大大降低了訓(xùn)練難度，削減了大部分無用特征之后訓(xùn)練時所需要消耗的時間和硬件資源也會大大減少，訓(xùn)練出的模型大小相較于80特征也會有明顯降低。

通過圖6和圖7可以看出通過特征降維，剔除掉對于網(wǎng)絡(luò)安全態(tài)勢感知幫助不大的特征，能夠極大地緩解深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時所出現(xiàn)的過擬合現(xiàn)象，增強深度神經(jīng)網(wǎng)絡(luò)的魯棒性。除此之外，降低訓(xùn)練特征之后所訓(xùn)練出的模型明顯更加符合日常使用場景。

使用18特征數(shù)據(jù)集進(jìn)行模型對比實驗，結(jié)果如表5所示。根據(jù)表5中的實驗結(jié)果對比可以看出，本文提出的機器學(xué)習(xí)模型在少特征的情況下仍然具有較好的網(wǎng)絡(luò)安全態(tài)勢感知效果，相較于其他模型具有較為明顯的優(yōu)勢，且本文模型相較于其他深度學(xué)習(xí)模型還有以下幾個優(yōu)點：

表5 18特征訓(xùn)練準(zhǔn)確度對比

(1)訓(xùn)練速度快，模型準(zhǔn)確率高。

(2)訓(xùn)練出來的樹模型具有良好的可解釋性。

(3)對于硬件要求不高，魯棒性強。

結(jié)合fastai.tabularmodel、TabNet、LightGBM、XGBoost四個對照組所產(chǎn)生的對比實驗結(jié)果，可以證明本文所提出的模型具有良好的魯棒性和準(zhǔn)確率，無論是面對多分類的網(wǎng)絡(luò)安全態(tài)勢感知問題，還是面對二分類的網(wǎng)絡(luò)安全態(tài)勢感知問題，本文提出的模型相較于其他模型而言都具有更高的感知準(zhǔn)確率，在數(shù)據(jù)集僅有少量訓(xùn)練特征，如18個特征時，仍能表現(xiàn)出很好的感知效果。

4 結(jié)論

針對目前網(wǎng)絡(luò)異常流量檢測中存在的網(wǎng)絡(luò)環(huán)境復(fù)雜、數(shù)據(jù)集特征多、模型檢測效率低且容易過擬合等現(xiàn)象，提出了一種基于遺傳算法改進(jìn)的LightGBM模型，利用遺傳算法的隨機性、全局性特點能夠使其避免陷入局部最優(yōu)情況。本文提出的網(wǎng)絡(luò)模型在CIC-IDS-2018數(shù)據(jù)集上進(jìn)行實驗分析，在80特征的網(wǎng)絡(luò)安全態(tài)勢感知下，二分類的感知準(zhǔn)確率達(dá)到了99.87%。為了防止出現(xiàn)過擬合現(xiàn)象，通過構(gòu)建樹模型減少訓(xùn)練特征，能夠從高維數(shù)據(jù)中挖掘出對于檢測效果影響重要的關(guān)鍵特征信息，并對這些關(guān)鍵特征信息進(jìn)行分析。實驗證明，在低特征二分類的情況下仍然能夠達(dá)到99.39%的準(zhǔn)確率，與其他網(wǎng)絡(luò)檢測模型相比有更高的準(zhǔn)確率，檢測效率高且具有很好的靈活性和魯棒性，在智能煙草工業(yè)數(shù)字化建設(shè)中具有實際的應(yīng)用價值。

除此之外，本文提出的模型還存在著一些問題：本文使用的CIC-IDS-2018數(shù)據(jù)集包含了79個流量特征信息，在實際工業(yè)應(yīng)用中可能難以提取。下一步將根據(jù)提取的特征對模型進(jìn)行微調(diào)，從而使其更加適用于實際場景。