基于遺傳算法和LightGBM的網(wǎng)絡(luò)安全態(tài)勢(shì)感知模型

胡 銳，徐 芳，熊郁峰，熊洲宇，陳 敏

(江西省煙草公司吉安市公司，江西 吉安 343009)

0 引言

網(wǎng)絡(luò)給諸多行業(yè)發(fā)展帶來了便利，但因網(wǎng)絡(luò)而導(dǎo)致的問題也日漸顯著，相繼出現(xiàn)了因網(wǎng)絡(luò)信息保護(hù)不利而導(dǎo)致的信息泄露、網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)監(jiān)聽等事件[1]。人工智能技術(shù)是網(wǎng)絡(luò)安全技術(shù)難題的重要解決手段，越來越多的研究著重于基于人工智能構(gòu)建網(wǎng)絡(luò)態(tài)勢(shì)感知模型[2]。

應(yīng)對(duì)網(wǎng)絡(luò)攻擊的研究成為熱門[3-4]，研究人員逐漸使用網(wǎng)絡(luò)安全態(tài)勢(shì)感知代替原有的被動(dòng)防御措施，能夠提前預(yù)測(cè)和發(fā)現(xiàn)潛藏的網(wǎng)絡(luò)攻擊。原始的網(wǎng)絡(luò)異常流量檢測(cè)模型中通常使用統(tǒng)計(jì)分析[5]等方法，由于是通過已有信息來進(jìn)行防范，往往因?yàn)轭A(yù)測(cè)效果差而達(dá)不到防范新型網(wǎng)絡(luò)攻擊的效果。

態(tài)勢(shì)感知是一種基于環(huán)境的、動(dòng)態(tài)的、系統(tǒng)的洞悉安全風(fēng)險(xiǎn)的能力，可以全面地發(fā)現(xiàn)、識(shí)別安全威脅，并能準(zhǔn)確分析、及時(shí)處理安全威脅的一種方式。最早在軍事領(lǐng)域中被提出，分為覆蓋感知、理解和預(yù)測(cè)3個(gè)層次[6]。普通的安全管理策略視角單一，不能以全局的視角挖掘出網(wǎng)絡(luò)空間的內(nèi)在聯(lián)系，存在潛在風(fēng)險(xiǎn)，而網(wǎng)絡(luò)安全態(tài)勢(shì)感知可整合采集的全部數(shù)據(jù)，以此評(píng)價(jià)網(wǎng)絡(luò)運(yùn)行態(tài)勢(shì)[7]。

基于傳統(tǒng)機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)研究中，常用的方法有K鄰近算法[8]、支持向量機(jī)[9]、樸素貝葉斯[10]、隨機(jī)森林[11]，相較于原始的網(wǎng)絡(luò)檢測(cè)模型，在基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法中，異常網(wǎng)絡(luò)模型檢測(cè)中的準(zhǔn)確率被提高了，但是存在復(fù)雜函數(shù)表達(dá)有限、魯棒性較差的問題。隨著網(wǎng)絡(luò)服務(wù)的增加以及網(wǎng)絡(luò)邊界不斷往外延伸，網(wǎng)絡(luò)流量呈現(xiàn)爆炸式增長(zhǎng)的趨勢(shì)，傳統(tǒng)的機(jī)器學(xué)習(xí)表現(xiàn)出較大誤報(bào)率和泛化能力差等現(xiàn)象。

在基于深度學(xué)習(xí)構(gòu)建異常網(wǎng)絡(luò)檢測(cè)模型的研究中，PEI等人[12]提出了一種基于長(zhǎng)短期記憶自編碼的異常網(wǎng)絡(luò)檢測(cè)模型，有較高的檢測(cè)精度。YIN等人[13]提出了一種基于循環(huán)卷積網(wǎng)絡(luò)(Recurrent Neural Network，RNN)的異常網(wǎng)絡(luò)檢測(cè)模型，在多分類二分類中，相較于傳統(tǒng)的機(jī)器學(xué)習(xí)方法性能較好。來杰等人[14]提出將改進(jìn)的高斯模型和深度AE網(wǎng)絡(luò)相結(jié)合，實(shí)現(xiàn)了數(shù)據(jù)的降維優(yōu)化，檢測(cè)異常網(wǎng)絡(luò)有較好的效果。Hwang等人[15]使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNN)和無監(jiān)督的模型進(jìn)行自動(dòng)的分析流量模式。目前注意力機(jī)制也被廣泛應(yīng)用，可以學(xué)習(xí)特定的特征，而忽略掉不重要的信息，皇甫雨婷等人[16]提出了一種基于注意力機(jī)制的模型來學(xué)習(xí)多個(gè)特征之間的相關(guān)性，抑制掉干擾信息，提出的模型有較高的準(zhǔn)確率，但是在表格文件中，無法學(xué)習(xí)到位置信息和異常網(wǎng)絡(luò)信息中的前后信息關(guān)系。

綜上所述，傳統(tǒng)機(jī)器學(xué)習(xí)方法難以處理大量高維實(shí)驗(yàn)數(shù)據(jù)，又因?yàn)楸疚氖褂玫膶?shí)驗(yàn)數(shù)據(jù)為表格數(shù)據(jù)，而深度學(xué)習(xí)方法在表格數(shù)據(jù)中表現(xiàn)不如樹模型，所以不選擇注意力機(jī)制和CNN等深度學(xué)習(xí)方法。基于此，本文提出一種基于遺傳算法+LightGBM(Light Gradient Boosting Machine)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知模型，著重解決實(shí)驗(yàn)數(shù)據(jù)的格式、數(shù)量規(guī)模和維度帶來的問題。在現(xiàn)有針對(duì)性的流量攻擊中，使用主動(dòng)防御的網(wǎng)絡(luò)安全技術(shù)，強(qiáng)化的網(wǎng)絡(luò)模型進(jìn)行檢測(cè)，挖掘網(wǎng)絡(luò)流中的信息，提高網(wǎng)絡(luò)安全態(tài)勢(shì)預(yù)測(cè)模型精度與效率。

1 相關(guān)技術(shù)

1.1 遺傳算法

遺傳算法(Genetic Algorithm，GA)是一種模擬生物群體演化的計(jì)算機(jī)方法，它仿照自然界中的環(huán)境選擇和基因遺傳，使適應(yīng)性高的個(gè)體更容易生存和繁衍，而適應(yīng)性低的個(gè)體則被淘汰[17-18]。它不依賴于群體中的梯度信息，而是依靠群體內(nèi)部的搜索策略，可以求解復(fù)雜的非線性問題，具有并行性、魯棒性、通用性、搜索能力、適用面廣等特點(diǎn)[19]。

GA有如下優(yōu)點(diǎn)：(1)無需求導(dǎo)，僅依據(jù)目標(biāo)函數(shù)進(jìn)行搜索；(2)以決策變量的編碼為運(yùn)算對(duì)象，不受函數(shù)約束條件的影響；(3)在同一時(shí)間內(nèi)使用了多個(gè)查詢點(diǎn)的信息，因此它具有平行查詢點(diǎn)的特點(diǎn)；(4)在選擇、交叉、變異等操作上采用概率的方法，增加了算法的靈活性；(5)具有較強(qiáng)的全局尋優(yōu)能力，對(duì)求解復(fù)雜及非線性問題有較好的效果；(6)與其他的啟發(fā)式算法具有很好的兼容性，能夠與諸如各向異性擴(kuò)散融合(Anisotropic Diffusion Fusion，ADF)等的其他優(yōu)化算法相結(jié)合，提高算法的性能。

1.2 LightGBM

LightGBM是一種梯度提升框架，其作為一個(gè)實(shí)現(xiàn)梯度下降樹(Gradient Boosting Decision Tree，GBDT)算法的框架，支持高效率的并行訓(xùn)練。相較于經(jīng)典神經(jīng)網(wǎng)絡(luò)算法能夠以batch的方式訓(xùn)練來保證訓(xùn)練數(shù)據(jù)的大小不受內(nèi)存的限制，普通的GBDT算法每次迭代，都需要遍歷整個(gè)訓(xùn)練數(shù)據(jù)多次，但由于弱學(xué)習(xí)器的強(qiáng)依賴性，只能串行訓(xùn)練，從而導(dǎo)致訓(xùn)練耗時(shí)較長(zhǎng)。LightGBM的單機(jī)多線程與多機(jī)并行訓(xùn)練特點(diǎn)彌補(bǔ)了這個(gè)缺陷。具體算法優(yōu)化的體現(xiàn)主要在于單邊梯度抽樣算法(Gradient-based One-Side Sampling，GOSS)與互斥特征綁定算法(Exclusive Feature Bundling，EFB)這兩大利器。

GOSS算法能夠?qū)μ荻刃〉臉颖景幢壤M(jìn)行采樣，對(duì)于梯度大的樣本點(diǎn)予以保留。而由信息增益公式(如式(1)所示)及定義可知大梯度樣本對(duì)信息增益有更大作用。所以這樣做不僅保證了模型的準(zhǔn)確度，而且能夠極大減少樣本量，從而提高訓(xùn)練效率。

(1)

其中：no=∑I[xi∈O]，

njl|O(d)=∑I[xi∈O：xij≤d]，

njr|O(d)=∑I[xi∈O：xij>d].

EFB算法專門被用于處理高維特征，能夠?qū)コ馓卣鬟M(jìn)行捆綁形成新的特征。其采用一種構(gòu)圖思想，將特征作為圖的頂點(diǎn)，對(duì)相互之間不互斥的特征進(jìn)行相連，隨后根據(jù)頂點(diǎn)的度進(jìn)行降序排列，度越大，則該特征與其他特征間的沖突越大，設(shè)置最大沖突閾值K，將加入到特征簇后沖突數(shù)不超過K的特征加入到捆綁簇中，否則建立新的特征簇。

2 本文提出的方法

2.1 數(shù)據(jù)清洗

讀取數(shù)據(jù)集(CSE-CIC-IDS2018)進(jìn)行分析，首先要對(duì)數(shù)據(jù)集中的特征進(jìn)行初步的篩選與清洗，需要?jiǎng)h除IP address、Flow ID、Timestamp等多余特征列。為了提高實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，需要對(duì)于每個(gè)數(shù)據(jù)集中的樣本進(jìn)行數(shù)據(jù)清洗，丟棄一些無窮大值、NaN空值和重復(fù)行等無效的數(shù)據(jù)。每個(gè)數(shù)據(jù)集的網(wǎng)絡(luò)流量類型及樣本數(shù)量統(tǒng)計(jì)如表1所示，包含各個(gè)數(shù)據(jù)集的丟棄樣本以及剩余的樣本。

表1 每個(gè)數(shù)據(jù)集的網(wǎng)絡(luò)流量類型及樣本類型

2.2 基于遺傳算法改進(jìn)的LightGBM

為了提高模型的泛化能力和穩(wěn)定性，本文引入GA對(duì)LightGBM進(jìn)行參數(shù)優(yōu)化。利用GA的隨機(jī)性、全局性特點(diǎn)，能夠使得模型避免陷入局部最優(yōu)情況。圖1是基于遺傳算法改進(jìn)的LightGBM模型的流程圖。

圖1 模型流程圖

為了減少LightGBM全局最優(yōu)參數(shù)組的偏差，提升網(wǎng)絡(luò)安全態(tài)勢(shì)感知模型的準(zhǔn)確性，在對(duì)原始數(shù)據(jù)的處理中，除了正常的數(shù)據(jù)清洗空值填充以及數(shù)值化以外，還需要針對(duì)二分類實(shí)驗(yàn)進(jìn)行額外的標(biāo)簽整理工作。將原本多分類的標(biāo)簽整理成有攻擊和無攻擊兩種類型。隨后輸入到本文的模型中訓(xùn)練，其中利用GA進(jìn)行參數(shù)調(diào)優(yōu)的核心步驟主要分為6步：

(1)求解不同參數(shù)組下的LightGBM分類模型的均方根誤差(Root Mean Square Error，RMSE)取值大小；

(2)對(duì)每個(gè)待尋優(yōu)參數(shù)進(jìn)行編碼；

(3)計(jì)算種群內(nèi)各個(gè)體的適應(yīng)度函數(shù)值；

(4)找出適應(yīng)度函數(shù)值最大時(shí)對(duì)應(yīng)的參數(shù)組，并記錄結(jié)果；

(5)運(yùn)用輪盤賭算法進(jìn)行自然選擇，保留被選中的參數(shù)組；

(6)對(duì)剩余參數(shù)組按交叉率進(jìn)行二進(jìn)制位交換操作以及按變異率進(jìn)行二進(jìn)制位變異操作。

2.3 創(chuàng)新點(diǎn)及優(yōu)勢(shì)

本文提出的模型相比于傳統(tǒng)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法更適用于表格實(shí)驗(yàn)數(shù)據(jù)，傳統(tǒng)機(jī)器學(xué)習(xí)方法面對(duì)大量高維特征表格實(shí)驗(yàn)數(shù)據(jù)時(shí)，常常表現(xiàn)出誤報(bào)率大和泛化能力差等結(jié)果，而深度學(xué)習(xí)方法在表格數(shù)據(jù)中表現(xiàn)不如樹模型。本文提出的一種基于遺傳算法+LightGBM的網(wǎng)絡(luò)安全態(tài)勢(shì)感知模型，以LightGBM為主模塊，使用GA進(jìn)行參數(shù)優(yōu)化可避免模型過擬合，在兩者組合的基礎(chǔ)上，使用特定步驟清洗過的數(shù)據(jù)進(jìn)行訓(xùn)練能進(jìn)一步提升模型的態(tài)勢(shì)感知準(zhǔn)確率，能夠有效解決實(shí)驗(yàn)數(shù)據(jù)的格式、數(shù)量規(guī)模和維度帶來的問題。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)環(huán)境

本次實(shí)驗(yàn)使用的軟硬件環(huán)境如表2所示。

表2 軟硬件環(huán)境

3.2 數(shù)據(jù)集

為驗(yàn)證模型的效果，本實(shí)驗(yàn)使用的數(shù)據(jù)集是CSE-CIC-IDS2018 on AWS，來自通信安全機(jī)構(gòu)(CSE)與加拿大網(wǎng)絡(luò)安全研究所(CIC)之間的協(xié)作項(xiàng)目。CSE-CIC-IDS2018 on AWS是基于創(chuàng)建用戶概要文件生成的用于入侵檢測(cè)的多樣且全面的基準(zhǔn)數(shù)據(jù)集。受攻擊的攻擊基礎(chǔ)設(shè)施包括50臺(tái)計(jì)算機(jī)，以及5個(gè)受害組織部門的420臺(tái)計(jì)算機(jī)和30臺(tái)服務(wù)器。捕獲每臺(tái)計(jì)算機(jī)的網(wǎng)絡(luò)流量和系統(tǒng)日志，使用CICFlowMeter-V3從捕獲的流量中提取的80個(gè)特征。包括七種不同的攻擊場(chǎng)景的14種攻擊類型：Heartbleed、Botnet、DoS等。

在數(shù)據(jù)預(yù)處理部分對(duì)數(shù)據(jù)進(jìn)行初步篩選和匯總，從匯總后的數(shù)據(jù)中提取出正常的標(biāo)簽和每種攻擊類型的數(shù)據(jù)，正常標(biāo)簽數(shù)據(jù)為Benign，剩下的標(biāo)簽數(shù)據(jù)為各種攻擊類型。正常的網(wǎng)絡(luò)流量類型與各個(gè)攻擊類型的比例為7：3左右，統(tǒng)計(jì)如表3所示。本實(shí)驗(yàn)將所有的攻擊類型統(tǒng)一劃分，分為正常類型與受攻擊類型，使用模型進(jìn)行異常識(shí)別分類，驗(yàn)證模型效果。

表3 網(wǎng)絡(luò)流量類型數(shù)量統(tǒng)計(jì)

3.3 實(shí)驗(yàn)分析與評(píng)價(jià)

為了更好地驗(yàn)證本文提出的模型在進(jìn)行網(wǎng)絡(luò)安全態(tài)勢(shì)感知的效果，根據(jù)所使用的數(shù)據(jù)集劃分了四個(gè)對(duì)照組：80個(gè)特征多分類對(duì)照組(IDS-2018-mul-80future)、80個(gè)特征二分類對(duì)照組(IDS-2018-bin-80future)、18個(gè)特征多分類對(duì)照組(IDS-2018-mul-18future)以及18個(gè)特征二分類對(duì)照組(IDS-2018-bin-18future)。在每個(gè)對(duì)照組中，選取了幾個(gè)其他應(yīng)用在網(wǎng)絡(luò)安全態(tài)勢(shì)感知方面的深度學(xué)習(xí)網(wǎng)絡(luò)模型，并使用相同數(shù)據(jù)集進(jìn)行對(duì)比實(shí)驗(yàn)。若本文提出的模型能夠根據(jù)輸入數(shù)據(jù)正確預(yù)測(cè)網(wǎng)絡(luò)攻擊類型，則判定為感知成功。

首先是80特征下的網(wǎng)絡(luò)安全態(tài)勢(shì)感知效果，根據(jù)表4可以看出不同模型在80特征下的多分類、二分類準(zhǔn)確率，本文所提出的模型在80特征的情況下的態(tài)勢(shì)感知準(zhǔn)確度要明顯優(yōu)于其他深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，其中多分類的感知準(zhǔn)確率達(dá)到了99.43%，二分類的感知準(zhǔn)確率達(dá)到了99.87%。

表4 80特征訓(xùn)練準(zhǔn)確率對(duì)比

對(duì)比分析網(wǎng)絡(luò)安全態(tài)勢(shì)感知效果較好的TabNet網(wǎng)絡(luò)模型。在80特征條件下，模型訓(xùn)練過程的損失變化和準(zhǔn)確率變化結(jié)果如圖2、圖3所示，測(cè)試準(zhǔn)確率如圖4所示，圖示中的橫坐標(biāo)為epoch，縱坐標(biāo)為loss值和準(zhǔn)確率。

圖2 TabNet 80特征訓(xùn)練損失變化曲線

圖3 TabNet 80特征訓(xùn)練準(zhǔn)確率變化曲線

圖4 TabNet 80特征測(cè)試準(zhǔn)確率曲線

由以上訓(xùn)練損失、訓(xùn)練準(zhǔn)確率和測(cè)試準(zhǔn)確率曲線變化圖可得出結(jié)論：雖然TabNet網(wǎng)絡(luò)模型的感知效果在訓(xùn)練時(shí)呈現(xiàn)出較高的感知準(zhǔn)確率，但是其在測(cè)試集上呈現(xiàn)出震蕩的趨勢(shì)，根據(jù)其曲線變化可以推斷出這是由于訓(xùn)練特征過多而導(dǎo)致的過擬合現(xiàn)象。

為驗(yàn)證因特征過多導(dǎo)致的模型過擬合猜想，設(shè)置18特征對(duì)照組實(shí)驗(yàn)，根據(jù)構(gòu)建樹模型時(shí)各個(gè)特征所做出的貢獻(xiàn)的重要程度進(jìn)行排序，排序結(jié)果如圖5所示，提取重要度排名前18的特征用于訓(xùn)練，圖示中的橫坐標(biāo)為前18個(gè)特征名，縱坐標(biāo)為特征重要度評(píng)分。

圖5 特征重要度評(píng)分

將80特征降維為18特征后，訓(xùn)練過程的損失變化和測(cè)試準(zhǔn)確率如圖6和圖7所示。

圖6 TabNet-18訓(xùn)練損失曲線

圖7 TabNet-18測(cè)試準(zhǔn)確率曲線

選取18特征用于訓(xùn)練大大降低了訓(xùn)練難度，削減了大部分無用特征之后訓(xùn)練時(shí)所需要消耗的時(shí)間和硬件資源也會(huì)大大減少，訓(xùn)練出的模型大小相較于80特征也會(huì)有明顯降低。

通過圖6和圖7可以看出通過特征降維，剔除掉對(duì)于網(wǎng)絡(luò)安全態(tài)勢(shì)感知幫助不大的特征，能夠極大地緩解深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)所出現(xiàn)的過擬合現(xiàn)象，增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)的魯棒性。除此之外，降低訓(xùn)練特征之后所訓(xùn)練出的模型明顯更加符合日常使用場(chǎng)景。

使用18特征數(shù)據(jù)集進(jìn)行模型對(duì)比實(shí)驗(yàn)，結(jié)果如表5所示。根據(jù)表5中的實(shí)驗(yàn)結(jié)果對(duì)比可以看出，本文提出的機(jī)器學(xué)習(xí)模型在少特征的情況下仍然具有較好的網(wǎng)絡(luò)安全態(tài)勢(shì)感知效果，相較于其他模型具有較為明顯的優(yōu)勢(shì)，且本文模型相較于其他深度學(xué)習(xí)模型還有以下幾個(gè)優(yōu)點(diǎn)：

表5 18特征訓(xùn)練準(zhǔn)確度對(duì)比

(1)訓(xùn)練速度快，模型準(zhǔn)確率高。

(2)訓(xùn)練出來的樹模型具有良好的可解釋性。

(3)對(duì)于硬件要求不高，魯棒性強(qiáng)。

結(jié)合fastai.tabularmodel、TabNet、LightGBM、XGBoost四個(gè)對(duì)照組所產(chǎn)生的對(duì)比實(shí)驗(yàn)結(jié)果，可以證明本文所提出的模型具有良好的魯棒性和準(zhǔn)確率，無論是面對(duì)多分類的網(wǎng)絡(luò)安全態(tài)勢(shì)感知問題，還是面對(duì)二分類的網(wǎng)絡(luò)安全態(tài)勢(shì)感知問題，本文提出的模型相較于其他模型而言都具有更高的感知準(zhǔn)確率，在數(shù)據(jù)集僅有少量訓(xùn)練特征，如18個(gè)特征時(shí)，仍能表現(xiàn)出很好的感知效果。

4 結(jié)論

針對(duì)目前網(wǎng)絡(luò)異常流量檢測(cè)中存在的網(wǎng)絡(luò)環(huán)境復(fù)雜、數(shù)據(jù)集特征多、模型檢測(cè)效率低且容易過擬合等現(xiàn)象，提出了一種基于遺傳算法改進(jìn)的LightGBM模型，利用遺傳算法的隨機(jī)性、全局性特點(diǎn)能夠使其避免陷入局部最優(yōu)情況。本文提出的網(wǎng)絡(luò)模型在CIC-IDS-2018數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)分析，在80特征的網(wǎng)絡(luò)安全態(tài)勢(shì)感知下，二分類的感知準(zhǔn)確率達(dá)到了99.87%。為了防止出現(xiàn)過擬合現(xiàn)象，通過構(gòu)建樹模型減少訓(xùn)練特征，能夠從高維數(shù)據(jù)中挖掘出對(duì)于檢測(cè)效果影響重要的關(guān)鍵特征信息，并對(duì)這些關(guān)鍵特征信息進(jìn)行分析。實(shí)驗(yàn)證明，在低特征二分類的情況下仍然能夠達(dá)到99.39%的準(zhǔn)確率，與其他網(wǎng)絡(luò)檢測(cè)模型相比有更高的準(zhǔn)確率，檢測(cè)效率高且具有很好的靈活性和魯棒性，在智能煙草工業(yè)數(shù)字化建設(shè)中具有實(shí)際的應(yīng)用價(jià)值。

除此之外，本文提出的模型還存在著一些問題：本文使用的CIC-IDS-2018數(shù)據(jù)集包含了79個(gè)流量特征信息，在實(shí)際工業(yè)應(yīng)用中可能難以提取。下一步將根據(jù)提取的特征對(duì)模型進(jìn)行微調(diào)，從而使其更加適用于實(shí)際場(chǎng)景。