結合粒子群優化與強化學習的攻擊檢測系統

郝武偉，李俊吉

(1.山西工程科技職業大學 現代物流學院，山西 晉中 030619；2.太原科技大學 信息科學與技術學院，山西 太原 030024)

0 引 言

入侵檢測系統(intrusion detection system，IDS)[1]是網絡安全的第一道防線，對網絡中傳輸的數據進行實時監測，若發現可疑流量則發出警報，及時降低惡意行為造成的損失。目前最有效的IDS大多對網絡流量的特征進行建模，再通過各種分類器對流量進行分類[2]。為提高IDS的檢測性能，各專家學者嘗試將不同的機器學習模型應用于入侵檢測系統，包括支持向量機[3]、決策樹[4]、隨機森林[5]等，但傳統機器學習模型的特征學習能力較有限，難以大幅提升IDS的攻擊檢測率。

近年深度神經網絡因其強大的非線性學習能力，在計算機視覺[6]、自然語言處理[7]、網絡安全[8]等領域展現出明顯的優勢。文獻[9]提出一種基于深度卷積神經網絡的入侵檢測的算法，在卷積神經網絡基礎上引入Inception模型和殘差網絡，采用深度學習技術提高模型的收斂速度。文獻[10]提出一種基于誤差逆向傳播神經網絡的攻擊檢測算法，該模型對中小型網站的傳輸數據能準確地識別出正常流量與攻擊流量。文獻[9]與文獻[10]通過深度神經網絡技術提取了豐富的網絡數據特征，提高了網絡攻擊的識別性能，但此類技術均需在已有訓練集上完成訓練，再對測試集進行靜態分類，因此上述基于深度神經網絡的攻擊檢測算法僅支持靜態數據集，無法識別新的攻擊類型。

IDS作為第一道防線，應能主動發現可疑行為以保障網絡的平穩運行，其中發現新型攻擊是當前IDS面臨的一大挑戰。文獻[11]采用Bagging策略獨立訓練多個極限學習機，引入一種基于批量樣本增量學習的在線更新策略，實現入侵檢測模型的在線更新，能適應復雜網絡環境的變化。文獻[12]先采用開集分類網絡檢測未知攻擊，再采用語義嵌入聚類方法發現隱藏的未知攻擊，最終使用增量最近質心法學習發現的未知攻擊。雖然文獻[11]與文獻[12]通過增量學習可成功檢測未知的攻擊，但均通過機器學習模型檢測可疑行為，導致對新型攻擊的檢測準確率仍有提升空間。針對上述問題，本文IDS采用深度自編碼器提取網絡數據的深度特征，將特征遷移至深度神經網絡進行微調與分類，提出基于粒子群優化算法的深度神經網絡自適應訓練方法。此外，采用強化學習增強IDS對網絡環境的動態感知能力與學習能力，以改善深度神經網絡對新型攻擊的識別能力。

1 基于強化學習的攻擊檢測框架設計

1.1 攻擊檢測框架

基于強化學習的攻擊檢測系統框架如圖1所示。網絡流量經過深度自編碼器提取特征，將特征集傳入深度神經網絡進行微調與分類處理。攻擊檢測結果保存于安全數據庫，安全專家對數據庫進行分析，基于分析結果對前端部分進行獎賞。

圖1 強化學習框架

強化學習模型[13]可表示為ψ(Di,A,R)， 其中A為攻擊檢測的動作，R為攻擊檢測的獎賞，獎賞值依賴于攻擊檢測成功率。強化學習的獎賞函數定義為

(1)

式中：x∈[0,1] 表示攻擊檢測率，y∈[0,1] 為攻擊檢測成本，z∈[0,1] 為攻擊檢測假正率與假負率之和，反映了檢測器的有效性，m為攻擊總數量。分析式(1)可知，獎賞函數的獎賞值隨檢測率x升高而升高，如果假正率與假負率之和z升高，即未被檢測的攻擊數增加，那么x降低，獎賞值也隨之降低。將攻擊檢測成本y定義為深度神經網絡的訓練成本，成本y作為一個約束條件。

1.2 基于強化學習的攻擊檢測

若檢測系統的前端部分識別出一個異常行為，觸發一個警報，將可疑目標標識符ids、攻擊特征列表Fk及動作A保存于安全數據庫中。

每次迭代計算檢測系統的效用u(t-1) 與u(t)， 比較相鄰時間點的效用值以更新獎賞R。如u(t)>u(t-1)， 則R值升高；如u(t)

(2)

式中：α∈[0,1] 為學習率，γ∈[0,1] 為折扣因子。

算法1描述了攻擊檢測系統的強化學習過程，強化學習算法周期地運行直至當前效用值大于預定的效用閾值，即大多數異常與攻擊被成功檢測。安全專家的目標是通過強化學習降低檢測系統的假陽率，持續更新特征集F′k， 維持攻擊檢測的性能。

算法1：強化學習算法

(1)計算檢測系統的效用u；

(2)while (ut

(3) if (ut>ut-1)

(4)R++;

(5) else

(6)R- -;

(7) endif

(8) 向安全數據庫發送報警消息 {ID,Fk,A};

(9) if (ut

(10)R=R′-1; //如果效用下降，則降低獎賞。

(11) 安全數據庫更新{Fk,A,R};

(12) else

(13)R=R′+1; //如果效用上升，則增加獎賞。

(14) 專家估計期望值 {F′k,A′};

(15) endif

(16) if (F′k≠?,A′≠?)

(17) 計算ut-1;

(18)endwhile

2 神經網絡的方法與設計

2.1 基于深度自編碼器的特征提取

本文使用預訓練的深度自編碼器(deep auto-encoder，DAE)[14]提取網絡流量特征，使用深度神經網絡(deep neural network，DNN)[15]對特征集進行微調，如圖2所示。DAE由編碼器與解碼器構成，其瓶頸層可對輸入特征集進行降維處理，DAE提取的特征集結果包括特征編碼、網絡權重及網絡偏置，再將特征集傳入深度神經網絡進行微調。假設DAE的輸入數據為X，輸出數據為X′，基于DAE的特征集訓練DNN。在DNN的訓練階段采用PSO搜索DNN的超參數，提高網絡攻擊的檢測率。

圖2 基于深度自編碼器的特征提取

DAE包含多個隱藏層，從輸入層到隱藏層為編碼階段，隱藏層到輸出層為解碼階段，DAE的結構如圖3所示。

圖3 深度自編碼器的結構

假設DAE共有5個隱藏層，那么DAE包含3個編碼器-解碼器組，3個編碼器分別記為E1、E2、E3，那么中間層的編碼結果可表示為Z=E3(E2(E1(X)))。 第1個編碼器的輸出可表示為h=f(WX+b)， 其中W為權重矩陣，b為偏置向量，X為輸入向量。下一個編碼器的輸出可表示為

h(l+1)=f(W(l)·h(l)+b(l))

(3)

假設3個解碼器分別為D1、D2、D3，解碼器的輸出結果可表示為X′=D1(D2(D3(E3(E2(E1(X))))))。 自編碼器的各隱藏層運算可表示為X′=f(WT×h+b′)， 解碼函數可表示為D3=f((W(3))T×Z+b(3)′)，D2=f((W(2))T×D3+b(2)′)，X′=f((W(1))T×D2+b(1)′)， 其中f() 為隱藏層的激活函數。

DAE的損失函數評估了輸入X與重建X′間的距離，其數學模型可表示為

(4)

假設輸入數據的樣本數量為m，可將DAE的損失函數重寫為

(5)

式中：x表示將輸入數據映射到[0,1]區間的結果。采用非線性sigmoid函數作為DAE隱藏層的激活函數。

通過反向傳播更新神經網絡每個節點的權重與偏置，損失函數的最優值接近零，此時DAE瓶頸層Z的輸出即為輸入數據的低維特征集，將Z的輸出傳入DNN分類器，該處理機制也稱為遷移學習。通過遷移學習將自編碼器的編碼結果、權重與偏置遷移至DNN進行特征微調與分類。

2.2 基于深度神經網絡的攻擊識別

采用深度神經網絡根據輸入特征檢測流量的攻擊類別，深度神經網絡的結構如圖4所示。

圖4 深度神經網絡分類器的結構

深度神經網絡的輸入數據是由DAE遷移過來的特征集、DAE權重與偏置。深度神經網絡DNN的輸出y′可表示為

y′=f(W(l)·h(l)+b(l))=f(z(l+1))

(6)

式中：l+1為深度神經網絡的最后一層。

DNN的輸出層采用softmax函數對數據進行分類。假設由DAE遷移至DNN的權重為W(1),W(2),W(3)，偏置為b(1),b(2),b(3)。DNN的損失函數為多分類交叉熵函數，輸出層節點采用softmax函數。

2.3 基于粒子群優化算法的網絡訓練方法

2.3.1 粒子群優化算法

粒子群優化算法(particle swarm optimization，PSO)[16]是由Eberhart和Kennedy提出一種基于種群的隨機優化技術。PSO模仿自然界群體合作尋找食物的過程，PSO各粒子通過學習其自身經驗與社會經驗來不斷改變其搜索過程。PSO算法的運行流程可參考文獻[17]。

PSO第i個粒子在第k次迭代的速度更新模型可表示為

(7)

第i個粒子在第k次迭代的位置可表示為

xi(k)=xi(k-1)+vi(k)

(8)

2.3.2 基于PSO的深度神經網絡訓練方法

圖5是基于PSO的深度神經網絡訓練基本流程。PSO對DNN結構參數與超參數進行優化，每個粒子對應一個可能解，DNN最后一層softmax層計算每個數據樣本的分類概率，將DNN的分類準確率作為PSO粒子的適應度。PSO迭代地優化DNN的超參數，最終收斂于最優適應度，該最優解為最佳的DNN網絡結構。

圖5 基于PSO的DNN訓練過程

2.3.3 PSO種群初始化

將PSO的解表示為向量形式，如圖6所示。

圖6 PSO的解表示

表1是每個超參數的搜索空間，采用PSO搜索深度神經網絡的5個超參數，分別為：DAE數量、隱藏層節點數量、學習率、批大小、隱藏層激活函數。

表1 PSO的搜索空間

2.3.4 PSO參數設置

表2是PSO的參數設置。PSO種群的總維度為5×8=40，最大迭代次數為50。

表2 PSO參數設置

PSO的慣性權重采用sigmoid函數，該函數能夠在全局搜索與局部開發之間取得較好的平衡，并能防止早熟收斂。慣性權重函數定義為

(9)

式中：t為當前的迭代次數，tmax為最大迭代次數，α參數設為0.2。

2.3.5 PSO適應度評價

DNN最后一層softmax層輸出每個樣本的分類準確率，準確率越高則粒子的適應度越高。PSO的適應度函數可表示為

fit(pj)=DNN(dc,hc,lr,ps,af)

(10)

式中：dc為DAE數量，hc為隱藏層節點數量，lr為學習率，ps為批大小，af為激活函數。

2.3.6 PSO搜索流程

圖7是PSO搜索DNN超參數的運行流程。

算法2是基于PSO的DNN優化算法偽代碼。PSO種群初始化成表1中的隨機值，然后評價每個粒子的適應度，更新每個粒子的速度與位置，每次迭代結束更新全局最優粒子。

算法2：基于PSO的DNN優化算法

輸入：最大迭代次數，超參數搜索空間

輸出：最佳DNN超參數。

(1)隨機初始化粒子群的各個粒子；

(2)while (未達到最大迭代次數) do

(3) 計算ω;

(4) foreachpifromp1topmdo

(5) 評價pi的適應度;

(6) 更新個體最優pbesti;

(7) 更新粒子速度vi與位置pi

(8) endfor

(9) 更新全局最優gbest;

(10)end while；

(11)returngbest;

3 仿真實驗與結果分析

3.1 仿真環境與數據集

本文的仿真環境是Windows 10操作系統，處理器為Intel Core i7-10700，主頻為2.9 GHz，內存為32 GB。神經網絡的編程語言是Python，神經網絡搭建環境為谷歌開發的TensorFlow version 2.1.0[18]，另外采用了Keras神經網絡庫[19]。

采用CSE-CIC-IDS2018作為IDS的實驗數據集，該數據集是通信安全機構與加拿大網絡安全研究所的合作項目，其數據樣本來源于真實網絡，下載地址為(https://registry.opendata.aws/cse-cic-ids2018/)。該數據集共有16 232 943個數據樣本，訓練集共有1 619 315個數據樣本，測試集共有404 836個數據樣本。表3總結了CSE-CIC-IDS2018數據集的分布情況，共包含15種攻擊。

表3 CSE-CIC-IDS2018數據集的分布情況

3.2 IDS評價標準

采用以下性能指標對IDS進行評估：

準確率

(11)

式中：TN與FN分別為真負樣本與假負樣本的數量，TP與FP分別為真正樣本與假正樣本的數量。

F-score

(12)

3.3 已知攻擊實驗

CSE-CIC-IDS2018數據集的數據量較大，每次迭代訓練深度神經網絡的時間較長，為減少訓練時間，將神經網絡的學習率設為較大值{0.001,0.01,0.1}。圖8總結了粒子群每次迭代中DNN模型訓練的檢測準確率，由圖中可知，由于限定了DNN各超參數的搜索空間，因此DNN可在第35～40次迭代達到收斂。PSO搜索的最優超參數集見表4。

表4 CSE-CIC-IDS2018數據集的訓練結果

圖8 DNN訓練的收斂曲線

在測試集上對所訓練IDS進行攻擊檢測實驗，分別統計15種攻擊的檢測準確率，結果如圖9所示。由圖中可知，

圖9 測試集不同攻擊的平均檢測率

本文IDS對Bot、DDOS attack-HOIC、DoS attacks-GoldenEye、DoS attacks-Slowloris、SQL Injection、SSH-Bruteforce的檢測準確率為100%，對Brute Force-Web、Brute Force-XSS、DDOS attack-LOIC-UDP、DDoS attacks-LOIC-HTTP、Dos attacks-SlowHTTPTest、FTP-BruteForce的檢測準確率也較高，但對Benign與Infilteration的攻擊檢測率低于98%。

為評價本文IDS對靜態網絡數據的檢測性能，選擇卷積神經網絡(convolutional neural network，CNN)[20]、時空神經網絡(hierarchical spatial-temporal features using deep neural networks，HAST-IDS)[21]以及小波神經網絡(wavelet neural network，WNN)[22]共3個靜態IDS與本文系統進行對比實驗。文獻[20]采用卷積神經網絡提取網絡傳輸數據的特征，并在最后一層采用softmax層對輸入樣本進行分類；文獻[21]采用深度神經網絡學習網絡傳輸數據的時域特征，所提取的特征考慮了數據的時域相關性與空間相關性；文獻[22]采用小波神經網絡學習網絡傳輸數據的非線性關系，再傳入分類器對輸入樣本進行分類。CNN[20]設為5層網絡，各層的filter數量分別為256、128、64、32與16，各層的核大小分別為16、8與3。HAST-IDS[21]與WNN[22]的超參數采用各文獻所推薦的值。

圖10是4個IDS在靜態CSE-CIC-IDS2018數據集上的測試實驗結果，分別統計了平均檢測準確率與平均F-score值。由于HAST-IDS與WNN均為一個隱藏層，HAST-IDS通過時空相關性來學習數據的非線性關系，而WNN通過小波函數來學習數據的非線性關系，這兩個網絡的非線性擬合能力不足。由于DDOS attack-HOIC、DDOS attack-LOIC-UDP、DDoS attacks-LOIC-HTTP、DoS attacks-GoldenEye、DoS attacks-Hulk、Dos attacks-SlowHTTPTest、DoS attacks-Slowloris均屬于DDOS攻擊，這些攻擊類別之間的相似性較高，因此HAST-IDS與WNN對此類攻擊的檢測準確率較低。CNN網絡共有5層卷積層，其卷積運算能夠擬合網絡傳輸數據的非線性關系，因此對CSE-CIC-IDS2018數據集的檢測性能明顯優于HAST-IDS、WNN。本文IDS采用深度自編碼器提取網絡傳輸數據的特征，再將自編碼器的特征集、DAE權重與偏置遷移至深度神經網絡對特征進行微調處理，有效利用了深度自編碼器的特征學習能力以及深度神經網絡的數據處理能力，使本文IDS的攻擊檢測性能優于CNN網絡。

圖10 IDS的對比實驗結果

3.4 未知攻擊實驗

為評價本文IDS對未知攻擊的檢測能力，本文將攻擊編號1-10的訓練集作為訓練數據，將全部15個攻擊的測試集作為測試數據，評估IDS對未知攻擊的檢測性能。選取Scalable Network[12]與Zero-Shot Learning[23]兩個IDS系統與本文IDS進行對比實驗，Scalable Network通過異常檢測觸發神經網絡的擴展與更新，從而支持對未知攻擊的檢測；Zero-Shot Learning通過零次學習使IDS能夠對未知數據類別進行分類，為IDS引入了推理能力。本文IDS強化學習的效用閾值設為訓練階段檢測性能的80%。

圖11是3個IDS對未知攻擊檢測的平均性能，圖11(a)與圖11(b)分別統計了對5個未知攻擊類型的平均檢測準確率與F-score值。Scalable Network通過異常檢測觸發神經網絡的擴展與更新，由于5種未知攻擊與訓練集中攻擊的相似性較高，未能及時觸發Scalable Network進行網絡更新，導致Scalable Network對未知攻擊的判別能力較弱。Zero-Shot Learning所采用的零次學習屬于一種遷移學習技術，將訓練集上學習的映射關系遷移至其它攻擊類型的識別。由圖11可知，Zero-Shot Learning對未知攻擊的識別效果優于Scalable Network技術。本文IDS利用強化學習技術感知環境的變化，在運行過程中因出現未知攻擊導致檢測準確率下降，此時強化學習的效用下降，后臺安全專家降低對前端的獎賞，當效用值小于預定的效用閾值時，啟動深度自編碼器與深度神經網絡重新訓練DAE與DNN，使IDS具備檢測未知攻擊類型的能力。綜合圖11的結果可知，本文IDS對未知攻擊類型的檢測準確率與F-score值均優于Scalable Network與Zero-Shot Learning。

圖11 IDS對未知攻擊的檢測性能

4 結束語

IDS作為第一道防線，應能主動發現可疑行為以保障網絡的平穩運行，其中發現新型攻擊是當前IDS面臨的一大挑戰。為應對網絡攻擊不斷升級演變的問題，結合粒子群優化算法與強化學習提出一種半監督學習的攻擊檢測系統。該IDS系統的優勢在于：

(1)在網絡傳輸數據的特征提取方面，利用了DAE的特征提取能力，DAE對網絡傳輸數據的泛化能力強于CNN與RNN等模型。

(2)在網絡傳輸數據的分類器方面，利用深度神經網絡對DAE輸出特征進行微調與分類，增強了特征的判別力。

(3)在對未知攻擊的檢測方面，利用強化學習技術感知環境的變化，在運行過程中因出現未知攻擊導致檢測準確率下降，后臺安全專家降低對前端的獎賞，當系統效用值小于預定的效用閾值時啟動深度自編碼器與深度神經網絡重新訓練DAE與DNN，使IDS具備檢測未知攻擊類型的能力。