基于深度強化學(xué)習(xí)的網(wǎng)絡(luò)流量分析與入侵檢測

張永東

（四川機電職業(yè)技術(shù)學(xué)院 四川 攀枝花 617000）

0 引言

隨著信息技術(shù)的飛速發(fā)展和網(wǎng)絡(luò)規(guī)模的迅速擴(kuò)張，網(wǎng)絡(luò)安全問題日益成為互聯(lián)網(wǎng)時代的焦點之一。惡意攻擊、網(wǎng)絡(luò)入侵等威脅不斷進(jìn)化，給網(wǎng)絡(luò)通信和信息系統(tǒng)的安全性帶來了更高的挑戰(zhàn)［1－2］。在這一背景下，基于強化學(xué)習(xí)的網(wǎng)絡(luò)流量分析與入侵檢測引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注［3－4］。強化學(xué)習(xí)［5－6］作為一種能夠在未知環(huán)境中進(jìn)行學(xué)習(xí)和決策的算法，為網(wǎng)絡(luò)安全領(lǐng)域帶來了新的思路與方法。深度Q 網(wǎng)絡(luò)（deep Q network， DQN）［7－8］則作為強化學(xué)習(xí)的代表之一，通過深度學(xué)習(xí)技術(shù)在網(wǎng)絡(luò)流量分析中展現(xiàn)出卓越的性能。

本研究旨在探討一種創(chuàng)新性的網(wǎng)絡(luò)安全架構(gòu)，該架構(gòu)以深度強化學(xué)習(xí)為基礎(chǔ)，通過DQN 實現(xiàn)對網(wǎng)絡(luò)入侵的檢測。本研究將詳細(xì)探討DQN 的結(jié)構(gòu)，深入研究該網(wǎng)絡(luò)在網(wǎng)絡(luò)入侵檢測中的應(yīng)用過程。通過對網(wǎng)絡(luò)流量數(shù)據(jù)的智能學(xué)習(xí)和分析，DQN 能夠自動識別潛在的入侵行為，提高網(wǎng)絡(luò)安全的主動防御能力。為了驗證所構(gòu)建架構(gòu)的有效性，本研究采用了NSL-KDD 數(shù)據(jù)集進(jìn)行了充分的模型訓(xùn)練與測試。通過實驗結(jié)果的分析，評估了所提出方法在網(wǎng)絡(luò)入侵檢測中的性能，并為未來的研究和實際應(yīng)用提供有力的支持。

1 深度強化學(xué)習(xí)與網(wǎng)絡(luò)安全

在強化學(xué)習(xí)的基本架構(gòu)中，環(huán)境、智能系統(tǒng)、動作、狀態(tài)和獎勵是構(gòu)成強化學(xué)習(xí)過程的關(guān)鍵組成部分，如圖1所示。

圖1 強化學(xué)習(xí)中的環(huán)境和智能系統(tǒng)

環(huán)境是智能系統(tǒng)所處的外部環(huán)境，它包含了智能系統(tǒng)進(jìn)行學(xué)習(xí)和決策所需的一切信息。在網(wǎng)絡(luò)入侵檢測中，環(huán)境包括網(wǎng)絡(luò)流量、通信協(xié)議等各種元素。智能系統(tǒng)是強化學(xué)習(xí)的主體，它通過與環(huán)境的交互學(xué)習(xí)，并基于學(xué)到的知識做出決策。在網(wǎng)絡(luò)入侵檢測中，智能系統(tǒng)即是用于分析網(wǎng)絡(luò)流量和識別入侵行為的算法模型，如DQN。動作是智能系統(tǒng)在特定狀態(tài)下可執(zhí)行的操作，它影響智能系統(tǒng)與環(huán)境的交互。在網(wǎng)絡(luò)入侵檢測中，動作可以是調(diào)整模型參數(shù)、更新規(guī)則庫或者改變監(jiān)測策略等，以適應(yīng)不斷變化的網(wǎng)絡(luò)威脅。狀態(tài)是描述環(huán)境的一組變量，用于表示智能系統(tǒng)在決策過程中的信息。在網(wǎng)絡(luò)入侵檢測中，狀態(tài)可以包括當(dāng)前網(wǎng)絡(luò)流量的特征、歷史入侵記錄等，智能系統(tǒng)通過觀察狀態(tài)來做出決策實現(xiàn)對網(wǎng)絡(luò)入侵的及時響應(yīng)。獎勵是強化學(xué)習(xí)中用于評估智能系統(tǒng)行為優(yōu)劣的指標(biāo)。在網(wǎng)絡(luò)入侵檢測中，獎勵是成功檢測到入侵行為的正向反饋，懲罰表示未能正確識別入侵或發(fā)生誤報的負(fù)向反饋。通過最大化累積獎勵智能系統(tǒng)能夠?qū)W到更為有效的網(wǎng)絡(luò)安全策略。

2 基于深度強化學(xué)習(xí)的流量分析

2.1 深度Q 網(wǎng)絡(luò)

DQN 用于解決具有高維狀態(tài)空間的強化學(xué)習(xí)問題，其工作邏輯中通過巧妙地整合深度學(xué)習(xí)和強化學(xué)習(xí)的方法實現(xiàn)了對復(fù)雜環(huán)境下智能系統(tǒng)的高效學(xué)習(xí)與決策。

如圖2 所示，DQN 的智能系統(tǒng)通過深度神經(jīng)網(wǎng)絡(luò)（deep neural network， DNN）［9－10］來逼近并學(xué)習(xí)一個狀態(tài)值函數(shù)Q（s，a），其中狀態(tài)s表示智能系統(tǒng)對環(huán)境的觀察，動作a表示智能系統(tǒng)采取的行為。該函數(shù)估計了在給定狀態(tài)下采取某一動作的長期累積獎勵，即Q 值。DQN 的目標(biāo)是通過學(xué)習(xí)Q 值函數(shù)，使得在特定狀態(tài)下選擇具有最大Q 值的動作，以最大化系統(tǒng)的累積獎勵。

圖2 深度Q 網(wǎng)絡(luò)基本結(jié)構(gòu)

環(huán)境是智能系統(tǒng)進(jìn)行學(xué)習(xí)和決策的外部條件，其動態(tài)變化和復(fù)雜性對于智能系統(tǒng)的學(xué)習(xí)提出了挑戰(zhàn)。狀態(tài)s是智能系統(tǒng)對環(huán)境的抽象表示，通過觀察狀態(tài)，DQN 能夠判斷當(dāng)前環(huán)境的特征。動作a是智能系統(tǒng)在特定狀態(tài)下可執(zhí)行的操作，通過選擇不同的動作，智能系統(tǒng)影響環(huán)境的演變。

在DQN 中，為了實現(xiàn)對Q 值函數(shù)的學(xué)習(xí)，智能系統(tǒng)通過與環(huán)境的交互來收集經(jīng)驗數(shù)據(jù)，其中包括狀態(tài)、動作、獎勵和下一個狀態(tài)。這些經(jīng)驗數(shù)據(jù)用于訓(xùn)練DNN，通過最小化Q 值函數(shù)的預(yù)測誤差來不斷優(yōu)化模型參數(shù)。獎勵R是智能系統(tǒng)在執(zhí)行動作后從環(huán)境中獲得的即時獎勵，這個獎勵是智能系統(tǒng)優(yōu)化長期累積獎勵的關(guān)鍵因素。

2.2 網(wǎng)絡(luò)流量分析方法

使用DQN 進(jìn)行網(wǎng)絡(luò)入侵檢測時，首先定義網(wǎng)絡(luò)入侵檢測的狀態(tài)空間，S表示網(wǎng)絡(luò)流量特征的集合，其中st表示在時間進(jìn)一步t處的狀態(tài)：

然后，定義動作空間A，包括了在給定狀態(tài)下可采取的所有可能動作。對于網(wǎng)絡(luò)入侵檢測，動作包括更新模型參數(shù)、調(diào)整規(guī)則庫等：

獎勵函數(shù)R用于衡量智能系統(tǒng)在執(zhí)行動作后從環(huán)境中獲得的即時獎勵。在網(wǎng)絡(luò)入侵檢測中，獎勵可以表示為成功檢測到入侵行為的獎勵或未能正確識別入侵的懲罰R（st，at）。

Q 值函數(shù)Q（st，at） 用于估計在狀態(tài)st下采取動作at后的長期累積獎勵，可以通過深度神經(jīng)網(wǎng)絡(luò)進(jìn)行建模，即：

其中，E表示數(shù)學(xué)期望，θ是網(wǎng)絡(luò)參數(shù)，θ－表示目標(biāo)網(wǎng)絡(luò)參數(shù)，γ是折扣因子，Rt是在時刻t獲得的即時獎勵。為了穩(wěn)定訓(xùn)練過程，引入經(jīng)驗回放機制，通過存儲并從經(jīng)驗池中隨機抽樣歷史經(jīng)驗，減少樣本間的相關(guān)性，優(yōu)化目標(biāo)函數(shù)：

通過隨機梯度下降法最小化目標(biāo)函數(shù)L（θ），更新深度神經(jīng)網(wǎng)絡(luò)的參數(shù)：

式（5）中，α是學(xué)習(xí)率。

3 實驗與分析

3.1 數(shù)據(jù)集與實驗配置

本研究使用NSL-KDD 數(shù)據(jù)集［11］進(jìn)行模型的訓(xùn)練與測試，該數(shù)據(jù)集是一個用于網(wǎng)絡(luò)入侵檢測研究的常用數(shù)據(jù)集，是對KDD Cup 1999 數(shù)據(jù)集的改進(jìn)版本。該數(shù)據(jù)集包含了模擬真實網(wǎng)絡(luò)環(huán)境中的正常流量和多種入侵行為，涵蓋了22 個不同類型的網(wǎng)絡(luò)攻擊。相對于原始KDD Cup 1999 數(shù)據(jù)集，NSL-KDD 數(shù)據(jù)集通過去除重復(fù)樣本和一些明顯的錯誤，使得數(shù)據(jù)更具可靠性和一致性。

該數(shù)據(jù)集主要分為訓(xùn)練集和測試集兩部分，其中訓(xùn)練集用于模型的訓(xùn)練，測試集則用于評估模型的性能。每個樣本都包含了41 個特征，這些特征涵蓋了網(wǎng)絡(luò)連接的各個方面，如源IP 地址、目標(biāo)IP 地址、協(xié)議類型等，以及每個連接的類別標(biāo)簽，標(biāo)識了連接是正常還是包含某種入侵。

本實驗使用的硬件和軟件的環(huán)境配置分別如表1 和表2 所示。

表1 實驗環(huán)境硬件配置

表2 實驗環(huán)境軟件配置

3.2 實驗方案設(shè)計

本研究采用的實驗方案包括：

（1）數(shù)據(jù)預(yù)處理。對NSL-KDD 數(shù)據(jù)集進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗、特征選擇和標(biāo)簽編碼，確保數(shù)據(jù)集的質(zhì)量和適應(yīng)模型訓(xùn)練的要求。

（2）狀態(tài)和動作定義。定義狀態(tài)空間S和動作空間A，將網(wǎng)絡(luò)流量的特征作為狀態(tài)，定義可執(zhí)行的網(wǎng)絡(luò)安全操作為動作。

（3）初始化DQN。使用深度神經(jīng)網(wǎng)絡(luò)初始化Q 值函數(shù)，網(wǎng)絡(luò)的輸出為每個動作的Q 值。

（4）經(jīng)驗回放機制。實施經(jīng)驗回放機制，建立經(jīng)驗池，存儲智能系統(tǒng)與環(huán)境交互的歷史經(jīng)驗。

（5）目標(biāo)Q 值計算。計算目標(biāo)Q 值，用于更新網(wǎng)絡(luò)參數(shù)。

（6）目標(biāo)函數(shù)定義。定義DQN 的目標(biāo)函數(shù)，使用均方誤差損失函數(shù)來最小化目標(biāo)Q 值和當(dāng)前Q 值的差異。

（7）訓(xùn)練網(wǎng)絡(luò)。通過隨機梯度下降法，使用目標(biāo)函數(shù)來更新深度Q 網(wǎng)絡(luò)的參數(shù)，反復(fù)迭代該過程直至網(wǎng)絡(luò)收斂。

（8）模型測試。通過觀察模型在測試集上的表現(xiàn)，計算準(zhǔn)確率、精確度、召回率等指標(biāo)，評估網(wǎng)絡(luò)入侵檢測模型的有效性。

3.3 結(jié)果分析與討論

本實驗使用準(zhǔn)確率、精確度、召回率等指標(biāo)對這個模型進(jìn)行了評估，并對比了DNN 與DQN 的模型性能，如表3所示。

表3 實驗結(jié)果評估

由表2 可得，從準(zhǔn)確率來看，DQN 相較于DNN 實現(xiàn)了顯著的提升，達(dá)到了0.92，而DNN 的準(zhǔn)確率為0.85。這表明在模型訓(xùn)練和決策過程中，DQN 能夠更準(zhǔn)確地預(yù)測網(wǎng)絡(luò)入侵行為，提高了整體準(zhǔn)確性。進(jìn)一步觀察精確度和召回率兩個關(guān)鍵指標(biāo)，可以發(fā)現(xiàn)DQN 在精確度和召回率上也表現(xiàn)優(yōu)異。其精確度為0.94，相比DNN 的0.88 有明顯提高，這說明DQN 在預(yù)測正樣本時更為準(zhǔn)確。同時，DQN 的召回率為0.90，相對于DNN 的0.82 也有一定的提升，即DQN 更能有效地捕捉到真正的入侵事件。

實驗結(jié)果的這些差異可能歸因于深度Q 網(wǎng)絡(luò)在強化學(xué)習(xí)框架下的特性，其能夠通過智能系統(tǒng)與環(huán)境的交互來學(xué)習(xí)復(fù)雜的網(wǎng)絡(luò)模式，從而提高網(wǎng)絡(luò)入侵檢測的性能。然而，也需要注意的是，實驗結(jié)果可能受到數(shù)據(jù)集的影響，對于其他不同特性的數(shù)據(jù)集，模型性能可能會有所變化。

4 結(jié)語

本研究圍繞網(wǎng)絡(luò)入侵檢測，通過深度強化學(xué)習(xí)的引入，構(gòu)建了一種創(chuàng)新性的網(wǎng)絡(luò)安全架構(gòu)。深度Q 網(wǎng)絡(luò)（DQN）在網(wǎng)絡(luò)流量分析中的應(yīng)用，通過智能系統(tǒng)的學(xué)習(xí)與決策，顯著提高了網(wǎng)絡(luò)入侵檢測的性能［12］。實驗中使用NSL-KDD 數(shù)據(jù)集對比DNN 與所用模型的性能，結(jié)果表明DQN 在準(zhǔn)確性和有效性上均表現(xiàn)出明顯優(yōu)勢。這為網(wǎng)絡(luò)安全領(lǐng)域提供了一種新的、高效的技術(shù)方案。然而，實驗結(jié)果仍需在更廣泛的數(shù)據(jù)集和復(fù)雜網(wǎng)絡(luò)環(huán)境下進(jìn)行驗證，以全面評估該方法的適用性。總體而言，本研究為網(wǎng)絡(luò)入侵檢測領(lǐng)域的研究和實踐提供了有益的啟示，為未來深度學(xué)習(xí)在網(wǎng)絡(luò)安全中的應(yīng)用奠定了堅實的基礎(chǔ)。