基于Q學習與粒子群優化算法的工控系統安全防護策略選擇模型

中圖分類號：TP391 文獻標志碼：A 文章編號：2095-2945（2025）18-0005-05

Abstract：Inordertoimprove thesecuritylevelofindustrialcontrolsystemsandreducethethreatcausedbynetwork attacks，aprotectionstrategyselectionalgorithmcombiningQ-learingandparticleswarmoptimizationalgorithmisproposedThe experimentalresultsshowthat，whennoprotectivestrategyisimplemented，thebenefitsthatcanbebtainedfromtheattckcan reachupto547.3.AfterimplementingtheparticleswarmalgorithmandBayesianatackgraphselectionprotectionstrategy，the benefitsobtainedfromtheatackdecreasedto432.5and398.7respectivelyWhenimplementingtheprotectivestrategyselected bytheimprovedparticleswarmoptimizationalgorithmbasedonQ-learning，theatackbenefitdecreasedto325.6.Theabove resultsindicatethattheprotectionstrategyselectedbytheimprovedparticleswarmoptimizationalgorithmbasedonQ-learning cansignificantlyreduceattack benefitsand effectivelyprotect industrial control systems from network atacks.

Keywords： industrial control system;securityrisk; Qleaming;particleswarmoptimizationalgorithm; protectionstrategy

隨著工業控制系統網絡化浪潮的推進，工控系統的電子化程度逐漸增加。雖然電子化程度的增加能削弱工控系統的隔離性，但也增加了其受到網絡攻擊的風險，給工控系統的安全帶來了極大的威脅[1-2]。當前面向工控系統的安全感防護策略選擇模型主要包括基于Markov模型攻擊圖的選擇模型、基于禁忌搜索的選擇模型和基于馬爾科夫博弈模型的選擇模型等，但上述模型均難以高效準確地選擇出最優的防護策略。因此，為了提高工控系統的防護力度，研究提出了結合Q學習和粒子群優化（Particle Swarm Opti-mization，PSO）算法的安全防護策略選擇模型。該模型由于僅作用于工控系統的入侵響應機制，并不涉及生產制造過程，因此其適用于不同類型的工控系統。同時，該模型還創新性地在PSO算法中引入了Q學習，以避免算法陷人局部最優的問題。

l基于QPSO的安全防護策略選擇模型

1.1工控系統安全風險評估方法

在提高工控系統的安全性之前，首先需要對工控系統的風險及漏洞進行識別，以便對癥下藥。貝葉斯攻擊圖能準確表達網絡或信息系統中存在的脆弱點，并全面地反映網絡或信息系統中脆弱點利用之間的依賴關系[4。貝葉斯攻擊圖的定義如式（1）所示。

BAG=（S，E，A，P）

式中： BAG 表示貝葉斯攻擊圖；S表示屬性節點的集合； E 表示有向邊的集合；A表示原子攻擊； P 表示屬性節點被攻擊的概率集合。在工控系統受到攻擊時，系統中的漏洞被成功利用的概率是通過漏洞評分系統進行計算的，其計算公式如式（2）所示。

p（ν_i）=2×AV×AC×AU

， 式中： p（ν_i） 表示漏洞 u_i 被成功利用的概率； i 表示漏洞的索引，用于區分不同的漏洞， v_i 即第 i 個漏洞； AV 表示攻擊路徑； AC 表示攻擊復雜度； .AU 表示身份驗證值。各等級網絡漏洞評價得分見表1。

由表1可知，遠程網絡攻擊、相鄰網絡攻擊和本地攻擊的得分分別為1.0、0.7和0.4;在無驗證、單一驗證方式、多重驗證方式下，身份驗證難度得分分別為 0.7，0.6 和0.5。由于父節點集會影響子節點被攻擊利用的概率，因此為了準確反映屬性節點被成功利用的概率，需要計算屬性節點的條件概率。屬性節點的條件概率計算公式如式（3）所示。

式中：i和 j 表示不同節點的索引； S_i 表示第 i 個屬性節點（子節點），即被攻擊的目標節點； S_j 表示第 j 個父節點，即對 S_i 有直接影響的前置節點； 表示在父節點集 Par（S_i） 的影響下，屬性節點 S_i 被利用的概率； p（S_j） 表示節點被利用的概率； d_j 表示屬性節點類型。此時，屬性節點先驗概率的計算公式如式（4）所示。

式中： i 和 j 表示不同節點的索引； S_i 表示第 i 個屬性節點（子節點），即被攻擊的目標節點； S_j 表示第 j 個父節點，即對 S_i 有直接影響的前置節點； P（S_i） 表示屬性節點的先驗概率。為了選擇出最合適的防護策略，需要構建合理的目標函數。防護策略的防護成本計算公式如式（5）所示。

COST_i=ω_i×νalue×100， （5）式中： COST_i 表示防護成本； ω_i 表示防護策略的歸一化權重； value 表示資產價值。此時防護策略的有效性如式（6）所示。

式中： C（M_i） 表示防護策略 M_i 的效益； n 表示屬性節點的數量。而對于網絡攻擊而言，屬性節點受到攻擊后可獲得的收益如式（7）所示。

AG（S_i）=p（S_i）×νalue，

式中： ：AG（S_i） 表示屬性節點受到攻擊后可獲得的收益此時，在防護策略啟動后，攻擊可獲得的收益如式（8）所示。

式中： s 表示屬性節點的集合： AG（S_i|M） 表示在防護策略下，攻擊屬性節點可得的收益； .AG（M） 表示在防護策略下攻擊可獲得的總收益。防護成本 攻擊收益目標函數如式（9）所示。

，（9）式中： C（M） 表示防護策略 M 總效益;8表示攻擊收益的偏好權重； B 表示防護總成本的約束。

1.2基于QPSO的防護策略選擇算法

通過研究構建的目標函數雖然能選擇出合適的防護策略，但由于目標函數求解難度較大，因此難以尋找出最優的防護策略。而PSO算法可以實現對防護成本-攻擊收益目標函數求解。PSO算法的粒子位置及速度如式（10）所示。

式中： X_i 表示粒子的位置； X_id 表示第 i 個粒子在 d 維中的位置； V_i 表示粒子的速度； V_id 表示第 i 個粒子在d 維中的速度； N 表示粒子數量； d 表示維度。粒子的位置和速度更新公式如式（11）所示。

式中： X_id^t 表示在 χ_t 時刻粒子 d 維中的位置; X_id^t+1 表示 t+ 1時刻粒子在 d 維中的位置; V_id^t 表示 χ_t 時刻粒子在 d （204維中的速度; V_id^t+1 表示 ^t+1 時刻粒子在 d 維中的速度;w 表示慣性權重； L_P 表示自學習因子； P_id^t 表示 χ_t 時刻 d 維中的局部最優粒子； Lb 表示全局學習因子； GP_id^t 表示 χ_t 時刻 d 維中的全局最優粒子。通過PSO算法雖然能實現目標方程的求解，但其存在容易陷入局部最優的問題[7-8。因此為了避免陷入局部最優，研究提出利用Q學習對PSO算法進行優化。Q表的更新公式如式（12）所示。

式中： Q（st_t+1，at_t+1） 表示更新后的 Q 值； α 表示學習率；st_t 表示 χ_t 時刻的狀態; at_t 表示 χ_t 時刻的行動； R（st_t，at_t） 表示由狀態和行動產生的獎勵； γ 表示折扣系數。PSO算法的空間狀態判定準則見表2。

注： Rd 表示任意粒子與最優粒子的相對距離； 表示搜索空間的大小； Rf 表示相對適應度； 表示全局最優與全局最差粒子的適應度差值。

對于動作而言，慣性權重、自學習因子和全局學習因子對其具有顯著影響。而QPSO算法會根據空間狀態選擇對應的動作，并根據粒子的適應度值決定是進行獎勵還是懲罰。獎勵函數如式（13）所示。

式中： R 表示獎勵； state 表示狀態。將QPSO算法與前一節中構建的工控系統安全風險評估方法結合即可得到工控系統安全防護策略選擇模型。基于QPSO的工控系統安全防護策略選擇模型如圖1所示。

由圖1可知，首先進行資產估計和漏洞掃描，并根據上述結果生成貝葉斯攻擊圖，然后對屬性節點漏洞被利用的概率進行計算。接著根據漏洞利用概率對屬性節點受到攻擊的先驗概率進行計算。此外，在計算得到漏洞利用概率后，將其與防護成本和攻擊收益結合，構建目標函數。最后，利用QPSO算法對目標函數進行尋優，以得到最優解。

2安全防護策略選擇結果分析

為了探究研究提出的工控系統安全防護策略選擇模型的性能，研究以水分配系統為例，對其進行了測試。實驗中用于生成攻擊圖環境的虛擬機為Ubuntu 20.04.1 LTS，CPU 為 Intel Core i5-6200U2.3GHZ ，內存為32GB，運行環境為MATLAB。QPSO算法的適應度參數為0.5，防護總成本無上限。各屬性節點的先驗概率計算結果見表3。

由表3可知，屬性節點11的先驗概率最大，為1.00，這表明屬性節點11幾乎一定會被攻擊利用。屬性節點13的先驗概率最小，為0.30。表3中各屬性節點的平均先驗概率為0.59。上述結果表明，各屬性節點被攻擊成功利用的概率整體較高。各防護策略的防護成本及其對漏洞利用的影響見表4。

由表4可知，就防護成本而言，彌補編程邏輯控制器的漏洞的防護成本最低，僅為10。禁用執行代碼的防護成本最高，為28。就對漏洞利用的影響而言，禁用網絡服務對其影響最大，為0.46。斷開主機網絡對漏洞利用的影響最低，為 0.16_?c 。可見，彌補編程邏輯控制器的漏洞的防護收益最高。為了進一步驗證研究提出的防護策略選擇模型的性能，研究將其與基于PSO的防護策略選擇模型和基于貝葉斯攻擊圖的最優防護策略選擇（Hardening Measures Selection based onBayesian Attack Graphs，HMSBAG）模型進行比較，各算法的收斂曲線如圖2所示。

由圖2可知，PSO在迭代2次后開始收斂，HMSBAG在迭代3次后開始收斂，但其收斂值均為1.2左右。而QPSO算法雖然在迭代2次后才開始收斂，但其收斂值僅為0.7。上述結果表明，QPSO算法的收斂性優于其他算法。各算法的防護結果如圖3所示。

由圖3（a）可知，在實行PSO算法和HMSBAG選擇的防護策略后，攻擊可獲得的收益分別下降至432.5和398.7。而在實行QPSO算法選擇的防護策略時，攻擊收益下降至 325.6 由圖3（b）可知，PSO算法、HMSBAG和QPSO算法選擇的防護策略的防護成本分別為 48.8、42.3 和29.9，其QPSO算法的防護成本低于其他算法。上述結果表明，研究提出的基于QPSO的安全防護策略選擇模型能實現對最優防護策略的選擇，有效降低攻擊收益。

3結論

為了實現工控系統網絡安全的防護，研究提出了基于QPSO算法的防護策略選擇模型，并以水分配系統為例進行了測試。實驗結果顯示，在眾多防護策略中，彌補編程邏輯控制器的漏洞的防護成本最低，僅為10；且其對漏洞影響的程度較大，為0.45。在實行QPSO算法選擇的防護策略時，攻擊收益下降至325.6，顯著低于其他算法，并且QPSO算法在迭代2次后的攻擊收益就低于其他算法。上述結果表明，研究提出的基于QPSO算法的防護策略選擇模型能準確選擇最優的防護策略。但由于研究在對工控系統的漏洞進行掃描時，選擇的掃描工具具有局限性，無法完全涵蓋所有漏洞。因此，未來研究將對如何實現工控系統漏洞掃描的完全覆蓋進行探索。

參考文獻：

[1]宋晶，刁潤，周杰，等.工業控制系統功能安全和信息安全策略優化方法[J].信息網絡安全，2022，22（11）：68-76.

[13]BU Q，MING X，HUJ，et al.TransferSense：towardsenvironment independent and one -shot wifi sensing [J].Personal and Ubiquitous Computing，2022：1-19.

[14] KHAN M A A H，ROY N. Cross-Domain Unseen Activ-ityRecognition Using Transfer Learning [C]//2O22 IEEE46th Annual Computers，Software，andApplications Con-ference（COMPSAC）. IEEE，2022：684-693.

[15] SHI Z，ZHANG JA，XU Y D R，et al. Environment-robust device-free human activity recognition with chan-nel-state -information enhancement and one -shot learning[J].IEEE Transactions on Mobile Computing，2020.

[16]MA X，ZHAO Y，ZHANG L，et al.Practical device-freegesture recognition using wifi signals based on metalearn-ing[J].IEEETransactionson IndustrialInformatics，2019，16（1）：228-237.

[17]胡中源，薛羽，查加杰.演化循環神經網絡研究綜述[J].計算機科學，2023，50（3）：254-265.

[18]WOO S，PARKJ，LEEJY，et al.Cbam：Convolutionalblock attention module [C].Proceedings of the Europeanconference on computer vision （ECCV），2018：3-19.

[19]KOLESNIKOV A，BEYER L，ZHAI X，et al.Bigtrans-fer（bit）：General visual representation learning[C]//Com-puter Vision -ECCV 202O：16th Eu ropean Conference，Glasgow，UK，August 23-28，2020，Proceedings，PartV16.Springer International Publishing，2020：491-507.

[2]李軍.基于關聯規則的工業控制系統運維數據挖掘方法[J].微型電腦應用，2023，39（9）：167-170.

[3]馬標，金映言，那幸儀，等.工業控制系統入侵檢測技術研究綜述[J].計算機應用與軟件，2023，40（5）：10-18.

[4]康琳琳.基于態勢感知的工業信息安全系統設計與實現[J]冶金自動化，2022，46（1）：241-246.

[5]丁朝暉，張偉，楊國玉，等.工業控制系統網絡攻擊預測技術研究[J]電子技術應用，2023，49（1）：86-90.

[6]唐鶴，李偉，周俊宇.一種小波神經網絡的電力短期負荷模型研究[J].微型電腦應用，2023，39（9）：115-118.

[7]楊悅，王丹，胡博，等.基于改進多智能體Q學習的多源最優聯合調頻控制策略研究[J].電力系統保護與控制，2022，50（7）：135-144.

[8]高思華，顧晗，賀懷清，等.基于深度Q學習的無線傳感器網絡目標覆蓋問題算法[J].吉林大學學報：理學版，2023，61（6）：1432-1440.