基于Markov微分博弈的移動目標防御決策優化

胡春嬌 陳瑛 王高才

摘 要：隨著網絡攻防向實時連續和動態高頻變化的方向發展，傳統的離散多階段網絡攻防博弈模型已難以滿足實際需求，而且傳統網絡攻防模型中的節點狀態單一，難以準確描述實際網絡對抗中節點類型的演化過程。將節點傳染病動力學模型加以改進并應用到網絡攻防對抗中，用來描述攻防過程中不同狀態節點的演化過程及節點狀態間的遷移關系。在構建移動目標Markov微分博弈防御模型時，各階段內運用微分博弈模型分析，階段間運用Markov決策過程描述狀態轉移，通過均衡分析和求解，設計防御決策優化算法。最后，通過仿真實驗驗證該模型和優化策略的可行性和有效性。

關鍵詞：移動目標；防御決策優化；Markov微分；博弈模型

中圖分類號：TP301?? 文獻標志碼：A

文章編號：1001-3695（2023）09-043-2832-06

doi：10.19734/j.issn.1001-3695.2023.01.0011

Research on defense decision optimization of mobile targets based on Markov differential game

Hu Chunjiao1，Chen Ying2，Wang Gaocai2

（1.Educational Technology Center，Yulin Normal University，Yulin Guangxi 537000，China；2.School of Computer & Electronic Information，Guangxi University，Nanning 530004，China）

Abstract：With the development of network attack and defense towards real-time continuous，dynamic and high-frequency changes，the traditional discrete multi-stage network attack and defense game model has been difficult to meet the actual needs，and the node state in the traditional network is single，which is difficult to accurately describe the evolution process of the node type in the actual network confrontation.This paper improved the dynamics model of node infectious disease，and applied it to network attack and defense.The model described the evolution process of nodes in different states and the migration relationship between nodes in the process of attack and defense.When constructing the Markov differential game defense model for moving targets，the paper used the differential game model to analysis in each stage，and used the Markov decision process to describe the state transition between stages.Through equilibrium analysis and solution，the paper designed the defense decision optimization algorithm to analyze the node state evolution.Simulation results show that the feasibility and effectiveness of the proposed model and optimization strategy are efficient.

Key words：mobile target；defense decision optimization；Markov differential；game model

0 引言

移動目標防御（moving target defense，MTD）是以挫敗攻擊者為目的，從而改變網絡安全中攻防雙方信息地位不對稱的攻防環境而產生的［1］。它通過構建動態、異構和不確定的網絡空間目標環境來增加攻擊者的攻擊難度，以系統的隨機性和不可預測性來對抗網絡攻擊，減少漏洞的暴露和被利用的可能性，從而增強目標系統的防御能力［2］。當前，MTD已成為網絡安全領域的一個研究熱點。一方面，博弈論已廣泛應用于解決具有競爭性質現象的決策問題，其研究內容的基本特征與網絡攻防對抗過程中攻防雙方的特點相吻合［3］，因此博弈論已成為研究MTD決策問題的有效方法。通常，傳統離散多階段攻防博弈模型只關注網絡攻防過程多階段的特點，而沒有考慮到攻防對抗實時連續性。另一方面，多階段攻防博弈更加適用于網絡動態變化的攻防過程，而事實上，由于受到攻防策略的持續作用，系統一直處于一個持續動態變化且時間連續的過程，即系統難以長時間保持在一個穩定狀態，常常會因為受到外界因素的影響而從一個狀態隨機跳變到另一個狀態，并由此開始新一階段的攻防對抗，而不同階段的系統狀態和攻防策略也不盡相同。此外，在實際的網絡攻防對抗中，攻擊者與防御者并不是單一數量的。特別是對于由大量節點組成的網絡系統，因受到攻擊者不同程度的攻擊，節點會呈現出不同的狀態類型，而不同狀態類型的節點在攻防過程中的演化過程也不同，這就需要對網絡攻防對抗過程中不同類型的節點分別進行分析。

網絡攻擊過程通常不是單一階段的，攻擊者只有在執行完一個完整的攻擊鏈之后才能實現一次有效的攻擊。為了方便研究，在文獻［4，5］的基礎上，本文將網絡攻擊鏈模型進行簡化，分為目標偵察、漏洞利用、執行攻擊和攻擊持續四個階段。其中，在目標偵察階段，攻擊者通過收集系統信息確定攻擊目標及目標的映射關系，探尋系統安全漏洞；在漏洞利用階段，攻擊者根據獲得的信息，對漏洞進行研究和分析，從而達到獲取用戶資料、添加用戶、甚至非法入侵系統獲得管理權限進而控制系統等目的；在執行攻擊階段，攻擊者進行直接的入侵攻擊行為，如竊取數據、破壞系統運行等；攻擊持續就是持續攻擊行為。針對這四個攻擊階段，防御者需要采取相應的防御策略來對抗攻擊，如修復漏洞、入侵檢測等，同時結合移動目標防御中的探測面擴展、攻擊面轉移和攻擊面變換等主動防御手段實施防御。

本文主要研究MTD決策優化策略。針對傳統網絡中的節點狀態單一，難以準確描述實際網絡對抗中節點類型的演化過程，本文將節點傳染病動力學模型SIR（susceptible，infective，recovered）加以改進并應用到網絡攻防對抗中，用SIR來描述攻防過程中不同狀態節點的演化過程及節點狀態間的遷移關系。在分析網絡攻防對抗時考慮時間變量，采用多階段Markov微分博弈來描述實際網絡攻防對抗過程中的實時連續性、高頻動態性的特點，將一段連續時間內的網絡攻防對抗過程分解為持續較短時間的連續多階段攻防博弈過程。其中，在每個連續時間的階段內，采用微分博弈分析具體的攻防過程；在多階段間采用Markov狀態轉移概率模擬不同狀態間的跳轉。

1 相關概念和模型定義

近年來，微分博弈是一種用于描述時間連續變化情況下沖突對抗過程的理論方法［6］，具體是多個博弈局中人在一段連續的時間內持續相互作用和對抗，以最優化彼此獨立又互相沖突的目標作為準則，最終獲得所有局中人隨時間演變的策略，并獲得整個博弈過程的納什均衡［7］。本文利用微分博弈描述時間連續、動態變化的網絡攻防對抗過程，在文獻［6，8，9］的基礎上擴展節點傳染病動力學SIR模型為NLIRD模型，用于描述網絡中節點的安全狀態及狀態間的遷移過程。在NLIRD模型中，定義網絡節點的五種狀態，即易感狀態N（normal）、潛伏狀態L（latent）、感染狀態I（infected）、修復狀態R（restored）和受損狀態D（damaged）。其中，處于易感狀態N的網絡節點可以正常工作，但易被攻擊者作為目標進行偵查；潛伏狀態L表示已經被攻擊者探測到脆弱性的網絡節點，該狀態的節點具有潛伏性，若持續受到攻擊，則可變為感染節點；處于感染狀態I的網絡節點表示已經被攻擊策略滲透，但仍能提供正常服務，同時攻擊者也可利用該狀態的節點攻擊臨近節點；修復狀態R表示由于防御策略的成功實施，網絡節點會從I狀態切換并且對攻擊策略免疫；受損狀態D表示防御策略失敗，被感染的網絡節點喪失正常服務功能。不同狀態間的節點有六種遷移路徑，如圖1所示。

根據2.2節對算法均衡的分析可知，若攻防策略集合為|A|=m，|D|=n，則該算法的時間復雜度為O（2k（m+n）2）。將本文模型及算法與其他文獻進行對比，分析結果如表1所示。博弈過程是指網絡攻防對抗過程的階段性和時間連續性特點。博弈類型是指網絡攻防對抗過程中攻防雙方采取的博弈方式，考慮到實際網絡攻防是時間連續和多狀態變化的，所以采用Markov動態微分博弈更符合實際情況。節點分類是指攻防過程中是否根據攻防效果將節點狀態進行分類以及分類效果，因為在攻防對抗過程中防御者的狀態并不是一成不變的，將防御者的狀態按攻防效果進行分類可以更貼合實際情況。決策時效性是指攻防雙方選取最優策略的有效時間，由于網絡攻防一直處于連續時間的動態變化中，所以決策也需要具有較好的時效性。均衡求解是指算法的均衡求解過程是否詳細，詳細與否的均衡求解直接關系到這個算法實用性的優劣。

通過對比分析可知，文獻［8，10］采用單階段連續時間的微分博弈過程，忽視了實際網絡攻防對抗需要進行多個階段才會結束的特點，且均衡求解均不夠詳細，實用性較差。文獻［6］雖然采取了多階段連續時間的Markov微分博弈過程，但在模型構建過程中節點分類較為簡單，沒有考慮到防御者因受到攻擊者不同程度的攻擊會出現不同類型的節點狀態，在此基礎上選取的防御策略與實際情況相比可能會有偏差。

與其他相關文獻對比來看，本文提出的移動目標Markov微分博弈模型將一段連續時間的網絡攻防過程分解為有限個持續時間較短的階段，每個階段內使用微分博弈進行分析求解，階段間使用Markov決策進行狀態跳變，同時將網絡攻防過程中的防御者按攻防效果進行狀態分類，更貼合網絡攻防實際，具有算法步驟詳細、實用性好的優點。

3 仿真結果及分析

3.1 實驗環境描述

為驗證MTMDG模型及防御決策優化算法的可行性和有效性，本文采用文獻［12］的方法搭建相應的實驗環境，構建由網絡防御設備、Web服務器、客戶端C1和C2、FTP服務器F1和F2與數據庫服務器DB1和DB2服務器組成的仿真系統，將多階段MTD攻防對抗過程分為8個階段，每個階段都包括初始狀態和相對穩定狀態，共有16個狀態，各階段的狀態描述如表2所示。其中Sk0為第G（k）的初始狀態，Sk為該階段的結束狀態。

本文假定不同狀態間的狀態轉移概率固定不變，由歷史數據和專家經驗給出［13］，如表3所示。

3.2 實驗結果分析

攻擊者的最終目的在于獲取目標系統DB1和DB2服務器的特權，實施SQL注入和竊取備份等攻擊。攻擊者無法直接訪問數據庫服務器，但是可以通過一系列連續的攻擊策略逐步獲取Web服務器、客戶端和FTP服務器的相應權限，最終獲得數據庫服務器的root權限，達到攻擊目的。

根據表2可知，該仿真實驗中主要存在兩條攻擊鏈，分別為S10→S1→S20→S2→S30→S3→S60→S6→S70→S7和S10→S1→S20→S2→S40→S4→S50→S5→S80→S8。在此基礎上，本節結合網絡攻防對抗實際過程，設定攻防連續時間為100 s，每條攻擊鏈的每個階段持續20 s。根據歷史數據和專家經驗設定回報系數為r1=10，r2=6.7，r3=5，r4=9.5，cA=2，cD=4，設定折扣因子ξ=0.6，采用PyCharm2020.2.3工具計算各階段的目標準則函數，從而得到兩條攻擊鏈上各階段博弈的攻防收益，如表4所示。

從表4可以看出，攻擊鏈1的總攻擊收益要高于攻擊鏈2的總攻擊收益，而攻擊鏈2的總防御收益要高于攻擊鏈1的總防御收益，說明針對移動目標防御的決策問題，攻防雙方在進行對抗時，攻擊鏈2更符合防御者的期望，所制定的防御策略能有效抵御攻擊，進而保護目標系統。

進一步觀察攻防過程各階段，兩條攻擊鏈的第一階段和第二階段都為S10→S1和S20→S2，因為攻擊者要想獲取數據庫服務器的root權限，就必須先獲取網絡防御設備的root權限，所以兩條攻擊鏈都會經歷狀態S1和S2。從第三階段開始，攻擊鏈1中攻擊者通過獲取到Web服務器F2的user權限和DB1的access權限，進而獲取F2的root權限和C2的root權限，最后獲取到DB1服務器的root權限并注入SQL，從而完成攻擊。而攻擊鏈2中攻擊者在第三階段通過獲取Web服務器F1的user權限和C2的user權限，進而獲取C1的root權限和DB2服務器的user權限，最后獲取到DB2服務器的root權限并竊取備份信息，從而完成攻擊。所以對比兩條攻擊鏈，研究者要想有效抵御攻擊，就要盡可能讓攻擊鏈2發生，即提高S2→S40的狀態轉移的可能性，或降低S2→S30的狀態轉移的可能性，從而提高攻擊鏈2發生的可能性或降低攻擊鏈1發生的可能性，具體措施可通過固定頻率調整IP地址、端口號、協議等探測面完成。

針對攻擊鏈1，本文通過仿真實驗得出了整個網絡攻防對抗過程中各節點狀態隨時間變化的演化過程，如圖2所示。通過觀察圖2，在t∈［0，40］時，由于攻擊者在執行攻擊動作之前就已在探測目標階段對目標系統和防御者有了充分的了解，而防御者此時對攻擊者不太了解，所以在雙方攻防初期，攻擊者發動攻擊就占有優勢，此時大量節點從易感狀態遷移到潛伏狀態，并且在t=40時刻處于潛伏狀態的節點數量達到峰值。隨著攻防博弈的持續進行，防御者逐漸對攻擊者有了一定的了解，因此開始采取中高強度的防御策略抵御攻擊，此時，處于潛伏狀態的節點數量開始減少，并且處于受損狀態的節點數量基本不再變化。同時，處于易感狀態的節點數量急劇下降并趨于零，處于修復狀態的節點數量大幅上升。總之，如果防御者繼續實施現有的防御策略，處于修復狀態的節點數量會逐漸接近節點總數。

下面具體對攻擊鏈1中各階段的攻防策略軌跡進行分析。針對第一階段S10→S1，攻擊者各等級策略軌跡如圖3所示，而防御者各等級策略軌跡如圖4所示。

通過圖3和4可知，該階段攻防開始時，攻擊者以（0.55，0.36，0.09）的概率進行決策，防御者以（0.25，0.4，0.35）的概率進行決策。因為初始時刻攻擊者已經通過探測對目標系統有所了解，所以決策時以高等級攻擊策略和中等級攻擊策略為主，而此時防御者對攻擊者的認知還不夠全面，因此以中等級防御策略和低等級防御策略為主。隨著攻防對抗過程的進行，攻擊者在對目標系統有了更多的了解后開始逐漸加大高強度策略的實施概率，并伴隨著中等級攻擊策略和低等級攻擊策略的交替配合使用。而此時隨著對攻擊者了解的逐漸深入，防御者決策開始以高等級防御策略為主，中等級防御策略和低等級防御策略的實施概率開始有所降低。在該階段攻防對抗的后期，隨著高強度防御策略的持續使用，攻擊者的攻擊行動逐漸被挫敗，因此高等級攻擊策略的實施概率逐漸降低，后期主要以中等級攻擊策略和低等級攻擊策略為主。而此時防御者為了保護目標系統，持續實施高等級防御策略，中等級防御策略和低等級防御策略的實施概率有所降低。本階段結束時攻擊者的最優決策為（0.31，0.55，0.14），防御者的最優決策為（0.81，0.1，0.09）。其他階段的攻防策略演化過程與該階段同理。

通過對實驗結果的分析可以得出以下規律：

a）從節點狀態演化圖可以看出，對于多階段的網絡攻防對抗，每個階段的攻防過程并不是一成不變的，攻防雙方會根據當前的攻防對抗形勢及時調整自己的決策，體現了網絡攻防對抗實際過程的動態變化性；其次，各狀態節點達到平衡的快慢與攻防雙方采取策略的強度有很大的關系，體現了網絡攻防對抗過程的策略依賴性。再者，處于修復狀態的節點數變化和處于易感、潛伏、感染狀態的節點數變化對比，體現了網絡攻防過程中攻防雙方的目標對立性和關系非合作性。

b）在實際網絡攻防對抗過程中，對于以移動目標防御為代表的主動防御，防御者應該快速獲取關于攻擊者的信息，并注意隱藏自己的信息，同時在攻防過程中根據攻防局勢盡快調整自己的策略，爭取盡早抵御攻擊，保護目標系統。

4 結束語

實際的網絡攻防對抗過程是一個時間連續、動態變化的過程，為了解決這種過程中移動目標防御的決策優化問題，本文主要研究了移動目標Markov微分博弈的防御決策模型。在現有的關于網絡攻防微分博弈的基礎上，根據網絡攻防實際情況，通過改進節點傳染病模型，構建NLIRD模型描述攻防過程中節點狀態的變化。同時采用Markov決策過程描述多階段網絡攻防的狀態轉移，并設計攻防雙方收益的目標準則函數，通過均衡分析和求解，設計防御決策優化算法，對攻防過程中節點狀態演化和攻防決策軌跡進行分析，并通過仿真實驗驗證了模型和算法的可行性和有效性，對現實網絡攻防環境下的防御決策具有一定的理論價值。

進一步對攻防博弈模型的參數進行精確量化一直是網絡攻防博弈決策的研究重點，只有收益量化更加精確，構建的攻防博弈模型才會更加貼合網絡攻防實際，根據模型所選取的策略才會更加有效可行，進而才能更好地指導網絡防御。

參考文獻：

［1］Yoon S H，Cho J H，Kim D S，et al.Attack graph-based moving target defense in software-defined networks［J］.IEEE Trans on Network and Service Management，2020，17（3）：1653-1668.

［2］Zhang Hengwei，Tan Jinglei，Liu Xiaohu，et al.Moving target defense decision-making method：a dynamic Markov differential game model［C］//Proc of the 7th ACM Workshop on Moving Target Defense.New York：ACM Press，2020：21-29.

［3］Huang Wanwei，Yuan Bo，Wang Sunan，et al.Research on simulation of network attack and defense situation based on evolutionary game［C］//Proc of the 9th International Conference on Networks，Communication and Computing.New York：ACM Press，2020：96-103.

［4］蔣侶，張恒巍，王晉東.基于多階段Markov信號博弈的移動目標防御最優決策方法［J］.電子學報，2021，49（3）：527-535.（Jiang Lyu，Zhang Hengwei，Wang Jindong.A Markov signaling game-theoretic approach to moving target defense strategy selection［J］.Acta Electronica Sinica，2021，49（3）：527-535.）

［5］劉文彥，霍樹民，陳揚，等.網絡攻擊鏈模型分析及研究［J］.通信學報，2018，39（Z2）：88-94.（Liu Wenyan，Huo Shumin，Chen Yang，et al.Analysis and study of cyber attack chain model［J］.Journal on Communications，2018，39（Z2）：88-94.）

［6］張恒巍，黃世銳.Markov微分博弈模型及其在網絡安全中的應用［J］.電子學報，2019，47（3）：606-612.（Zhang Hengwei，Huang Shirui.Markov differential game model and its application in network security［J］.Acta Electronica Sinica，2019，47（3）：606-612.）

［7］Meyers R A.Computational complexity：theory，techniques and applications［M］.New York：Springer，2012：854-861.

［8］Mi Yan，Zhang Hengwei，Hu Hao，et al.Optimal network defense strategy selection method：a stochastic differential game model［J］.Security Communication Networks，2021，2021：article ID 5594697.

［9］黃世銳.基于微分博弈的網絡安全威脅預警與防御決策方法研究［D］.鄭州：戰略支援部隊信息工程大學，2018.（Huang Shirui.Research on network security threat early warning and defense decision-making method based on differential game model［D］.Zhengzhou：PLA Strategic Support Force Information Engineering University，2018.）

［10］Nilim A，Chaoui L E.Robust control of Markov decision processes with uncertain transition matrices［J］.Operations Research，2016，53（5）：780-798.

［11］Nilim A，Chaoui L E.Active defense strategy selection based on diffe-rential game［J］.Operations Research，2016，43（12）：163-169.

［12］劉江，張紅旗，劉藝.基于不完全信息動態博弈的動態目標防御最優策略選取研究［J］.電子學報，2018，46（1）：82-89.（Liu Jiang，Zhang Hongqi，Liu Yi.Research on optimal selection of moving target defense policy based on dynamic game with incomplete information［J］.Acta Electronica Sinica，2018，46（1）：82-89.）

［13］Zangeneh V，Shajari M.A cost-sensitive move selection strategy for moving target defense［J］.Computers & Security，2018，75：72-91.

收稿日期：2023-01-14；修回日期：2023-03-09? 基金項目：國家自然科學基金資助項目（62062007）；廣西高校中青年教師科研基礎能力提升項目（2020KY14020）；玉林師范學院高等教育本科教學改革工程項目（2022XJJGYB20）；玉林師范學院科研項目（2019YJKY15）

作者簡介：胡春嬌（1980-），女，廣西玉林人，工程師，學士，主要研究方向為網絡能耗優化和網絡空間安全；陳瑛（1997-），女，山西臨汾人，碩士研究生，主要研究方向為網絡安全技術；王高才（1976-），男（通信作者），廣西灌陽人，教授，博導，博士，CCF高級會員，主要研究方向為計算機網絡、性能評估和網絡安全（wanggcgx@163.com）.