基于動態非零和博弈的無人機集群協同對抗方法研究

劉莎 張碩 劉祿

摘要：無人機集群協同對抗是當今國內外學術研究的熱點問題，動態機動決策是無人機對抗最重要的研究領域之一。本文提出了一種基于動態非零和博弈的無人機集群協同對抗決策算法。首先，確定對抗雙方的決策集，并通過角度、速度和距離等機動因素構造對抗雙方的態勢優勢。其次，對無人機集群機動可選方案進行多屬性評價，進一步計算雙方的動態收益矩陣，建立動態非零和納什均衡機動決策模型。隨后，提出了改進的粒子群算法，高效求解動態非零和納什均衡機動決策模型，得到最優的混合策略。最后，通過仿真試驗驗證了所提出的協同動態機動決策算法的優越性，有效提升了無人機集群協同對抗能力，為無人機集群指揮、決策及控制的智能化發展提供了理論及應用基礎。

關鍵詞：無人機集群；協同對抗；動態博弈；非零和博弈；納什均衡

中圖分類號：O225文獻標識碼：ADOI：10.19452/j.issn1007-5453.2022.02.012

隨著無人機技術的快速發展，無人機已廣泛應用于農業、航拍、測繪、運輸、救援甚至是軍事領域。在此基礎上，無人機集群技術也得到了一定的發展，如無人機集群燈火表演、野生動植物觀察等[1-6]。在無人機集群對抗領域，目前相關研究仍處在初期發展階段，其主要的難點在于如何擺脫傳統人為的路徑規劃，進而實現集群自身的智能化決策和自適應協同。此外，如何在動態的對抗過程中實現協同機動對抗智能決策的優化也是無人機集群協同對抗中的一個重要問題。

目前，無人機集群對抗領域已取得一些建設性的研究成果。惠一楠等[7]利用不完全信息動態博弈模型，使用免疫進化算法求解模型的貝葉斯納什均衡解，得到無人機的最優策略序列。姚宗信[8]通過建立基于多智能體的多機協同作戰任務決策方法結構模型，運用基于神經網絡和靜態博弈模型的多機協同對抗多目標任務決策方法，實現了多機協同對抗多目標任務決策方法仿真研究。近幾年，無人機集群協同對抗開始使用態勢實時分析和動態博弈的思想開展研究。邵將等[9]通過建立多無人機協同空戰連續決策過程，使用貝葉斯推論對空戰態勢進行實時評估，并以此設計的決策規則進行機動決策。陳俠等[10-11]通過建立無人機的能力函數，建立多無人機協同打擊任務的攻防博弈模型，給出了有限策略靜態博弈模型與純策略納什均衡的求解方法。由上述研究可以看出，針對無人機集群的能力和實時態勢分析是集群動態協同對抗的模型基礎[12]。但由于對抗雙方目標策略的不同，實際上雙方的對抗并不是零和博弈，而更符合非零和博弈的特征。

基于上述分析，本文針對無人機集群協同對抗問題，通過雙方的態勢分析對決策集進行多屬性評價和目標策略選擇，建立雙方的動態非零和納什均衡機動決策模型。進一步通過改進的粒子群算法，實現非零和博弈模型的納什均衡解的高效計算，得出雙方的最優混合策略。最后，通過數值仿真試驗驗證所提方法的有效性。

1動態非零和納什均衡機動決策建模

1.1機動策略

1.3.3動態納什均衡決策模型

上兩節給出了F和G雙方單位時間的非零和博弈過程。由于雙方的博弈為動態過程，因此需要建立動態的納什均衡決策模型。主要的步驟分為以下幾步：（1）在給定雙方初始位置姿態和性能參數后，確定雙方對抗的總時長T、當前時間t以及單次博弈的單位時長Δt；（2）根據當前雙方的位置姿態，在不同的策略組合下，計算雙方個體間距離優勢、速度優勢以及角度優勢，得到整體的總體態勢函數，根據當前的集群策略目標計算雙方的收益矩陣，建立非零和博弈模型；（3）求解非零和博弈模型的納什均衡解得出雙方的最優混合策略；（4）根據求得的混合策略隨機得出下一步的策略，得到下一步的位置和姿態；（5）將時間更新為t +Δt，判斷是否t +Δt > T或雙方已達到停止博弈條件（如一方以實現絕對優勢條件）；如果是，進行第（6）步；如果不是，進行第（2）步；（6）博弈對抗結束，判斷博弈結果。

2動態非零和納什均衡策略的優化

上一節已經給出了無人機集群協同對抗的動態非零和納什均衡機動決策模型及其具體步驟。如1.3.3節所示，步驟中最核心的問題是第3項“求解非零和博弈模型的納什均衡解得出雙方的最優混合策略”，即為求解最優化問題式（20）。

在實踐中，粒子常常陷入局部最優，所提出的參數優化算法應該能夠改變其原始軌跡，以適應性地探索新的解空間。式（23）中所用的rand1，rand2隨機數，無法克服隨機進化搜索中的盲目性，無法進一步實現粒子的高效搜索。近年來，許多研究表明，如果粒子收斂太快，它們將在幾代內局部最優收縮[15]。這種現象將導致個人之間相似的搜索行為，并導致多樣性的喪失。如果粒子被困在局部區域，則由于它們相似的搜索行為和缺乏自適應檢測能力，它們將很難跳出局部最優。為了提高隨機搜索的多樣性，在改進的粒子群算法中我們使用Levy過程作為隨機搜索的隨機過程。Levy過程是比Brownian運動、Poisson運動更廣泛的一類隨機過程，屬于一類重尾過程，現已廣泛應用于搜索、經濟、金融等數學模型，具有較強的漂移搜索能力。因此，在已有的模型中加入Levy過程能提高算法的隨機搜索能力，改善PSO算法的性能，引導粒子移動到希望成為全局最優值的不同區域，并更廣泛地探索求解空間。

綜上所述，在本節中，提出了一種具有Levy搜索的改進方法，該方法為

3無人機協同動態機動決策算法的仿真試驗

前兩節提出無人機協同動態機動決策算法模型及優化方法。這一部分將給出一項仿真數值試驗，并通過試驗驗證所提方法的有效性。該仿真試驗運用1.3.3節中的對抗博弈步驟，其中第3項“求解非零和博弈模型的納什均衡解得出雙方的最優混合策略”使用是第二部分提出的改進粒子群優化（MPSO）方法。

從初始條件可以看出，對抗開始階段G在角度態勢上具有優勢。在隨后的40步對抗中，可分為如下有三個階段，其對應的三維對抗過程如圖1～圖7所示。紅色實線表示F1的路徑軌跡，紅色虛線表示F2的路徑軌跡，藍色實線表示G1的路徑軌跡，藍色虛線表示G2的路徑軌跡。“*”顯示初始位置，“△”顯示當前位置。當一方的達到絕對優勢或到達40步對抗上限時，對抗結束。

第一階段是態勢均衡階段（見圖1、圖2），雙方從初始位置出發在第5步出現對抗態勢，其中F1和G1相互靠近對抗，F2和G2相互靠近對抗，如圖1所示。

第一階段從第5步～第11步的過程中，F1和G1相互靠近對抗，其中G1的態勢優勢更大；F2和G2相互靠近對抗，其中F2的態勢優勢更大。第11步的對抗過程圖如圖2所示。

第二階段是協同對抗階段（見圖3～圖5）。在第16步時，和G1對抗中的F1仍處在劣勢，并做出了協同F2靠近對抗G2的決策，如圖3所示。

圖4為第21步時，F1協同F2加速靠近G2的過程。而G1在靠近F1的過程中被后者擺脫。這也導致G1在之后的對抗過程中一直處在距離態勢的劣勢。

圖5為第28步時，F1徹底擺脫G2，并協同F2靠近對抗G2的過程。此時G1距離態勢的劣勢仍未能彌補，局部F以二敵一夾擊G2，形成了總體態勢的優勢。

第三階段是絕對優勢階段（見圖6、圖7），這一階段F一直保持總體態勢的絕對優勢。圖6為第32步的對抗過程，其中F持續高速以二敵一夾擊G2，G1仍存在較大的距離態勢，F保持著總體態勢的絕對優勢。

圖7為第35步時雙方的對抗過程，從圖中的整體態勢可以看出，雙方的形勢和圖6近似，F仍然保持著總體態勢的絕對優勢。因此，對抗過程結束。

從如上的仿真對抗過程可以看出，F在初始位置狀態不占優勢的情況下，利用本文提出的協同動態機動決策算法實現了無人機集群協同對抗決策的優化，并從16步開始主動改變策略逐步扭轉了雙方的對抗態勢。這也驗證了所提出的無人機協同動態機動決策算法的有效性和優越性。

為進一步驗證本文模型及方法的有效性，本文采取5對5的集群對抗試驗仿真。F使用的是本文提出的決策算法，G使用基于最大最小的純策略法。圖8～圖10給出了雙方5對5協同機動對抗的仿真結果。第一階段是態勢均衡階段，雙方具有態勢相同的初始條件，圖8為第6步的對抗過程，F和G在第一次交鋒之后調整姿態進行下一階段的對抗。第二階段是協同對抗階段，圖9為第12步的對抗過程，G采用純策略重點追擊F的劣勢個體，兩架無人機追擊F4，3架無人機追擊F5；F采用混合策略，保持策略的靈活性和對抗的協同性，處在劣勢的F4和F5相互靠攏，將G無人機吸引集中后，F1、F2、F3協同從后方夾擊G，形成如圖10第25步的對抗態勢。第25步及之后即為第三階段絕對優勢階段，F對G實現后方及側方的夾擊，形成了絕對的態勢優勢。該仿真結果驗證了本文無人機協同動態機動決策算法的有效性和優越性。

4結論

本文針對無人機集群協同對抗問題，基于實時態勢分析建立了動態非零和納什均衡機動決策模型，給出了動態決策步驟和改進的粒子群優化方法，實現了無人機集群協同對抗的仿真和驗證。首先，針對無人機集群建立決策集，并通過距離、速度、角度優勢建立總體態勢函數，根據不同目標策略實現了集群博弈收益函數的確立；其次，建立了動態非零和納什均衡機動決策模型，給出了動態決策過程的步驟；再次，為了實現最優混合策略對應的納什均衡解的求取，提出了改進的粒子群優化算法，提高了算法的計算效率；最后，運用動態非零和納什均衡機動決策模型，本文給出了一個2對2無人機集群協同對抗仿真試驗，驗證了所提方法的有效性。

本文在研究中使用的是完全信息，即集群雙方均可以實時獲取對方位置和狀態，然而在實際對抗過程中會出現不完全信息的情況，這將是我們下一步研究的重點問題。

參考文獻

[1]Zong Q，Wang D，Shao S，et al. Research status and develop-ment of multi UAV coordinated formation flight control[J]. Journal of Harbin Institute of Technology，2017，49（3）：1-14.

[2]Wang Y，Zhang W，Li Y. An efficient clonal selection algorithm to solve dynamic weapon-target assignment game model in UAV cooperative aerial combat[C]// 2016 35th Chinese Control Conference（CCC）. IEEE，2016.

[3]Zhou S，Yin G，Wu Q. UAV cooperative multiple task assignment based on discrete particle swarm optimization[C]// 2015 7th International Conference on Intelligent HumanMachine Systems and Cybernetics. IEEE，2015.

[4]谷青范，鄧平煜，董海勇，等.面向協同飛行的航空電子系統安全性分析技術研究[J].航空科學技術， 2019， 30（12）： 59-65. Gu Qingfan， Deng Pingyu， Dong Haiyong， et al. Research on safety analysis technology of avionics system oriented for collaborative flight[J]. Aeronautical Science & Technology， 2019， 30（12）： 59-65. （in Chinese）

[5]楊春寧，杜黎明，李春.未知區域無人機協同搜索方法及效率分析[J].航空科學技術， 2019，30（10）： 56-63. Yang Chunning， Du Liming， Li Chun. Methods and efficiency comparison of UAV swarms collaborative search in unknown area[J]. Aeronautical Science & Technology， 2019， 30（10）： 56-63. （in Chinese）

[6]姜延歡，楊永軍，李新良，等.智能無人系統環境感知計量評價研究[J].航空科學技術， 2020， 31（12）： 80-85. Jiang Yanhuan， Yang Yongjun， Li Xinliang， et al. Research on environmental perception metrology and evaluation technology of intelligent unmanned system[J]. Aeronautical Science & Technology， 2020， 31（12）： 80-85. （in Chinese）

[7]惠一楠，朱華勇，沈林成.無人機攻防對抗不完全信息動態博弈方法研究[J].兵工自動化， 2009（1）：4-7. Hui Yinan， Zhu Huayong， Shen Lincheng. Study on dynamic game method with incomplete information in UAV attackdefends campaign [J].Ordnance Industry Automation， 2009（1）： 4-7. （in Chinese）

[8]姚宗信.基于多智能體的無人作戰平臺多機協同對抗多目標任務決策方法[J].航空科學技術， 2008， 19（3）： 20-24. Yao Zongxin. Mission decision method of multi-aircraft cooperative attack multi-object in UCAV based on multi-agent[J]. Aeronautical Science & Technology， 2008， 19（3）： 20-24.（in Chinese）

[9]邵將，徐揚，羅德林.無人機多機協同對抗決策研究[J].信息與控制， 2018， 47（3）：93-100. Shao Jiang， Xu Yang， Luo Delin. Cooperative combat decisionmaking research for multi UAVs[J]. Information and Control， 2018， 47 （3）： 93-100. （in Chinese）

[10]陳俠，李光耀，趙諒.多無人機協同打擊任務的攻防博弈策略研究[J].火力與指揮控制， 2018， 43（11）： 17-23. Chen Xia， Li Guangyao， Zhao Liang. Research on UCAV game strategy of cooperative air combat task[J]. Fire Control and Command Control， 2018， 43 （11）： 17-23. （in Chinese）

[11]陳俠，劉敏，胡永新.基于不確定信息的無人機攻防博弈策略研究[J].兵工學報， 2012， 33（12）： 1510-1515. Chen Xia， Liu Min， Hu Yongxin. Research on attack defense game strategy of UAV based on uncertain information[J]. Acta Armamentarii， 2012， 33 （12）： 1510-1515. （in Chinese）

[12]李寶森，王浩軍，穆仕博.基于本體建模的態勢推理[J].航空科學技術， 2021， 32（2）： 80-90. Li Baosen， Wang Haojun， Mu Shibo. Situation reasoning based on ontology modeling[J]. Aeronautical Science & Technology， 2021， 32（2）： 80-90. （in Chinese）

[13]王昱，章衛國，傅莉，等.基于精英改選機制的粒子群算法的空戰納什均衡策略逼近[J].控制理論與應用， 2015， 32（7） ： 857-865. Wang Yu， Zhang Weiguo， Fu Li， et al. Nash equilibrium strategies approach for aerial combat based on elite re-election particleswarmoptimization[J].ControlTheoryand Applications， 2015， 32（7）： 857-865. （ in Chinese）

[14]Zhang Q，Jia H，Predictive current control based on improved particleswarmoptimization[J].Information Technology，2019，66（5）：66-70.

[15]Marchesoni M，Calvini M，Carpita M，et al. PSO-based selfcommissioning of electrical motor drives[J]. IEEE Transactions on Industrial Electronics，2015，62（2）：768-776.

[16]Zulqarnain R M，Saeed M，Ali B，et al. Application of interval valued fuzzy soft max-min decision making method[J]. International Journal of Mathematics Research，2020，9（1）：11-19.

Research on Cooperative Confrontation of UAV Cluster Based on Dynamic Non-Zero-Sum Game

Liu Sha1，Zhang Shuo2，Liu Lu2

1. Equipment Project Management Center of Air Force Equipment Department，Beijing 100038，China

2. Northwestern Polytechnical University，Xi’an 710072，China

Abstract： UAV cluster cooperative confrontation is a hot issue in domestic and international academic research， and dynamic maneuver decision-making is one of the most important research fields of UAV confrontation. In this paper， a decision algorithm based on dynamic non-zero-sum game for UAV cluster cooperative confrontation is proposed. Firstly， the decision set of both sides is determined， and the situation advantage of both sides is constructed by the maneuver factors such as angle， speed and distance. Secondly， the multi-attribute evaluation of UAV cluster maneuver options is carried out， and the dynamic return matrix of both sides is further calculated， and the dynamic non-zero-sum Nash equilibrium maneuver decision-making model is established. Then， an improved particle swarm optimization （PSO） algorithm is proposed to efficiently solve the dynamic non-zero-sum Nash equilibrium maneuver decision-making model and obtain the optimal hybrid strategy. Finally， the superiority of the proposed algorithm is verified by simulation. This paper effectively improves the cooperative confrontation ability of UAV cluster， and provides a theoretical and application basis for the intelligent development of UAV cluster within command， decision and control.

Key Words： UAV cluster； cooperative confrontation； dynamic game； non-zero-sum game； Nash equilibrium

Received： 2021-05-10；Revised： 2021-09-20；Accepted： 2021-11-30 Foundation item： Aeronautical Science Foundation of China （201955053003）