基于RF XGBoost算法的無人機多回合攻防博弈決策

摘 要：為解決不平衡空戰數據集下的無人機多回合博弈對抗問題，提出一種隨機森林-極限梯度提升（random forest eXtreme gradient boosting， RF XGBoost）算法以進行攻防博弈決策研究。通過分析紅藍雙方的運動狀態和空戰信息，建立支付矩陣模型，利用線性歸納法求解當前博弈納什均衡解和期望收益，以藍方最終獲勝作為博弈對抗是否停止的判斷條件。在博弈對抗過程中，首先基于隨機森林（random forest， RF）算法對空戰數據集進行特征降維以提高空戰決策的實時性，然后提出改進的XGBoost算法來處理不平衡數據集，將其用于確定最優機動動作以提高機動決策準確率和提升藍方對抗態勢，并得到下一回合的紅藍空戰信息;之后，根據下一回合的支付矩陣模型重新計算納什均衡解和期望收益，直至藍方獲勝;最后，通過仿真驗證所提算法的可行性和有效性。

關鍵詞： 無人機; 隨機森林; 極限梯度提升; 多回合博弈

中圖分類號： TP 391.9

文獻標志碼： ADOI：10.12305/j.issn.1001 506X.2025.02.18

Multi round attack and defense game decision making of UAVs based on RF XGBoost algorithm

ZOU Shipei， WANG Yuhui*， LIU Hongrui

（College of Automation Engineering， Nanjing University of Aeronautics and Astronautics， Nanjing 211106， China）

Abstract：To solve the multi round game confrontation problem of unmanned aerial vehicles （UAVs） with unbalanced air combat data set， a random forest eXtreme gradient boosting （RF XGBoost） algorithm is proposed to study the attack and defense game decision making. The payment matrix model is established by analyzing the movement status and air combat information of the red and blue sides， then， the linear induction method is considered to solve the current Nash equilibrium solution and expected return of the game， and whether the game confrontation will stop depends on the victory of the blue side. In the process of game confrontation， in the first place， the feature dimensionality reduction of air combat data set is conducted based on the random forest （RF） algorithm to improve the real time performance of air combat decision making. Then， an improved XGBoost algorithm is proposed to deal with the unbalanced data set， which is used to determine the optimal maneuvers to improve the accuracy of maneuver decision making and enhance blue confrontation’s situation， and" air combat information of the next round of red and blue sides is obtained. Furthermore， the Nash equilibrium solution and expected return based on the payment matrix model of the next round can be obtained once again， until the blue side wins. Finally， the feasibility and effectiveness of the proposed algorithm are verified by simulation test.

Keywords：unmanned aerial vehicle （UAV）; random forest （RF）; eXtreme gradient boosting （XGBoost）; multi round game

0 引 言

自主空戰決策是無人機空戰獲勝的關鍵技術之一。目前，關于空戰決策的研究大都只適用于單回合對抗，針對更符合空戰實際的多回合決策問題的研究較少。因此，為使自主決策技術真正進入實戰，開展多回合動態空戰決策研究具有重要的意義^［1-3］。

近年來，博弈論因其本身具有對抗的特點而在空戰最優機動決策研究中取得了不少研究成果。最優機動決策研究方向主要為數學求解、機器搜索以及數據驅動^［4-6］。數學求解主要是根據博弈雙方的分析和空戰結果，求解具有狀態約束的微分對策，以確定最優機動動作。該方法形式簡單，計算量小，但難以滿足復雜的空戰需求^［7-9］。機器搜索可通過建立滾動時域控制模型或引入蒙特卡羅樹搜索算法獲取最優機動動作，該方法更加符合人類思維，但對于復雜度高的實際空戰而言，其決策實時性難以保證^［10-14］。數據驅動主要利用神經網絡、強化學習或決策樹算法，基于數據集訓練模型從而預測最優機動動作。該方法能夠很好地反映戰場態勢和空戰決策的映射關系，但存在高維度數據樣本處理速度慢、訓練耗時較長，以及難以處理不平衡樣本數據集等問題^［15-21］。

針對高維數據訓練耗時較長的問題，隨機森林（random forest， RF）作為以決策樹為基學習器的集成學習算法，能夠對數據特征的重要度進行評估，通過適當地去除重要度較低的特征，能夠在保證預測準確率的同時降低數據集的維數，以提高訓練效率，從而提升機動決策的實時性^［22-24］。對于不平衡數據集的問題，極限梯度提升 （eXtreme gradient boosting， XGBoost） 算法是在梯度提升決策樹 （gradient boosting decision tree， GBDT） 算法的基礎上改進的端到端的提升樹系統^［25-27］，但傳統的XGBoost算法考慮的是數據的整體誤差，對于多數類樣本會給予更多的關注，對于少數類樣本的分類性能難以得到充分訓練。因此，本文在該算法的損失函數上進行改進，以平衡各類樣本的損失函數值，從而提高機動決策準確率。

綜上所述，本文提出一種基于RF特征降維和改進XGBoost的RF XGBoost算法，用于處理多回合空戰動態博弈中的最優機動決策問題。首先，確定多回合空戰博弈決策的流程，并依據當前回合紅、藍空戰信息建立博弈支付矩陣模型，求解當前回合的納什均衡解和期望收益;然后，在下一回合的機動決策前通過RF算法對空戰數據集進行降維，并針對空戰數據集樣本不平衡問題，提出基于樣本比例改進損失函數的XGBoost算法以確定最優機動決策;最后，通過單回合和多回合空戰博弈對抗仿真與傳統決策樹算法的對比仿真驗證所提算法的有效性。

1 問題描述

結合實際空戰問題和博弈論，將雙方視為對抗的玩家{A，B}。其中，A為藍方，無人機集合為Blue={1，2，…，i，…，m}，m為藍方的無人機總數;藍方可采用的策略集合為SA={sA1，sA2，…，sAp，…，sAr}，r為藍方可采取的策略點數;B為紅方，無人機集合為Red={1，2，…，j，…，n}，n為紅方的無人機總數;紅方可采用的策略集合為SB={sB1，sB2，…，sBq，…，sBl}，l為紅方可采取的策略總數。考慮紅藍無人機的多回合空戰對抗，其中第k回合至第k+1回合的博弈對抗過程如圖1所示。

由圖1可知，針對第k回合至第k+1回合的博弈對抗，首先根據空戰雙方信息由文獻［28］中的空戰優勢函數計算得到第k回合的紅藍雙方的空戰信息，然后利用線性規劃法求解當前回合的納什均衡和期望收益。若當前回合藍方期望收益小于0，則利用訓練好的XGBoost模型進行最優機動決策，得到下一回合的機動動作，重新計算空戰信息，再次求解納什均衡和期望收益，重復上述步驟直至藍方期望收益大于0，即藍方取得勝利。

1.1 博弈模型建立

假設紅藍雙方共進行K回合的攻防博弈，且在k－1回合內藍方均未取得勝利，第k回合雙方無人機位置、速度、俯仰角和偏航角信息均為已知。

對于第k+1回合，建立藍方的收益支付函數為

f^k+1Apq=∑mi=1∑nj=1p^k+1iju^k+1Aij－∑nj=1∑mi=1q^k+1jiu^k+1Bji（1）

式中：p^k+1ij=1表示藍方第i架無人機攻擊紅方第j架無人機;p^k+1ij=0則表示沒有攻擊，q^k+1ji同理;u^k+1Aij為第k+1回合藍方總體優勢函數，u^k+1Bji為第k+1回合紅方總體優勢函數。

由此可建立藍方空戰支付矩陣為

f^k+1A=f^k+1A11…f^k+1A1q…f^k+1A1l

……

f^k+1Ap1…f^k+1Apq…f^k+1Apl

……

f^k+1Ar1…f^k+1Arq…f^k+1Arl（2）

式中：p和q分別為藍方和紅方的第p個和第q個策略。

將單矩陣博弈問題轉化為線性規劃問題，可得到納什均衡解的求解如下：

vk+1=maxx∈A uk+1（x）

s.t. uk+1（x）=min1≤q≤l∑rp=1f^k+1Apqx^k+1p

∑rp=1f^k+1Apqx^k+1pfuk+1（x）， q=1，2，…，l

x^k+11+x^k+12+…+x^k+1r=1

x^k+1p≥0， p=1，2，…，r（3）

式中：uk+1表示第k+1回合紅方的期望收益;x^k+1p表示第k+1回合紅方的混合策略納什均衡。

根據無人機從第k回合到第k+1回合的變化過程，即可得到k+1回合的納什均衡解。若判斷藍方無法獲勝，選擇最優機動以提升下一回合獲勝的可能性，直至最終藍方期望收益大于0并取得勝利。

1.2 機動決策

本文使用的無人機機動動作庫，包括勻速前飛、左轉彎、右轉彎、加速前飛、減速前飛、俯沖和爬升7種基本機動動作^［29］。最優機動決策通常選用分類與回歸樹 （classification and regression tree， CART） 決策樹算法，藍方無人機的位置（xA，yA，zA）、速度VA、俯仰角θA和偏航角A以及紅方無人機的位置（xB，yB，zB）、速度VB、俯仰角θB和偏航角B構成決策樹空戰數據樣本集D的輸入特征E，E={e1，e2，e3，e4，e5，e6，e7，e8};7種機動動作構成決策樹樣本集D的輸出屬性W，W={w1，w2，w3，w4，w5，w6，

w7}，即D={E，W}。輸入特征E與紅藍雙方的空戰信息關系如表1所示，輸出屬性W與機動動作關系如表2所示。

根據表1中紅藍雙方的輸入信息，通過采用決策樹優化算法可從表2列出的機動動作中確定最優機動動作，即機動決策。但由于傳統算法存在建模時間長、不平衡空戰數據集決策準確率低等問題，本文考慮采用基于決策樹的RF降維和改進XGBoost算法相結合的算法進行多回合空戰對抗的最優機動動作的確定。

2 RF特征選擇

由于存在高維空戰數據樣本集訓練時間長的問題，本文采用RF算法通過計算每個輸入特征的重要性大小對初始空戰數據集進行特征降維處理，即將每個輸入特征的重要性大小進行排序，刪除對數據集貢獻較小的特征，再將降維后的空戰數據集作為初始數據集進行訓練。

使用RF進行變量重要評分（variable importance mea sures， VIM）的基本思想即獲取每個特征在RF的每棵樹上的貢獻大小，取平均值，最后進行比較。貢獻度通常用Gini指數作為評價指標來進行衡量^［30］。

若空戰數據集中有J個輸入特征e1，e2，…，ej，…，eJ，M個輸出機動動作，RF模型中有O棵決策樹，每個特征ej的重要度指標即為VIM^（Gini）j，定義為第j個特征在RF所有決策樹中節點分裂不純度的平均改變量。

第o棵樹的節點q的Gini指數的計算公式為

Gini^（o）jq=∑Mm=1p^（o）jqm（1－p^（o）jqm）=

∑Mm=1p^（o）jqm－∑Mm=1（p^（o）jqm）2=

1－∑Mm=1（p^（o）jqm）2（4）

式中：p^（o）jqm表示第o棵樹節點q中第j個特征的機動動作編號m所占比例，且有∑Mm=1p^（o）jqm=1。

特征ej在第o棵樹節點q的重要性（即節點q分枝前后的Gini指數變化量）為

VIM^{（Gini）（o）}jq=Gini^（o）jq－Gini^（o）jq1－Gini^（o）jq2（5）

式中：Gini^（o）jq1和Gini^（o）jq2分別表示節點q分枝后的兩個新節點的Gini指數。

若特征ej在決策樹o中出現的節點集合為Q，則ej在第o棵樹的重要性為

VIM^{（Gini）（o）}j=∑q∈QVIM^{（Gini）（o）}jq（6）

RF共有O棵決策樹，則特征ej的重要性為

VIM^（Gini）j=∑Oo=1VIM^{（Gini）（o）}j（7）

綜上，即可得到空戰樣本集中每個輸入特征ej的重要性大小，排序后去除空戰樣本集D中重要性較小的輸入特征以實現特征降維，在保證準確率的同時提高模型訓練速度，以滿足實戰要求。

3 改進XGBoost算法

通過RF算法對空戰數據集進行特征降維處理后，將處理后的數據集作為XGBoost算法的輸入來訓練模型，并通過模型預測下一回合藍方無人機的最優機動動作。

傳統的XGBoost算法^［14］以降低整體誤差為目標，因此在模型學習過程中更多地關注多數類樣本的分類預測性能，這將導致模型對少數類樣本的分類性能不能得到充分訓練。因此，本文提出一種損失函數系數法對此問題進行處理，使樣本數量與該類樣本的損失函數大小呈負相關。

（1） 計算機動動作類別占比um：

um=zmN（8）

式中：m為第m個機動動作;zm為第m個機動動作在空戰數據集中的數量;N為數據集中所有機動動作樣本數。

（2） 定義損失函數系數

對不平衡數據集進行處理的一個簡單有效的方法往往是對式（8）取倒數，這樣可以顯著提高少數類樣本的損失函數系數，但同時也會導致多數類樣本系數過小，進而對模型預測結果起反作用，降低模型預測準確率。因此，這里將損失函數系數βm定義為

βm=αe^－um（9）

式中：α為適應參數，適當調整α可保證βm數值的合理性。這里根據空戰數據集考慮設定α=1.5。且通過分析可知，式（9）可以保證新的損失函數二階可導，滿足算法要求。

（3） 損失函數

對于多分類問題，XGBoost算法常選用的損失函數為交叉熵損失，對于第n個樣本，其損失函數為

l（wn，w^n）=－∑Mm=1wn（m）·logwn^（m）（10）

式中：wn（m）為樣本n屬于第m個機動動作的真實概率值，w^^（m）n為樣本n屬于第m個機動動作的預測概率值，log為任意底數的對數。

考慮式（9），在式（10）的基礎上得到改進后的損失函數為

l（wn，w^n）=－∑Mm=1βm·wn（m）·log w^n（m）（11）

將損失函數作用于XGBoost算法的目標函數中

Obj=∑Nn=1l（wn，w^n）+∑Tt=1Ω（ft）（12）

式中：∑Nn=1l（wn，w^n）為損失函數;∑Tt=1Ω（ft）為正則化項，其作用主要是控制樹的復雜度，防止模型過擬合。

XGBoost算法遵從前向分步加法，式（12）中的損失函數可寫為

l（wn，w^n）=l（wn，w^^（T-1）n+fT（en））（13）

式中：w^^（T－1）n為前T－1棵決策樹的總預測值;fT（en）為第T棵決策樹的預測值。

將式（13）進行泰勒展開，可進一步寫為

l（wn，w^^（T-1）n+fT（en））≈l（wn，w^^（T-1）n）+

gnfT（en）+12hnf2T（en）（14）

式中：gn=w^^（T－1）l（wn，w^^（T－1）n）和hn=2w^^（T－1）l（w^n，w^^（T－1）n）分別為損失函數對w^^（T－1）n的一階導和二階導。

對于第T顆樹的預測，w^^（T－1）n為已知值，所以l（wn，w^^（T-1）n）和前T－1顆樹的正則化值均為常數值，對目標函數的優化沒有影響，因此去掉常數項后，式（12）可改寫為

Obj^（T）≈∑Nn=1［gnfT（en）+12hnf2T（en）］+Ω（fT）（15）

式（15）中的正則化項定義為

Ω（fT）=γS+12λ∑Ss=1w2s（16）

式中：γ和λ為懲罰項系數;S為第T顆樹的葉子節點個數;ws為第s個葉子節點的取值。

定義Is={τ|d（en）=s}表示第s個葉子節點的所有樣本τ的集合，Gs=∑τ∈Isgτ，Hs=∑τ∈Ishτ分別表示第s個葉子節點的所有樣本的損失函數一階導數值和二階導數值之和，式（15）可以寫為

Obj^（T）=∑Ss=1［Gsws+12（Hs+λ）w2s］+γS（17）

由于損失函數均為凸函數，可知在Obj^（T）/ws=0時，目標函數可取得最小值，此時每個葉子節點的最優值為

w*s=－GsHs+λ（18）

通過將系數βm作用于各個機動動作編號的損失函數，可以提高樣本數較少的機動動作編號的損失函數值，同時適當降低樣本數較多的機動動作編號的損失函數值，即改變各個機動動作編號樣本的損失函數一階、二階導數值，可以適當調整模型對于不同數量的機動動作編號樣本的關注度，最終改變決策樹的葉子節點的值，即樣本的概率預測值，從而提高不平衡空戰數據集的機動動作預測概率，進而確定最優機動決策。

隨后，藍方無人機執行確定的最優機動決策，以提升藍方態勢，然后根據下一回合的支付矩陣模型重新計算納什均衡解和期望收益，直至藍方獲勝。

4 仿真與分析

為了驗證本文所提方法的有效性，下面將分別進行單回合和多回合攻防博弈仿真，其中多回合為藍方2架無人機（A1，A2）對抗紅方4架無人機（B1，B2，B3，B4）。

4.1 單回合博弈算法仿真

4.1.1 RF特征降維

給定初始空戰數據樣本集D，其中以表1和表2作為樣本集D的輸入特征和輸出屬性，根據表1將藍方無人機位置（xA，yA，zA）視為特征e11，e21，e31，速度VA視為特征e2，俯仰角θA和偏航角A視為特征e3和e4，紅方無人機同理，可以得到12個輸入特征。將樣本集D作為RF算法的輸入，計算每個特征的重要度大小，將其排序后可以得到圖2。

由圖2可知特征e2，e7，e4和e11（即藍方無人機速度VA），紅方無人機俯仰角θB，藍方無人機偏航角A和位置xA的重要性相對于其他特征較小，即對數據集的貢獻度較小，可將其從初始數據集中刪除并生成新的數據集D′，其特征數共有8個，表3和表4分別給出了初始數據集D和新數據集D′中的部分數據，表中編號為無人機機動動作編號，與表2中的數字標號相對應。將初始數據集D和新數據集D′分別作為XGBoost算法的輸入數據集進行訓練，得到兩者的平均訓練時間如表5所示。

由表5可知，根據特征重要度進行適當的特征降維后，模型訓練時間提高了21.77%，說明所提算法能夠有效提高模型訓練速度，保證了空戰時進行實時決策的能力。

4.1.2 XGBoost模型預測

將初始數據集D和降維后的數據集D′分別作為原始XGBoost算法的輸入數據集，再將D′作為改進后XGBoost算法的輸入數據集進行訓練，并將數據集中20%的樣本作為測試集，進行最優機動動作預測，得到的預測結果如圖3所示。

由圖3（a）和圖3（b）可知，將初始空戰數據集根據RF算法特征降維后，XGBoost算法的最優機動決策的預測準確率從93.78%提高到95.34%，說明對空戰數據集特征降維能夠在提高模型訓練效率的同時保證預測準確率。由圖3（b）和圖3（c）可知，改進后XGBoost算法相較于改進前XGBoost算法的機動動作預測準確率從95.34%提高到了98.45%，提升較為明顯，圖4給出了兩者對于測試集預測的混淆矩陣。

圖4中，混淆矩陣的橫坐標為XGBoost模型預測的機動動作編號，縱坐標為測試集中真實的機動動作編號，每行的數據總數表示了測試集中該機動動作的數量，對角線上代表預測正確的機動動作的數量。由圖4（b）可知，機動動作4（即加速前飛動作）的樣本數明顯多于其余機動動作，對于此不平衡樣本集，改進后的XGBoost算法提高了對少數類樣本的預測概率，并且隨著數據集維數的增大，算法性能提升效果更加明顯，對于解決樣本不平衡問題可以起到一定作用。

4.2 多回合攻防博弈

設定藍方無人機（A1，A2）的價值集合vaA={58，55}，攻擊命中率集合pA={0.60，0.62};紅方無人機（B1，B2，B3，B4）的價值集合vaB={46，50，48，50}，攻擊命中率集合pB={0.58，0.56，0.56，0.60}。假設紅藍雙方無人機每次攻擊均只能鎖定一個目標，根據文獻［18］中的優勢函數定義，可得到藍方無人機的初始狀態博弈支付矩陣為

-0.268－0.254－0.255－0.241－0.255－0.241－0.241－0.227－0.254－0.241－0.241－0.227－0.241－0.227－0.227－0.213

－0.267－0.253－0.254－0.240－0.253－0.240－0.240－0.226－0.253－0.239－0.240－0.226－0.239－0.226－0.226－0.212

－0.273－0.259－0.259－0.246－0.259－0.245－0.246－0.232－0.259－0.245－0.245－0.232－0.245－0.231－0.232－0.218

－0.270－0.256－0.257－0.243－0.257－0.243－0.243－0.229－0.256－0.242－0.243－0.229－0.243－0.229－0.229－0.215

－0.267－0.253－0.254－0.240－0.254－0.240－0.240－0.226－0.253－0.240－0.240－0.226－0.240－0.226－0.226－0.212

－0.266－0.252－0.253－0.239－0.252－0.239－0.240－0.225－0.252－0.238－0.239－0.225－0.238－0.225－0.225－0.211

－0.272－0.258－0.258－0.245－0.258－0.244－0.245－0.231－0.258－0.244－0.244－0.231－0.244－0.230－0.231－0.217

－0.269－0.255－0.256－0.242－0.256－0.242－0.242－0.228－0.255－0.241－0.242－0.228－0.242－0.228－0.228－0.214

－0.273－0.259－0.259－0.245－0.259－0.245－0.246－0.232－0.259－0.245－0.245－0.232－0.245－0.231－0.232－0.218

－0.272－0.258－0.258－0.244－0.258－0.244－0.244－0.231－0.258－0.244－0.244－0.230－0.244－0.230－0.230－0.217

－0.277－0.263－0.264－0.250－0.264－0.250－0.250－0.236－0.253－0.250－0.250－0.236－0.250－0.236－0.236－0.222

－0.275－0.261－0.261－0.247－0.261－0.247－0.248－0.234－0.261－0.247－0.247－0.233－0.247－0.233－0.234－0.220

－0.270－0.256－0.257－0.243－0.256－0.243－0.243－0.229－0.256－0.242－0.243－0.229－0.243－0.229－0.229－0.215

－0.269－0.255－0.255－0.242－0.255－0.241－0.242－0.228－0.255－0.241－0.242－0.228－0.241－0.227－0.228－0.214

－0.275－0.261－0.261－0.247－0.261－0.247－0.248－0.234－0.261－0.247－0.247－0.233－0.247－0.233－0.234－0.220

－0.272－0.258－0.259－0.245－0.258－0.245－0.245－0.231－0.258－0.244－0.245－0.231－0.244－0.231－0.231－0.217

根據魯棒線性規劃法求解上述博弈支付矩陣，得到的納什均衡解為x*=（0，0，0，0，0，0，0，0，0，0，1，0，0，0，0，0），期望收益為-0.220 5。此時期望收益小于0，藍方不占優勢，因此紅藍雙方進行多回合攻防博弈。

設置每回合博弈對抗時間Δt為1 s，最大仿真時間T=80Δt，且當藍方無人機期望收益大于0或者達到最大仿真時間時結束對抗。分別采用未進行降維處理的改進XGBoost算法、利用RF算法特征降維后的改進XGBoost算法、利用RF算法特征降維后的傳統決策樹算法進行博弈對抗的平均仿真時間如表6所示，基于改進XGBoost算法的博弈對抗紅藍雙方位置軌跡如圖5所示，藍方期望收益變化如圖6所示?；趥鹘y決策樹的博弈對抗紅藍雙方位置軌跡如圖7所示，藍方期望收益變化如圖8所示。

由表6可以看出，在RF算法對數據集進行降維處理后，基于改進XGBoost算法的多回合博弈對抗的時間減少了27.5%，且相較于傳統的決策樹算法，對抗時間減少了18.5%。由圖5和圖6可知，在對抗初期，相互接近的過程由于距離較遠，只進行較小幅度的爬升和俯沖機動，藍方期望收益變化并不明顯。隨后，藍方為了獲得勝利使自身期望收益增大，在紅藍雙方接近后、藍方無人機架次不占優的情況下，藍方的最優機動選擇不斷加速和爬升以獲取高度優勢。最后，經過46個回合，藍方期望收益從-0.220 5增加到了0.001 2，期望收益大于0，即表示藍方在博弈對抗過程中開始占優，表明藍方能夠在空戰中取得勝利。由圖7和圖8可知，在采用基于傳統決策樹的博弈對抗中，藍方獲勝所需的回合數為63，說明所提算法相較于傳統決策樹算法能夠縮短藍方獲勝的對抗時間，提高空戰對抗中最優機動決策的實時性。

根據上述仿真結果可知，藍方無人機采用的基于RF XGBoost算法的無人機多回合攻防博弈方法相較于采取一般決策的紅方無人機能夠更快地獲取空戰態勢優勢，且對于高維度的空戰數據集能夠保證對抗的實時性，因此藍方能在無人機架次不占優的情況下，逐漸掌握戰場的主動權。

5 結 論

本文針對無人機的多回合空戰博弈對抗問題，提出了一種基于RF XGBoost算法的多回合攻防博弈決策方法。該方法根據紅藍雙方的運動狀態和空戰信息建立了支付矩陣模型，通過求解納什均衡和期望收益，以此為依據判斷博弈能否停止，然后利用RF算法對空戰數據集進行特征降維，建立改進的XGBoost模型處理不平衡數據集下的最優機動決策。所提算法在單回合博弈仿真和多回合攻防博弈仿真中均獲得了符合設計要求的最優機動決策，且相較于傳統決策樹算法減小了獲勝所需的回合數。所提算法不僅為多回合空戰博弈決策提供了新的解決思路，也為其他領域的博弈推演問題提供了有價值的思考。

參考文獻

［1］LI B， HUANG J Y， BAI S X， et al. Autonomous air combat decision making of UAV based on parallel self play reinforcement learning［J］. CAAI Transactions on Intelligence Technology， 2022， 8（1）： 64-81.

［2］DONG Y Q， AI J L， LIU J Q. Guidance and control for own aircraft in the autonomous air combat： a historical review and future prospects［J］. Proceedings of the Institution of Mechanical Engineers， Part G： Journal of Aerospace Engineering， 2019， 233（16）： 5943-5991.

［3］ZHANG J D， YU Y F， ZHENG L H， et al. Situational continuity based air combat autonomous maneuvering decision making［J］. Defence Technology， 2023， 29（11）： 66-79.

［4］HE Y X， DU Z J， HUANG L W， et al. Maneuver decision making method for ship collision avoidance in Chengshantou traffic separation scheme waters［J］. Applied Sciences， 2023， 13（14）： 8437.

［5］LU H C， WU B Y， CHEN J Q. Fighter equipment contribution evaluation based on maneuver decision［J］. IEEE Access， 2021， 9： 132241-132254.

［6］董一群， 艾劍良. 自主空戰技術中的機動決策： 進展與展望［J］. 航空學報， 2020， 41（S2）： 4-12.

DONG Y Q， AI J L. Decision making in autonomous air combat： review and prospects［J］. Acta Aeronautica et Astronautica Sinica， 2020， 41（S2）： 4-12.

［7］AUSTIN F， CARBONE G， HINZ H， et al. Game theory for automated maneuvering during air to air combat［J］. Journal of Guidance， Control， and Dynamics， 1990， 13（6）： 1143-1149.

［8］ARDEMA A， HEYMANN M， RAJAN N. Analysis of a combat problem： the turret game［J］. Journal of Optimization Theory and Applications， 1987， 54（1）： 23-42.

［9］WONG R E. Some aerospace differential games［J］. Journal of Spacecraft and Rockets， 2012， 4（11）： 1460-1465.

［10］VIRTANEN K， KARELAHTI J， RAIVIO T. Modeling air combat by a moving horizon influence diagram game［J］. Journal of Guidance， Control， and Dynamics， 2012， 29（5）： 1080-1091.

［11］譚目來， 丁達理， 謝磊， 等. 基于模糊專家系統與IDE算法的UCAV逃逸機動決策［J］. 系統工程與電子技術， 2022， 44（6）： 1984-1993.

TAN M L， DING D L， XIE L， et al. UCAV escape maneuvering decision based on fuzzy expert system and IDE algorithm［J］. Systems Engineering and Electronics， 2022， 44（6）： 1984-1993.

［12］傅莉， 謝福懷， 孟光磊， 等. 基于滾動時域的無人機空戰決策專家系統［J］. 北京航空航天大學學報， 2015， 41（11）： 1994-1999.

FU L， XIE F H， MENG G L， et al. An UAV air combat decision expert system based on receding horizon control［J］. Journal of Beijing University of Aeronautics and Astronautics， 2015， 41（11）： 1994-1999.

［13］ZHANG H P， ZHOU H， WEI Y J， et al. Autonomous maneuver decision making method based on reinforcement learning and Monte Carlo tree search［J］. Frontiers in Neurorobotics， 2022， 16： 996412.

［14］何旭， 景小寧， 馮超. 基于蒙特卡羅樹搜索方法的空戰機動決策［J］. 空軍工程大學學報（自然科學版）， 2017， 18（5）： 36-41.

HE X， JING X N， FENG C. Air combat maneuver decision based on MCTS method［J］. Journal of Air Force Engineering University（Natural Science Edition）， 2017， 18（5）： 36-41.

［15］TENG T H， TAN A H， TAN Y S， et al. Self organizing neural networks for learning air combat maneuvers［C］∥Proc.of the International Joint Conference on Neural Networks， 2012.

［16］LI B， LIANG S Y， CHEN D Q， et al. A decision making method for air combat maneuver based on hybrid deep learning network［J］. Chinese Journal of Electronics， 2022， 31（1）： 107-115.

［17］張宏鵬， 黃長強， 軒永波， 等. 基于深度神經網絡的無人作戰飛機自主空戰機動決策［J］. 兵工學報， 2020， 41（8）： 1613-1622.

ZHANG H P， HUANG C Q， XUAN Y B， et al. Maneuver decision of autonomous air combat of unmanned combat aerial vehicle based on deep neural network［J］. Acta Armamentarii， 2020， 41（8）： 1613-1622.

［18］ZHU J D， FU X W， QIAO Z. UAVs maneuver decision making method based on transfer reinforcement learning［J］. Computational Intelligence and Neuroscience， 2022， 2022（1）： 2399796.

［19］章勝， 周攀， 何揚， 等. 基于深度強化學習的空戰機動決策試驗［J］. 航空學報， 2023， 44（10）： 122-135.

ZHANG S， ZHOU P， HE Y， et al. Air combat maneuver decision making test based on deep reinforcement learning［J］. Acta Aeronautica et Astronautica Sinica， 2023， 44（10）： 122-135.

［20］楊晟琦， 田明俊， 司迎利， 等. 基于分層強化學習的無人機機動決策［J］. 火力與指揮控制， 2023， 48（8）： 48-52.

YANG S Q， TIAN M J， SI Y L， el al. Research on UAV maneuver decision making based on hierarchical reinforcement learning［J］. Fire Control amp; Command Control， 2023， 48（8）： 48-52.

［21］ERNEST N， COHEN K， KIVELEVITCH E， et al. Genetic fuzzy trees and their application towards autonomous training and control of a squadron of unmanned combat aerial vehicles［J］. Unmanned Systems， 2015， 3（3）： 185-204.

［22］BLUMHAGEN R Z， SCHWARTZ D A. Identification of influe ntial rare variants in aggregate testing using random forest importance measures［J］. Annals of Human Genetics， 2023， 87（4）： 184-195.

［23］程紹馳， 游光榮. 基于改進隨機森林算法的評估指標精簡方法研究［J］. 系統工程與電子技術， 2023， 45（7）： 2108-2113.

CHENG S C， YOU G R. Research on the method of simplifying evaluation index based on improved random forest algorithm［J］. Systems Engineering and Electronics， 2023， 45（7）： 2108-2113.

［24］DANIEL J L， ZHU R Q， CUI Y F， et al. Dimension reduction forests： local variable importance using structured random fo rests［J］. Journal of Computational and Graphical Statistics， 2022， 31（4）： 1104-1113.

［25］CHEN T Q， CARLOS G. XGBoost： a scalable tree boosting system［C］∥Proc.of the 22nd ACM SIGKDD International Conference on Knowledge Giscovery and Data Mining， 2016.

［26］VADHWANI D Y， DEVENDRA T. Prediction of extent of da mage in vehicle during crash using improved XGBoost model［J］. International Journal of Crashworthiness， 2023， 28（3）： 299-305.

［27］REN Q X， WANG J G. Research on enterprise digital level classification based on XGBoost model［J］. Sustainability， 2023， 15（3）： 2699.

［28］王琳蒙. 非完備信息下的無人機空戰動態博弈決策研究［D］. 南京： 南京航空航天大學， 2023.

WANG L M. Research on dynamic game decision making of UAV’s air combat under incomplete information［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2023.

［29］劉昊天. 無人機空戰對抗博弈決策研究［D］. 南京： 南京航空航天大學， 2022.

LIU H T. Research on game decision of UAV air combat confrontation［D］. Nanjing： Nanjing University of Aeronautics and Astronautics， 2022.

［30］STROBL C， BOULESTEIX A L， KNEIB T， et al. Conditional variable importance for random forests［J］. BMC Bioinformatics， 2008， 9（1）： 307.

作者簡介

鄒世培（2000—），男，碩士研究生，主要研究方向為動態博弈決策。

王玉惠（1980—），女，教授，博士，主要研究方向為飛行控制、智能決策控制。

劉鴻睿（1999—），男，碩士研究生，主要研究方向為空戰決策效能評估。