基于矩陣博弈的近距空戰自主機動決策方法

王芳杰, 黃 鵬, 張子俊, 孫 沖

(1. 西北工業集團有限公司, 西安 710005; 2. 西北工業大學, 西安 710072)

0 引 言

當前, 無人機越來越廣泛的應用于各領域, 世界各國都在積極研制無人機, 無人機的出現也將改變未來的空戰態勢, 成為決定戰場的重要力量[1-2]。 其中, 無人機的智能化水平將是無人機技術發展的關鍵, 如何使得無人機能夠進行自主感知、 決策進而完成任務, 具有重要的研究價值[3]。

對于空戰無人機自主決策的研究, 前人主要從基于專家知識庫、 基于博弈論等方向進行了很多探索。 在專家知識庫方面, 王銳平等[4]提出了一種基于知識庫建立的空戰仿真模型, 該模型是一套基于機動動作庫的快速響應自主空戰機動決策系統模型, 可以使無人機根據實時戰場環境, 實現快速自主決策空戰模擬飛行; 李維等[5]提出一種基于知識庫的自主決策方法, 通過動態貝葉斯網絡模擬人對態勢的認知, 通過產生式規則進行決策。 在博弈論方面, 徐光達等[6]提出了一種基于雙矩陣對策的空戰自主機動決策算法, 對傳統的“二人零和有限對策”模型進行了一定的改進; 李守義等[7]提出了一種非完備策略集下的博弈決策方法來解決無人機群的決策序列問題; 趙明明等[8]提出一種采用量子粒子群算法在模糊策略下博弈的納什均衡求解方法, 通過求解模糊子集來獲得博弈支付矩陣, 進而獲得最優選擇策略; 李億俍等[9]針對固定翼無人機目標-攻擊-防御三方集群對抗場景, 提出了一種基于微分博弈的集群攻防決策算法, 實現了包括目標-攻擊-防御三種角色的三方集群攻防空戰決策。

專家知識庫是由專家根據實際空戰中最常用的機動方式總結提出的, 能夠指導無人機進行有效的機動決策。 同時, 空戰雙方的對抗特性決定了其可以利用矩陣博弈的方法對空戰機動決策問題求解。 前人做的很多研究都對無人機的自主決策問題提出了針對性的解決方法, 但無人機采取的機動動作往往是離散的, 沒有考慮成套的戰術動作。 為了提高算法的實用性與真實性, 本文首先構建了無人機與導彈模型, 將成套的機動決策動作納入專家知識庫中, 并將矩陣博弈與構建的專家知識庫系統相結合, 通過態勢函數對空戰形式進行分析, 為無人機提供了一套自主機動決策模型。

1 UCAV六自由度飛行動力學模型搭建

UCAV飛行動力學系統建模是智能空戰研究的基礎。 UCAV飛行動力學系統仿真實際是對其空氣動力特性進行仿真, 計算UCAV的六自由度非線性全量運動方程, 仿真UCAV遠程對抗過程中的力和力矩, 以及大氣環境對飛行的影響, 即建立飛行系統仿真數學模型。

令海平面標準大氣參數為高度h=0 m, 大氣溫度T0=288.15 K,g0=9.806 65 m/s2, 大氣密度1.225 kg/m3, 大氣壓力101 325 N/m2, 則溫度隨高度的變化為

(1)

當h>11 000 m時, 進入同溫層。

壓力的計算公式為

(2)

則密度、 聲速和重力加速度的計算公式為

(3)

(4)

(5)

式中:R=287.05為氣體常數;Re=6 371 000 m為參考地球半徑。

這里給出UCAV于機體坐標系下的運動學以及動力學模型:

UCAV機體軸系包含三個方向的位置、 速度以及歐拉角的計算公式表示成矩陣形式為

(6)

式中:φ,θ,ψ分別為滾轉、 俯仰、 偏航角;p,q,r分別為繞機體軸三軸的角速度, 定義式如下:

(7)

沿機體坐標系三軸的速度u、v、w與滾轉、 俯仰、 偏航角關系如下:

(8)

UCAV于地面坐標系下的位置描述如下:

(9)

2 導彈六自由度動力學模型搭建

2.1 彈體動力學方程

本節將進行未簡化彈體動力學方程的相關模型搭建, 包括:

(1) 氣動力矩計算部分

(10)

(2) 姿態動力學部分

(11)

(3) 姿態運動學部分

(12)

(4) 氣動力計算部分

(13)

(5) 質心動力學部分

(14)

(6) 角度幾何關系補充方程

(15)

特別說明, 對于不同的導彈, 其對應的氣動參數方程解算部分將會出現不同結果。

2.2 導彈攻擊區包絡解算

目前大部分空戰態勢函數的構建單純基于特定假設條件, 存在定量分析的問題, 為了使UCAV近距空戰決策更具有客觀性, 考慮基于導彈攻擊區的實時解算的空戰態勢評估方法。

導彈攻擊區是以攻擊機作為參考, 在滿足一定的攻擊條件下, 攻擊機發射導彈能以一定的概率命中目標的目標初始位置的范圍。 按照目標運動方式的不同, 導彈攻擊區包絡可以分為導彈可攻擊區和導彈不可逃逸區。

影響導彈攻擊區的因素主要有: 導彈的性能、 載機和目標機的運動狀態[10]。 本文以導彈、 載機、 目標的動力學模型為基礎, 實時解算導彈攻擊區包絡。

2.2.1 導引率模型

采用比例導引法, 即控制導彈在飛向目標的過程中, 使導彈速度方向變化率與目標視線變化率成比例, 其模型如下:

(16)

彈上導引頭最大角速度限制為

(17)

2.2.2 導彈運動約束條件

導引頭動態視場角限制為

(18)

導彈飛行時間限制為t≤tmax, 目標影像探測距離限制為

(19)

引信最小遇靶相對接近速度限制為

(20)

導彈飛行高度限制應為Hm∈(0.2～20 km)。

2.2.3 基于黃金分割搜索算法的可發射邊界求解策略

通過黃金分割搜索算法[11]對導彈的可發射策略進行求解。 首先在導彈離軸角允許的范圍內, 確定目標初始位置相對于載機的方向; 預估初始距離范圍[a0,b0], 計算黃金分割點R0=a0+0.168(b0-a0); 以分割點位置為目標初始位置進行仿真, 根據導彈性能約束判斷導彈是否命中目標。 在遠邊界搜索中, 如命中目標, 令a1=R0,b1=b0; 如未命中, 則令a1=a0,b1=R0; 重新循環計算, 直到求出滿足約束|bi-ai|<δ的邊界為止。 近邊界搜索與遠邊界類似, 在命中目標時, 令ai=ai-1,bi=Ri-1, 否則令ai=Ri-1,bi=bi-1。 距離找到后, 改變目標方位角或俯仰角, 重新計算, 直到導彈導引頭可探測的角度搜索完畢為止; 最后, 所記錄的Ri-1值即為導彈可發射區的邊界值。

近界搜索與遠界搜索類似, 只是在迭代中若導彈擊中目標, 則令ai=ai-1,bi=Ri-1; 否則令ai=Ri-1,bi=bi-1。

3 專家戰術機動動作知識庫構建

機動動作庫是專家知識庫的一種, 由高級飛行員或飛行專家通過自身經驗知識指導構建。 優秀的機動動作庫可以為無人機飛行提供高效的成套機動方案, 當無人機在空戰格斗中處于相應態勢時可以直接采用對應的最佳機動動作, 使得無人機在空戰格斗中機動更靈活、 決策更快速。 考慮到飛機載荷與飛機機動能力, 常用的機動動作可以分為進攻性、 防御性以及大進入角三種基本機動形式。

典型的機動動作有筋斗機動, 破 S 機動, 蛇形機動, 迎頭/尾追轉彎, 水平剪刀機動, 英麥曼機動等。 根據常用的空戰機動動作形式, 本文針對不同高度與不同速度條件下的空戰場景, 提出了一種包含多套機動動作的專家知識庫。 首先通過模型實飛獲得真實飛行數據, 并將其代入到UCAV動力學與控制模型中, 求解獲得模型實飛的位置坐標變化曲線。 然后, 通過將位置坐標數據代入到三自由度動力學模型匯總, 反向求解三維過載。 最終將整套機動動作的過載按照時間序列的方式形成專家知識庫。

“基本操縱動作庫”主要是美國國家航空咨詢委員會(NASA)學者根據空戰中最常用的機動方式提出的[12], 主要包括: 最大加速, 最大減速, 穩定飛行, 最大過載爬升, 最大過載俯沖, 最大過載左轉, 最大過載右轉。 這類機動動作的設計主要源于飛機在空間中各個方向采取的機動, 并且加以極限操縱方式便于控制量的表述。 雖然基本操縱動作庫的控制量描述簡單, 并且可以避免典型戰術動作庫存在的矛盾, 可以由這7種機動方式組合出很多機動動作來, 但是這種動作庫的設計比較粗糙, 都采取極限操縱顯然不符合空戰實際。 考慮到決策的實時性、 靈活性的要求, 基本操縱動作庫作為機動決策的動作集模型更具有優勢。 因此, 主要針對基本操縱動作庫進行如下改進完善:

(1) 加入新的基本操縱方式擴充動作庫, 以便能夠組合出空戰中的所有戰術動作。

(2) 對每個動作的操縱進行細化, 不僅是極限操縱。

可得到改進后的基本操縱動作11種: 勻速前飛, 減速前飛, 加速前飛, 左轉, 右轉, 爬升, 俯沖, 左爬升, 右爬升, 左俯沖, 右俯沖, 如圖1所示。

圖1 改進后的基本機動動作庫Fig.1 Improved basic maneuver action library

11種基本操縱動作控制量參數, 如表1所示。 將表中機動參數分別代入飛行器的三自由度質點動力學模型中, 進行一步積分運算后, 便可得到下一時刻目標機動的狀態預估。

表1 基本動作庫控制量參數Table 1 Basic action library control quantity parameters

4 基于矩陣博弈的機動決策模型構建

4.1 空戰機動決策評價函數構建

空戰機動決策評價函數的目的是通過評價函數的構建, 導引無人機穩定接機和有效攻擊占位。 在保持自身態勢優勢的同時, 充分發揮武器系統的戰術使用性能, 快速消滅目標。 基于導彈的作戰使用實際, 本文將構建包含角度、 距離和能量決策因子的決策評價函數, 以期獲得更大態勢優勢。

在進行相對狀態計算和導彈可發射距離解算時, 為了簡化計算過程, 本文忽略攻角對相對狀態產生的影響, 即認為速度方向與 UCAV 機身軸線的方向保持一致。 某態勢下, UCAV與目標機的相對位置關系, 如圖2所示。

圖2 UCAV相對位置關系Fig.2 UCAV relative position relationship

4.1.1 角度決策因子評價函數

空戰過程中, 敵我雙方UCAV空戰角度態勢分析如圖3所示。

圖3 敵我UCAV角度態勢Fig.3 UCAV angle situation

圖中, 假設Vr為我方UCAV的速度矢量;Vb為敵方UCAV的速度矢量;p為我方相對于敵方的方位角;q為敵方的進入角;φRmax為雷達的最大搜索角;φMmax為導彈最大離軸發射角;φMKmax為導彈不可逃逸區最大偏角。 同時, 規定方位角和進入角的方向是由速度矢量方向指向相對距離矢量方向, 且滿足p∈[0, π],q∈[0, π]條件。

當我方UCAV方位角在雷達搜索角范圍內或在導彈攻擊范圍內則占據攻擊優勢; 當敵方UCAV進入角小于我方UCAV逃逸角時, 我方的攻擊優勢較大。 根據上述關系, 可以分別構建我方UCAV方位角及敵方進入角優勢函數。

方位角優勢函數為

(21)

進入角優勢函數為

(22)

要達成最終的攻擊條件, 不能單獨只考慮其中一個角度參數, 需要同時考慮我方UCAV方位角和目標進入角, 因此, 構造角度態勢優勢函數為

ΦA=ΦpΦq

(23)

式中:ΦA∈[0, 1]為角度態勢優勢函數, 態勢值越大優勢越大。

4.1.2 距離決策因子評價函數

UCAV 與目標機相對距離位于當前態勢下導彈可發射距離區間范圍內, 構成導彈的穩定發射條件, 是空戰機動決策的最終目的, 因此需要構建距離決策因子, 以實現對導彈可發射條件的有效導引。 為了提高導彈的命中概率, 當前態勢下的發射距離判斷值, 基于目標逃逸機動預估的導彈可發射距離解算值, 模型定義為

(24)

式中:Dmax和Dmin分別為當前態勢下導彈可發射距離的最大、 最小值。 構建距離決策因子ΦD為

(25)

式中:D表示當前 UCAV 與目標機的相對距離。

4.1.3 能量決策因子評價函數

空戰能量主要包括動能和勢能兩個方面, 分別與速度和高度呈正相關。 一方面, 無人機所具備的能量越大, 其機動能力就越強, 可發揮的潛力就越大, 通過能量轉化, 有助于快速攻擊和優勢機動占位; 另一方面, 高的能量有助于導彈攻擊能力的充分發揮。 當導彈所具備的相對能量越大, 可攻擊的范圍就越大, 因此, 高的能量有助于導彈戰術使用性能的充分發揮。 綜合考慮動能和勢能兩個因素, 從UCAV機動角度構建能量決策因子ΦE為

(26)

式中:vu,hu分別為UCAV速度及高度;vt,ht分別為目標速度及高度。

因此, 導彈的綜合決策態勢函數為

Φ=k1ΦA+k2ΦD+k3ΦE

(27)

式中:k1,k2,k3分別為角度、 距離及能量的態勢權重系數。

4.1.4 導彈攻擊狀態評估的權重因子分級模型

構建基于導彈攻擊狀態評估的權重因子分級自適應模型, 以滿足導彈的作戰實際條件。 在導彈未構成允許發射狀態的前提下, 主要存在以下3種不同攻擊狀態:

(1) 當目標離軸方位角aasp過大, 使方位角p大于導彈發射時刻的最大離軸發射角φMmax, 即p>φMmax, 導彈導引頭無法搜尋、 鎖定目標。

(2) 方位角p滿足離軸發射角限制, 存在可發射區間[Dmin,Dmax]; 相對距離D不在該區間范圍內, 導彈無法有效殺傷目標, 即p≤φMmax,D?[Dmin,Dmax]。

(3) 方位角p滿足離軸發射角限制, 但受到其他因素限制, 當前狀態下, 不存在可發射區間[Dmin,Dmax], 即p≤φMmax, [Dmin,Dmax]=(0, 0)。

在對導彈攻擊狀態評估的基礎上, 設置權值對應規則如表2所示, 導彈攻擊狀態為(1)和(3)時, 其可發射距離解算結果為零, 此時應該給定可發射區間參考值[Dmin,Dmax], 以實現距離決策因子的有效輸出和UCAV的有效導引。

表2 基于導彈攻擊狀態評估的決策因子權重Table 2 Decision factor weights based on missile attack state evaluation

4.2 基于矩陣博弈方法與專家知識庫的近距雙機對抗自主機動決策算法

基于矩陣博弈方法與專家知識庫的近距雙機對抗自主機動決策其基本的思路是首先計算當前態勢下交戰雙方的態勢值, 與專家知識庫中的典型場景進行匹配。 當沒有匹配的戰術動作時, 通過構造衡量對抗的態勢情況的目標函數, 計算每一個決策時刻交戰雙方在當前態勢下的支付矩陣。 然后, 根據最大最小值原理求解支付矩陣的鞍點, 鞍點對應的機動動作即為當前無人機應采取的最佳機動動作。 流程如圖4所示。

圖4 矩陣博弈整體思路流程圖Fig.4 Overall idea flowchart of matrix game

(1) 首先獲得t0時刻我方的位置(x1,y1,z1)與敵方的位置(x2,y2,z2), 代入到構建的態勢函數中, 計算當前狀態下的態勢值, 并與專家戰術動作庫中的機動動作進行匹配。 若有符合當前態勢的機動動作, 則直接執行專家戰術動作庫中的動作。

(2) 當專家戰術動作庫與當前態勢不匹配時, 為了對下一步的機動動作進行預判從而確定我方下一步的機動動作, 要在t0時刻雙方位置態勢的基礎上, 進行一步預測。 通過飛行器三自由度質點動力學模型與機動動作結合, 以當前雙方各自位置作為輸入, 求解每一機動動作對應的下一時刻t1雙方的狀態。

(3) 通過相對運動模型與導彈攻擊包絡形成態勢函數Φ, 將t1預測時刻一方的機動動作i、 另一方的機動動作j對應的雙方位置、 相對角度等作為態勢函數輸入, 求解出機動動作i,j對應的態勢函數值Sij, 其中(i∈m,j∈n), 填入支付矩陣第i行第j列中。 對雙方每一個機動動作組合進行計算, 形成由敵我雙方所有機動動作一一組合的對應的m×n維支付矩陣:

(28)

生成評價矩陣流程如圖5所示。

圖5 評價矩陣生成流程圖Fig.5 Flow chart for generating evaluation matrix

(4) 針對雙方分別建立的各自的支付矩陣, 根據最小最大原則各自選擇分數最大的機動方式, 選擇的結果是達到了博弈論中的平衡點, 即“鞍點”:

(29)

根據該點在支付矩陣中確定敵我雙方機動策略, 進而可以確定我方下一時刻的機動策略與動作。ν即為最大最小理論得解, 亦可以認為ν對應敵我雙方無人機鞍點策略。 假設ν對應敵我雙方策略為aij, 此時aij既是其所在列得最優策略, 也是其所在行的最差策略,i成為我方無人機的鞍點策略,j成為對方無人機的鞍點策略, 如圖6所示。

圖6 鞍點策略Fig.6 Saddle point strategy

圖中, 橫線和縱線組成的交點對應我方和對方無人機的策略, 紅點對應敵我雙方的鞍點策略。

5 仿真結果

本次仿真在北天東坐標系下進行, 設置UCAVA的初始位置狀態為[xA,yA,zA]=[2 000, 2 000, 3 000], 初始速度、 航跡傾角、 航跡偏角為[VA,θA,ψA]=[200, 0, 0]; UCAVB的初始位置狀態為[xB,yB,zB]=[2 000, 2 000, 6 000], 初始速度、 航跡傾角、 航跡偏角為[VB,θB,ψB]=[200, 0, 0]。 仿真中對UCAV的機動條件進行了一定限制, 其中UCAV飛行速度約束為Vlimit∈(90, 300) m/s, 最低飛行高度約束為Hlimit=500 m。 采用上述仿真條件進行為期50 s的雙擊博弈對抗, 其仿真結果如圖7所示。

圖7 UCAV第一次空戰軌跡Fig.7 The trajectory of UCAV’s first air combat

從仿真中可以看出, 雙方UCAV均使用基于本文提出的算法進行了有效的機動決策。 紅藍雙方初始狀態處于藍方在紅方上方占據高度優勢。 紅方試圖攻擊藍方, 因此進行了爬升; 而藍方試圖攻擊紅方, 因此先向左進行機動。 藍方為了規避紅方的攻擊同時能夠占據優勢, 試圖通過右俯沖繞到紅方身后, 紅方也相應的進行了相應的右俯沖的機動動作。 本輪仿真的終止條件為仿真時間到, 并未出現UCAV擊中目標的情況。

仿真過程中交戰雙方態勢值的變化如圖8所示。 從圖中可看出, 紅方UCAV使用本文提出的算法, 在10 s左右, 位于低位的情況下進行爬升以對敵方飛機形成攻擊優勢; 當敵方飛機采用右下俯沖進行躲避時, 同樣采取右下俯沖占據攻擊優勢位置, 保持自身態勢占優。

圖8 第一次交戰過程態勢值變化曲線圖Fig.8 Curve chart of situation value changes during the first engagement

進一步, 設置UCAVA的初始位置狀態為[xA,yA,zA]=[10 000, -3 000, 5 000], 初始速度、 航跡傾角、 航跡偏角為[VA,θA,ψA]=[100, 3, 5]; UCAVB的初始位置狀態為[xB,yB,zB]=[200, 3 000, 3 000], 初始速度、 航跡傾角、 航跡偏角為[VB,θB,ψB]=[200, 0, 0]。 其他仿真條件不變, 進行為期50 s的雙機博弈對抗, 其仿真結果如圖9所示。

圖9 UCAV第二次空戰軌跡Fig.9 The trajectory of UCAV’s second air combat

從仿真中可以看出, 紅藍雙方初始狀態處于迎頭態勢。 紅藍雙方一開始并未進入雷達識別范圍。 雷達識別到雙方后, 藍方試圖攻擊紅方, 紅方試圖躲避藍方的同時占據攻擊態勢, 因此開始進行向下俯沖。 藍方根據算法判斷, 也采取了俯沖機動。 由于紅方為了占據攻擊優勢, 采取了左轉彎機動, 藍方為了避免自身處于劣勢, 采取了爬升機動, 遠離紅方攻擊區。 仿真過程中交戰雙方態勢值的變化如圖10所示。

圖10 第二次交戰過程態勢值變化曲線圖Fig.10 Curve chart of situation value changes during the second engagement

從圖10中可以看出, 最初藍方占據優勢態勢, 此時紅方進行前下方俯沖以躲避攻擊區, 藍方同樣進行前下方俯沖指向紅方, 雙方態勢同時增加; 紅方為躲避攻擊采取左下俯沖機動以提高自身態勢值; 藍方采取爬升機動躲避攻擊區, 但紅方態勢增加更加明顯并超過藍方, 最終仿真結束時紅方反超占據優勢態勢。

由以上兩次仿真可以看出, 雙方在均使用本文提出的算法的基礎上進行了有效的實時機動對抗。 為了驗證算法的實時性, 對50 s機動對抗的全程中每步決策時間的統計如表3所示。 可以看出, 每步機動決策時間短, 符合實時決策的需求。

表3 空戰格斗仿真計算時間Table 3 Air combat simulation calculation time

6 結 論

本文針對UCAV空戰過程中的自主機動決策問題, 提出了一種基于專家知識庫與矩陣博弈的近距空戰博弈對抗方法, 構建了包含離散動作與連續戰術動作的專家戰術機動動作庫, 使得UCAV作出的機動決策動作更具合理性。 同時本文還將其與矩陣博弈方法相結合, 擴展了UCAV的機動決策能力, 有效提升了其自主機動決策的真實性與快速性。 通過仿真實驗證明, 本文所提出的算法有效的提升了UCAV的自主機動決策能力, 其做出的機動動作更符合真實空戰場景要求。