異型無人機(jī)空戰(zhàn)對抗協(xié)同機(jī)動(dòng)決策研究

牛軍鋒 甘旭升 魏瀟龍 吳亞榮 楊 芮

無人作戰(zhàn)飛機(jī)（unmanned combat aerial vehicle,UCAV）作為未來空戰(zhàn)的重要角色,實(shí)現(xiàn)其空戰(zhàn)過程智能化是各軍事強(qiáng)國研究的關(guān)鍵方向[1].美國作為航空和人工智能技術(shù)最發(fā)達(dá)的國家,在無人作戰(zhàn)系統(tǒng)的研究上同樣走在世界最前沿.早在2016 年,美國的智能空戰(zhàn)模擬系統(tǒng)便能以100%的概率戰(zhàn)勝退役的空軍上校[2].2017 年3 月,美國空軍與洛·馬公司基于無人化的F-16 對“忠誠僚機(jī)”概念關(guān)鍵性技術(shù)展開驗(yàn)證,包括開放式系統(tǒng)架構(gòu)的軟件集成環(huán)境和無人機(jī)的自主任務(wù)規(guī)劃功能,旨在實(shí)現(xiàn)有人機(jī)與無人機(jī)的協(xié)同作戰(zhàn)[3-4].在美軍的2013 版《無人機(jī)系統(tǒng)綜合路線圖》中,更是計(jì)劃到2030 年前后實(shí)現(xiàn)無人機(jī)編隊(duì)的自主協(xié)同偵察與攻擊功能.因此,我國同樣應(yīng)當(dāng)加大無人作戰(zhàn)飛機(jī)自主決策技術(shù)的研究,否則難以在未來的空戰(zhàn)場上取得優(yōu)勢.

無人機(jī)協(xié)同空戰(zhàn)對抗既涉及空中的自主避撞,又涉及戰(zhàn)術(shù)的協(xié)同機(jī)動(dòng)決策,相對單機(jī)對抗和同型機(jī)協(xié)同機(jī)動(dòng)決策具有更大的技術(shù)難度和復(fù)雜度.從國內(nèi)外的研究現(xiàn)狀來看,主要仍基于同機(jī)型的對抗決策或協(xié)同機(jī)動(dòng)決策研究,對于異型機(jī)之間的協(xié)同機(jī)動(dòng)決策還仍有不足.NGUYEN 使用線性二階模型構(gòu)建無人機(jī)編隊(duì)模型,使用一致性理論設(shè)計(jì)集群的編隊(duì)控制算法[5],但該研究主要關(guān)注動(dòng)目標(biāo)的協(xié)同追蹤問題,對于更復(fù)雜的協(xié)同控制決策則并沒有涉及.ZHEN 提出了一種智能自組織算法[6],該算法可實(shí)現(xiàn)多無人機(jī)對抗的目標(biāo)分配問題,主要方法是將全局問題分解為局部問題并進(jìn)行優(yōu)化計(jì)算.但該研究主要關(guān)注對地目標(biāo)的協(xié)同攻擊,態(tài)勢相對簡單.朱星宇基于Q-Learning 算法構(gòu)建無人機(jī)的機(jī)動(dòng)決策模型[7],而無人機(jī)之間的協(xié)同目標(biāo)分配則是使用納什均衡理論,由此實(shí)現(xiàn)多無人機(jī)空戰(zhàn)機(jī)動(dòng)決策.研究中既考慮了沖突解脫問題,也考慮了態(tài)勢問題,具有較好的參考價(jià)值.魏瀟龍基于改進(jìn)蟻群算法研究了無人機(jī)的自主沖突解脫問題[8],具有一定參考價(jià)值.

本文對異型機(jī)之間的空戰(zhàn)協(xié)同決策問題展開研究,主要分析電子干擾無人機(jī)與空戰(zhàn)無人機(jī)之間的自主協(xié)同決策方法.在探討電子干擾伴隨支援戰(zhàn)術(shù)機(jī)動(dòng)方法基礎(chǔ)上,基于一致性理論設(shè)計(jì)了無人機(jī)之間的編隊(duì)控制方法,使用蟻群算法實(shí)現(xiàn)我方無人機(jī)之間的沖突解脫與戰(zhàn)術(shù)機(jī)動(dòng),使用改進(jìn)的Q-learning算法設(shè)計(jì)敵對無人機(jī)的空戰(zhàn)機(jī)動(dòng)決策算法,最后通過空戰(zhàn)仿真驗(yàn)證協(xié)同機(jī)動(dòng)算法的有效性.

1 異型無人機(jī)協(xié)同空戰(zhàn)環(huán)境建模

1.1 異型無人機(jī)協(xié)同戰(zhàn)法描述

同型機(jī)之間的空戰(zhàn)協(xié)同對抗主要是通過長僚機(jī)之間的協(xié)同空中戰(zhàn)術(shù)機(jī)動(dòng),積極構(gòu)成我方攻擊態(tài)勢上的優(yōu)勢,并使敵機(jī)陷入戰(zhàn)術(shù)被動(dòng),實(shí)現(xiàn)戰(zhàn)損比的最大化.在這過程中,長僚機(jī)均為攻擊主體,目的都是為了使用火控雷達(dá)鎖定敵機(jī),并構(gòu)成導(dǎo)彈發(fā)射條件.異型機(jī)的協(xié)同空戰(zhàn)對抗則有明確的任務(wù)分工,由攻擊型無人機(jī)擔(dān)負(fù)制空作戰(zhàn)任務(wù),伴隨機(jī)則提供一定支援力量.根據(jù)無人機(jī)性能的不同,無人機(jī)提供的力量支援也有所不同,本文主要探討電子干擾無人機(jī)作為僚機(jī)時(shí)的協(xié)同制空作戰(zhàn)情景.

電子干擾無人機(jī)在與殲擊無人機(jī)協(xié)同作戰(zhàn)過程中,主要位于空戰(zhàn)區(qū)域的后方提供電子干擾支援,通過陣位的變換使自己處于較為安全的境地,使敵機(jī)處于電子干擾范圍之內(nèi),降低其作戰(zhàn)效能,提高己方戰(zhàn)損比.殲擊無人機(jī)在作戰(zhàn)過程中應(yīng)當(dāng)積極占據(jù)有利態(tài)勢,將敵機(jī)置于火控雷達(dá)照射之下,避免自身被敵方火控雷達(dá)鎖定.在無人機(jī)的協(xié)同對抗過程中,還應(yīng)當(dāng)兼顧任務(wù)編組之間的防相撞問題.由于殲擊無人機(jī)需要優(yōu)先執(zhí)行制空作戰(zhàn)任務(wù),態(tài)勢爭奪異常激烈,因此,編組間的沖突解脫可由電子干擾無人機(jī)通過主動(dòng)的機(jī)動(dòng)避讓實(shí)現(xiàn).編隊(duì)?wèi)?zhàn)術(shù)機(jī)動(dòng)方法如圖1 所示.

圖1 異型無人機(jī)編組戰(zhàn)術(shù)機(jī)動(dòng)方法Fig.1 Tactical maneuver method of special shaped UAV formation

為便于論述,本文將我方無人機(jī)稱為紅方,敵方無人機(jī)稱為藍(lán)方.圖1 中,紅方電子干擾無人機(jī)機(jī)動(dòng)至殲擊無人機(jī)后方陣位,并對藍(lán)方施加電子干擾,通常電子干擾范圍大于火控雷達(dá)照射范圍.紅藍(lán)方無人機(jī)都積極通過機(jī)動(dòng)動(dòng)作繞開對方火控雷達(dá),并伺機(jī)鎖定對方發(fā)射導(dǎo)彈.但在判明藍(lán)方無人機(jī)處于電子干擾狀態(tài)下時(shí),紅方無人機(jī)即可采取激進(jìn)的攻擊策略,直接對向藍(lán)方無人機(jī)飛行,并實(shí)施火控雷達(dá)鎖定.無人機(jī)戰(zhàn)術(shù)機(jī)動(dòng)決策流程如圖2 所示.

圖2 無人機(jī)戰(zhàn)術(shù)機(jī)動(dòng)決策流程Fig.2 UAV tactical maneuver decision-making process

1.2 態(tài)勢判斷準(zhǔn)則構(gòu)建

紅藍(lán)雙方對態(tài)勢的判斷主要基于相對角度和距離要素.存在的態(tài)勢類別主要有鎖定、被鎖定、相互鎖定、干擾和被干擾.幾何關(guān)系如圖3 所示.

圖3 態(tài)勢判斷幾何關(guān)系圖Fig.3 Geometric relationship diagram of situation judgment

圖3 中,vr為紅方無人機(jī)的航向向量；vrb為紅方無人機(jī)指向藍(lán)方無人機(jī)的向量.紅藍(lán)方無人機(jī)的相對距離是態(tài)勢判斷的第一要素,也是本文實(shí)施戰(zhàn)術(shù)轉(zhuǎn)換的判斷依據(jù),基本計(jì)算方法為：

式中,（xr,yr）為紅方的大地坐標(biāo)；（xb,yb）為藍(lán)方的大地坐標(biāo).當(dāng)紅方無人機(jī)與敵機(jī)相對距離大于lf時(shí),則認(rèn)為處于交戰(zhàn)區(qū)外,紅方無人機(jī)繼續(xù)保持編隊(duì)飛行前出接敵.當(dāng)紅藍(lán)方無人機(jī)相對距離小于lf時(shí),則紅方無人機(jī)編組開始變換陣位,實(shí)施制空作戰(zhàn).制空作戰(zhàn)過程中,需要根據(jù)距離和相對角判斷鎖定、被鎖定、相互鎖定、干擾和被干擾等態(tài)勢.相對角計(jì)算方法為：

式中,vr為紅方無人機(jī)的航向向量；vrb為紅方無人機(jī)指向藍(lán)方無人機(jī)的向量.當(dāng)相對角θrb小于紅方的火控雷達(dá)照射角θrf,且相對距離小于火控雷達(dá)作用距離df時(shí),藍(lán)方處于紅方火控雷達(dá)鎖定狀態(tài).其他態(tài)勢的判斷方法與此類似,文中不再贅述.

基于敵我態(tài)勢構(gòu)建態(tài)勢判斷矩陣,可表示為：

其中,在紅方無人機(jī)火控雷達(dá)能夠照射藍(lán)方無人機(jī)時(shí)e11=1,否則為0,計(jì)算方法為：

式中,θrf為紅方無人機(jī)火控雷達(dá)的照射角度范圍；drf為紅方火控雷達(dá)的照射距離.當(dāng)紅方電子干擾機(jī)對藍(lán)方成功實(shí)施電子干擾時(shí),e21=1,否則為0,計(jì)算方法為：

1.3 動(dòng)態(tài)柵格環(huán)境搭建

對無人機(jī)機(jī)動(dòng)決策指令的生成主要基于路徑規(guī)劃的方法,需要有一定的柵格環(huán)境作為支撐.傳統(tǒng)的柵格環(huán)境與大地坐標(biāo)系相對固定,無人機(jī)在固定柵格環(huán)境內(nèi)規(guī)劃決策機(jī)動(dòng).但空戰(zhàn)對抗具有極高的動(dòng)態(tài)性和不確定性,敵機(jī)可能從多個(gè)方向突擊重要目標(biāo),靜態(tài)柵格環(huán)境如果覆蓋廣闊的區(qū)域則必然需要犧牲分辨率或者規(guī)劃時(shí)間,從而影響決策準(zhǔn)確性與效率.而且在飛機(jī)進(jìn)行機(jī)動(dòng)轉(zhuǎn)場后,空域環(huán)境發(fā)生變化,靜態(tài)柵格必須要重新校正和初始化,增加前期飛行準(zhǔn)備的工作量.對此,設(shè)計(jì)了一種動(dòng)態(tài)自適應(yīng)的柵格環(huán)境,可確保規(guī)劃空間的穩(wěn)定性,如圖4 所示.動(dòng)態(tài)柵格環(huán)境完全不受限于敵我態(tài)勢環(huán)境,分辨率始終根據(jù)敵我距離自適應(yīng)調(diào)整,根據(jù)敵我位置旋轉(zhuǎn)調(diào)整,只要不進(jìn)入低空空域,動(dòng)態(tài)柵格環(huán)境始終適用.若無人機(jī)進(jìn)入低空空域,由于動(dòng)態(tài)柵格不具備存儲(chǔ)地面障礙物高度信息的能力,因此,規(guī)劃柵格必須進(jìn)行切換.

圖4 動(dòng)態(tài)柵格環(huán)境Fig.4 Dynamic grid environment

圖4 中紅方與藍(lán)方在柵格中的位置固定,柵格單位尺寸根據(jù)紅藍(lán)方的相對距離自適應(yīng)調(diào)整,計(jì)算方法為：

式中,N*為紅藍(lán)方柵格位置之間邊的數(shù)量.圖中的威脅點(diǎn)一般不在柵格節(jié)點(diǎn)上,因此,需要近似匹配至最近的動(dòng)態(tài)柵格節(jié)點(diǎn)上,用以路徑規(guī)劃時(shí)避讓.節(jié)點(diǎn)匹配計(jì)算方法為：

式中,（xt,yt）為威脅點(diǎn)近似匹配的柵格坐標(biāo)；θtb為向量vr與vrb之間的夾角.此外,動(dòng)態(tài)柵格以紅藍(lán)方無人機(jī)的相對位置不斷旋轉(zhuǎn)變換,因此,柵格點(diǎn)與大地坐標(biāo)之間存在轉(zhuǎn)化關(guān)系,轉(zhuǎn)換公式為：

式中,（xg,yg）為任一柵格坐標(biāo)；（x',y'）為對應(yīng)的大地坐標(biāo)；φ 為柵格坐標(biāo)與大地坐標(biāo)所成的角度；為無人機(jī)在柵格坐標(biāo)中的位置向量與x 軸形成的夾角,規(guī)定逆時(shí)針旋轉(zhuǎn)為正.

2 無人機(jī)飛行控制模型

在探討紅藍(lán)方態(tài)勢的爭奪和機(jī)動(dòng)策略的制定都基于側(cè)向機(jī)動(dòng)實(shí)現(xiàn),且無人機(jī)在控制律的設(shè)計(jì)中水平方向與垂直方向可以相互解耦[9],因此,主要設(shè)計(jì)水平方向的控制模型,可表示為：

式中,a 為加速度,中括號(hào)內(nèi)分別為變量的最小和最大值.同時(shí),速度變量與航向之間有一定的轉(zhuǎn)化關(guān)系,可表示為：

式中,vx,vy分別為速度沿橫坐標(biāo)與縱坐標(biāo)的分量.由此可建立起指令信息與加速度、轉(zhuǎn)彎率之間的轉(zhuǎn)化關(guān)系.

3 異型無人機(jī)協(xié)同空戰(zhàn)機(jī)動(dòng)決策建模

3.1 一致性算法

討論的無人機(jī)編組為雙機(jī)編隊(duì),假設(shè)編隊(duì)之間能夠保持通信的持續(xù)不間斷,則給出基本一致性算法為：

由此,可給出一致性的收斂條件[9，11]：

式中,μi為的第i 個(gè)特征值；Re（μi）和Im（μi）為μi的實(shí)部和虛部.根據(jù)以上定理,對于研究的無人機(jī)雙機(jī)編隊(duì)情景,其拉普拉斯判定矩陣為：

3.2 基于ACO 算法的機(jī)動(dòng)決策

ACO 是一種典型的群智能搜索算法,具有仿生進(jìn)化特性,常被用于解決路徑規(guī)劃問題,效果較好[8].ACO 具有隨機(jī)搜索特性,智能體在每一個(gè)節(jié)點(diǎn)處根據(jù)周圍可選節(jié)點(diǎn)的信息素濃度,按照輪盤賭的策略選擇下一個(gè)節(jié)點(diǎn),依次類推,直至到達(dá)終點(diǎn).節(jié)點(diǎn)概率計(jì)算公式為：

式中,dj為節(jié)點(diǎn)j 至目標(biāo)點(diǎn)的歐式距離.所有智能體在完成一次搜索之后,需要對全局信息進(jìn)行一次更新,這也是智能體的自學(xué)習(xí)過程.學(xué)習(xí)的原理為加大較優(yōu)路徑的信息素濃度,其余路徑則進(jìn)行一次信息素蒸發(fā).信息素更新公式為：

式中,F*和F 均為常數(shù)；L*和Lk分別為最優(yōu)路徑和排名為k 的次優(yōu)路徑的長度.在每一次的迭代完成后,都檢查更新最優(yōu)路徑,在迭代完成后,輸出最優(yōu)路徑.ACO 算法還設(shè)有禁閉表,對于表中的節(jié)點(diǎn),智能體無法轉(zhuǎn)移探索.將協(xié)同無人機(jī)及其安全范圍內(nèi)的節(jié)點(diǎn)均加入禁閉表,將敵對方的火控雷達(dá)照射范圍內(nèi)的節(jié)點(diǎn)也列入禁閉表,一方面可以減小搜索范圍,另一方面可以實(shí)現(xiàn)沖突的解脫.在無人機(jī)進(jìn)入交戰(zhàn)區(qū)后,根據(jù)獲得的態(tài)勢信息選擇進(jìn)攻策略,初始化動(dòng)態(tài)柵格的起點(diǎn)、終點(diǎn)、禁閉表和信息素,開啟路徑規(guī)劃的迭代更新.最終輸出的路徑會(huì)為無人機(jī)提供向左、向右或直飛的機(jī)動(dòng)決策信息,無人機(jī)在Δt 內(nèi)按照決策信息調(diào)整飛行姿態(tài).

3.3 基于Q-Learning 算法的機(jī)動(dòng)決策

由于在實(shí)際空戰(zhàn)過程中,敵我雙方的武器平臺(tái)總會(huì)存在性能差異,機(jī)動(dòng)決策能力、原理、優(yōu)勢都不一致,因此,需要使用不同的決策算法模擬紅藍(lán)雙方的機(jī)動(dòng)決策行為.Q-Learning 算法是一種典型的機(jī)器學(xué)習(xí)算法,可以用于解決序貫決策優(yōu)化問題[7],其數(shù)學(xué)基礎(chǔ)為馬爾可夫決策過程（Markov decision processes,MDP）理論[12].該算法屬于離線策略下的表格型學(xué)習(xí)算法,最早由WATKINS 提出[13-14].Q-Learning算法的學(xué)習(xí)機(jī)制主要通過一張Q 表實(shí)現(xiàn),表格中的行代表智能體狀態(tài),而列代表了能夠采取的動(dòng)作策略,通過對表格中元素的更新實(shí)現(xiàn)對外界環(huán)境的學(xué)習(xí),更新方式為：

式中,σ 為學(xué)習(xí)率；ξ 為折扣因子；s 為當(dāng)前時(shí)刻的狀態(tài)；ac為當(dāng)前時(shí)刻按策略π 采取的動(dòng)作；s'為下一時(shí)刻的狀態(tài)；ac'為在s'狀態(tài)下能夠獲得最大回報(bào)的動(dòng)作.智能體在狀態(tài)s 時(shí)按照策略π 采取動(dòng)作ac轉(zhuǎn)移至狀態(tài)s'.這一策略可以是隨機(jī)準(zhǔn)則、貪婪準(zhǔn)則或ε-貪婪準(zhǔn)則.在轉(zhuǎn)移至新的狀態(tài)后會(huì)獲得一定的回報(bào),可以是獎(jiǎng)勵(lì),也可以是懲罰,根據(jù)獲得的回報(bào)值按式（19）更新Q 表.智能體重復(fù)“轉(zhuǎn)移—更新”這一過程,直到到達(dá)目標(biāo)狀態(tài),完成一輪迭代,并準(zhǔn)備開啟下一輪迭代.在進(jìn)行完一定次數(shù)的迭代后,Q 表中便積累了一定量的經(jīng)驗(yàn)知識(shí),智能體根據(jù)Q 表積累的經(jīng)驗(yàn)知識(shí)按照貪婪準(zhǔn)則形成最終的狀態(tài)轉(zhuǎn)移策略.具體流程如圖5 所示.

圖5 Q-Learning 算法流程Fig.5 Q-learning algorithm flow

但傳統(tǒng)Q 表的初始狀態(tài)為空白表,因此,在智能體的學(xué)習(xí)過程中存在學(xué)習(xí)效率低、探索不充分、易陷入局部最優(yōu)的缺陷,特別是智能體探索過程中積累的大量無效信息不但耗費(fèi)大量時(shí)間,而且容易使求解過程陷入局部最優(yōu).對此,提出一種雙Q 表算法（double Q-learning table algorithm,DQLT）改進(jìn)智能體的學(xué)習(xí)效率.DQLT 算法主要基于兩張Q 表記錄智能體的探索學(xué)習(xí)過程.需要對Q 表進(jìn)行初始化,并加入啟發(fā)式因子,計(jì)算過程為：

應(yīng)當(dāng)說明,DQLT 與Double Q-learning 算法在原理上有顯著的不同.Double Q-learning 算法雖然使用兩張Q 表進(jìn)行學(xué)習(xí)探索,但主要是按照不同的遍歷次序交替記錄學(xué)習(xí)信息,可改善解的偏置問題.而DQLT 則并不是為了解決偏置問題,通過雙Q 表的交替主要是為了剔除大量的無效學(xué)習(xí)信息,提高解的質(zhì)量.DQLT 算法的空戰(zhàn)機(jī)動(dòng)決策建模與ACO 算法類似,同樣是基于動(dòng)態(tài)柵格環(huán)境,最后輸出的也是左轉(zhuǎn)、右轉(zhuǎn)和直行指令.

3.4 電子干擾無人機(jī)機(jī)動(dòng)決策算法

電子干擾無人機(jī)的機(jī)動(dòng)決策需要解決3 個(gè)問題,分別是前出作戰(zhàn)時(shí)編隊(duì)的保持、伴隨支援中與編隊(duì)無人機(jī)的沖突解脫、根據(jù)態(tài)勢變化的干擾陣位機(jī)動(dòng).無人機(jī)編隊(duì)的保持主要基于一致性算法,由于飛行狀態(tài)相對穩(wěn)定,因此,機(jī)動(dòng)決策過程較為簡單.當(dāng)任務(wù)編組進(jìn)入交戰(zhàn)區(qū)后,編隊(duì)解散,電子干擾無人機(jī)需要轉(zhuǎn)移陣位,并避免與己方無人機(jī)發(fā)生空中相撞.在這過程中主要基于ACO 算法進(jìn)行路徑規(guī)劃,根據(jù)紅藍(lán)方態(tài)勢調(diào)整陣位點(diǎn),如圖6 所示.

圖6 電子干擾無人機(jī)機(jī)動(dòng)決策方法Fig.6 Maneuver decision-making method of electronic interference UAV

圖6 中,rs為無人機(jī)之間應(yīng)對保持的最小距離.以殲擊無人機(jī)為中心,構(gòu)建2rs為半徑的保護(hù)圈,當(dāng)無人機(jī)距離陣位調(diào)整點(diǎn)距離大于rs時(shí),無人機(jī)采用ACO 算法規(guī)劃路徑前往陣位調(diào)整點(diǎn),機(jī)動(dòng)過程中與殲擊無人機(jī)保持2rs以上距離.當(dāng)無人機(jī)進(jìn)入陣位調(diào)整點(diǎn)半徑rs范圍內(nèi)時(shí),無人機(jī)使用一致性算法實(shí)施伴隨干擾.陣位點(diǎn)的計(jì)算方法為：

式中,Lbe為電子干擾無人機(jī)與藍(lán)方無人機(jī)應(yīng)對保持的最小距離；drb為紅方殲擊無人機(jī)與藍(lán)方無人機(jī)之間的距離；Lr為常數(shù),且有.

4 仿真分析

為驗(yàn)證設(shè)計(jì)的協(xié)同空戰(zhàn)對抗算法有效性,需要對一致性算法進(jìn)行仿真驗(yàn)證.模型參數(shù)設(shè)置如表1所示.

表1 一致性算法參數(shù)設(shè)置Table 1 Parameters of consensus algorithm

基于一致性算法的長僚機(jī)編隊(duì)匯集伴飛的過程如圖7 所示.

圖7 無人機(jī)編隊(duì)飛行航跡Fig.7 Flight tracks of UAV formation

航向變化過程如圖8 所示.速度變化過程如圖9所示.從圖7～圖8 可以看出,無人機(jī)能夠快速調(diào)整航向匯合成指定隊(duì)形飛行；圖9 可以看出,由于初始時(shí)刻僚機(jī)落后于長機(jī),因此,以大速度追趕,編隊(duì)匯合后能夠以一致的速度保持編隊(duì)隊(duì)形,說明了算法設(shè)計(jì)的有效性.再來驗(yàn)證基于改進(jìn)ACO 和DQLT 算法的有效性,ACO 算法的參數(shù)設(shè)置如表2 所示.

圖8 無人機(jī)航向跟隨過程Fig.8 Heading following process of UAV

圖9 無人機(jī)編隊(duì)速度跟隨過程Fig.9 Speed following process of UAV formation

路徑規(guī)劃效果如圖10 所示.

圖10 基于ACO 算法的路徑規(guī)劃Fig.10 Path planning based on ACO algorithm

從圖10 中可以看出,ACO 算法所規(guī)劃路徑并非嚴(yán)格最優(yōu)路徑,是一種近似最優(yōu)路徑.在動(dòng)態(tài)的空戰(zhàn)機(jī)動(dòng)決策中允許低概率的錯(cuò)誤決策出現(xiàn),在規(guī)劃時(shí)間足夠的情況下,后續(xù)正確的決策可以及時(shí)糾正不良的決策機(jī)動(dòng).但決策的正確性顯然是越高越好,因?yàn)檫@會(huì)使無人機(jī)能夠更快、更好地抓住戰(zhàn)機(jī),鎖定敵機(jī).ACO 所規(guī)劃的路徑能夠較好地避開柵格圖中設(shè)置的威脅圈并抵達(dá)終點(diǎn),將主要用于電子干擾無人機(jī)的機(jī)動(dòng)決策和沖突解脫.

Q-Learning 算法主要用于殲擊無人機(jī)的機(jī)動(dòng)決策,直接在40×40 的動(dòng)態(tài)柵格環(huán)境下測試Q-Learning算法的路徑規(guī)劃有效性.算法參數(shù)設(shè)置如表3 所示.

表3 Q-Learning 算法參數(shù)設(shè)置Table 3 Parameter setting of Q-Learning algorithm

由于基本算法學(xué)習(xí)率低,常常出現(xiàn)品質(zhì)不佳的路徑規(guī)劃結(jié)果,如圖11 所示,改進(jìn)后算法的路徑規(guī)劃效果如圖12 所示.

圖11 Q-Learning 算法規(guī)劃的路徑Fig.11 Path planned by Q-learning algorithm

圖12 改進(jìn)Q-Learning 算法規(guī)劃的路徑Fig.12 Path planning by improved Q-learning algorithm

由于路徑的節(jié)點(diǎn)數(shù)直接反映了路徑的品質(zhì),因此,可以從每次路徑規(guī)劃的節(jié)點(diǎn)數(shù)指標(biāo)來考察改進(jìn)算法的有效性.另外,規(guī)劃時(shí)間也是考察算法性能的一項(xiàng)重要指標(biāo).為及時(shí)終止失敗的路徑規(guī)劃過程,算法設(shè)置了路徑步長上限,當(dāng)達(dá)到該值時(shí),直接終止規(guī)劃過程.將步長上限設(shè)為100,則規(guī)劃性能對比如圖13 所示.

圖13 改進(jìn)Q-Learning 算法性能對比Fig.13 Performance comparison of improved Q-learning algorithm

從圖13 中可以看出,改進(jìn)算法路徑品質(zhì)顯著優(yōu)于基本算法,雖然規(guī)劃耗時(shí)有增加,但仍在可接受的范圍內(nèi).進(jìn)一步的,可進(jìn)行無人機(jī)空戰(zhàn)對抗仿真.由于真實(shí)空戰(zhàn)條件下,敵我雙方無人機(jī)總會(huì)存在性能差異,因此,紅藍(lán)方的殲擊無人機(jī)分別基于ACO 和Q-Learning 算法開展仿真,重點(diǎn)是驗(yàn)證紅方無人機(jī)編隊(duì)協(xié)同機(jī)動(dòng)決策算法的有效性.在對抗空戰(zhàn)過程中,并非使用火控雷達(dá)鎖定即可取得勝利,導(dǎo)彈發(fā)射后擊落敵機(jī)具有一定概率性,特別是在電子干擾條件下,這一概率還將降低,因此,需要設(shè)置不同態(tài)勢下的攻擊成功概率.具體可表示為：

式中,pr和pb分別為紅方和藍(lán)方殲擊無人機(jī)在不同態(tài)勢下的攻擊概率值.在無人機(jī)鎖定敵機(jī)后,每隔一個(gè)單位時(shí)間Δt,即有一定概率擊落敵機(jī),若擊落成功則空戰(zhàn)結(jié)束.藍(lán)方無人機(jī)擊落任意一架紅方無人機(jī)同樣判斷空戰(zhàn)結(jié)束.由于藍(lán)方無人機(jī)為單機(jī),因此,在對抗過程中以距離最近的無人機(jī)作為優(yōu)先攻擊目標(biāo).以紅藍(lán)方的單機(jī)對抗考察ACO 與改進(jìn)Q-Learning 算法本身的決策品質(zhì),基本參數(shù)設(shè)置如表4 所示.

表4 空戰(zhàn)對抗參數(shù)設(shè)置Table 4 Parameters of antagonistic air combat

空戰(zhàn)仿真過程如圖14 所示.

圖14 無人機(jī)單機(jī)對抗空戰(zhàn)過程Fig.14 Antagonistic air combat process of one UAV

圖14 中,紅方無人機(jī)在機(jī)動(dòng)過程中被藍(lán)方無人機(jī)擊落.通過20 個(gè)回合的仿真可以進(jìn)一步看出算法的決策品質(zhì),如圖15 所示.

圖15 單機(jī)對抗戰(zhàn)損比Fig.15 Kill-death-assist of one UAV antagonistic combat

從圖中可以看出,對于單機(jī)對抗,ACO 算法決策品質(zhì)更好,能夠更好地占據(jù)優(yōu)勢并擊落敵機(jī),戰(zhàn)損比大約為3∶2,紅方處于劣勢.再來看加入電子干擾無人機(jī)后的空戰(zhàn)仿真過程,如圖16 所示.

圖16 無人機(jī)協(xié)同空戰(zhàn)過程Fig.16 UAV cooperative air combat process

圖16 中,紅方仍使用改進(jìn)Q-Learning 算法,藍(lán)方使用ACO 算法,藍(lán)方進(jìn)入電子干擾機(jī)輻射范圍,在躲避紅方過程中被紅方鎖定擊落.ACO 算法具有很強(qiáng)的機(jī)動(dòng)決策能力,同樣也能通過機(jī)動(dòng)動(dòng)作擊落紅方無人機(jī),如圖17 所示.

圖17 紅方無人機(jī)被擊落過程Fig.17 The process of red UAV being shot down

圖17 中,紅方無人機(jī)未能成功鎖定藍(lán)方無人機(jī)并實(shí)施攻擊,藍(lán)方無人機(jī)趁機(jī)反向機(jī)動(dòng)并擊落紅方無人機(jī).加入電子干擾機(jī)后的紅藍(lán)方戰(zhàn)損比如圖18所示.

圖18 改進(jìn)Q-Learning 算法協(xié)同作戰(zhàn)戰(zhàn)損比Fig.18 Kill-death ratio of cooperative combat based on improved Q-Learning algorithm

從圖18 可以看出,紅方加入電子干擾無人機(jī)后,戰(zhàn)損比有所提升,約為1∶1.為降低機(jī)動(dòng)決策算法本身的影響,突顯協(xié)同決策算法的有效性,紅藍(lán)方殲擊無人機(jī)調(diào)換算法后再次考察戰(zhàn)損比,如圖19 所示.

圖19 ACO 算法協(xié)同作戰(zhàn)戰(zhàn)損比Fig.19 Kill-death-assist of cooperative combat based on ACO algorithm

從圖19 可以看出,基于ACO 決策算法的紅方無人機(jī)戰(zhàn)損比得到顯著提升,約為9∶1.從圖16 和圖17 的仿真航跡中可以看出,電子干擾無人機(jī)能夠較好地變換陣位提供伴隨干擾的同時(shí),對己方無人機(jī)進(jìn)行規(guī)避,避免空中相撞的發(fā)生,同樣驗(yàn)證了算法的有效性.從圖18 和圖19 的仿真結(jié)果中可以看出,設(shè)計(jì)的異型機(jī)協(xié)同決策機(jī)動(dòng)算法有效,可提升單機(jī)無人機(jī)空戰(zhàn)對抗的戰(zhàn)損比.

5 結(jié)論

本文主要對異型無人機(jī)之間的協(xié)同空戰(zhàn)機(jī)動(dòng)決策進(jìn)行研究,主要工作有：

1）根據(jù)殲擊無人機(jī)與電子干擾無人機(jī)的協(xié)同作戰(zhàn)樣式,設(shè)計(jì)了不同態(tài)勢下的機(jī)動(dòng)決策方法,包括編隊(duì)飛行、沖突解脫與空戰(zhàn)機(jī)動(dòng)決策,并使用改進(jìn)的ACO 和DQLT 算法加以實(shí)現(xiàn).

2）設(shè)計(jì)了動(dòng)態(tài)的柵格規(guī)劃環(huán)境,可自適應(yīng)調(diào)整柵格尺寸,避免了傳統(tǒng)柵格規(guī)劃環(huán)境因區(qū)域過大而降低規(guī)劃效率的缺陷.

3）以戰(zhàn)損比為指標(biāo),通過仿真驗(yàn)證了協(xié)同作戰(zhàn)機(jī)動(dòng)決策算法的有效性,電子干擾無人機(jī)能夠在不斷調(diào)整陣位的同時(shí)實(shí)施沖突解脫,對提高空戰(zhàn)戰(zhàn)損比作用顯著.