基于機動動作類型識別的飛行員飛行訓練質量自動評估方法

朱立成, 孫 青, 端軍紅,*, 龐 敏

(1. 空軍工程大學防空反導學院, 陜西 西安 710051; 2. 北京微電子技術研究所, 陜西 西安 710119)

0 引 言

在現代空戰中,戰術機動是戰斗機躲避雷達探測和導彈攔截的重要手段,因此戰術機動飛行訓練逐漸成為了飛行員日常訓練的一項核心內容。對戰術機動的飛行質量進行具體評估是戰術機動飛行訓練的一個重要環節,其對提升飛行員的操作能力和作戰水平而言意義重大。在傳統評估方法中,由于飛行員對飛行教官的判斷有著嚴重依賴,存在著效率低下、主觀性強等問題,已經不能滿足現代飛行訓練的要求。為此,實現飛行訓練質量的自動化快速評估,具有重要的軍事價值和實際意義。

飛行訓練質量自動化評估包含兩方面內容:一是戰術機動動作的識別;二是基于識別結果的戰術機動飛行過程質量評估。目前,國內外學者已經在這兩個問題上進行了一些研究。在戰術機動識別方面,楊俊等[1]將模糊邏輯理論和支持向量機相結合,在多分類問題上取得了較好的效果。Tian等[2]基于模糊控制理論,利用標記數據節點、去除擾動、特征提取等方法解決機動動作識別不準確、延遲高等問題。但是,模糊理論依賴相關專家對機動特征的準確判斷,識別結果不夠客觀,小規模樣本集的訓練也容易造成訓練精度差的問題。徐西蒙等[3]采用運動分解和層次支持向量機的方法,利用二分類器構造多分類器,提高準確性和識別效率。Yang等[4]建立層次識別模型,通過級聯結構降低計算復雜度,克服了當樣本數量較多時的收斂性和實時性較差的問題。上述方法將復雜軌跡分解為簡單軌跡,雖然簡化了識別過程,但由于復雜機動與簡單機動在機動動作中的飛行參數有著很大差異,導致在復雜戰術機動動作的識別問題中表現不佳。Wei等[5]將機動識別看作多維時間序列的時空對齊問題,提出了一種多策略的正則仿射時間翹曲方法,在時間序列分類數據集和無人機機動實驗上取得了較好的效果。然而,在空戰對抗背景下進行敵機機動識別,部分飛行參數難以通過探測手段獲取[3-5]。

在飛行訓練質量評估方面,張建業等[6]依據飛行數據和專家經驗,建立飛行成績自動評定及管理系統,能夠準確快速地評定飛行成績。Long等[7]提出了基于模糊邏輯理論的飛行質量評估模型,在模擬飛行機動的進近段中評估結果和實際得分幾乎一致。但是傳統評估方法過于依賴人的主觀判斷,評估方法不夠科學,并且成本較高、效率低下[6-7]。柳忠起等[8]利用眼動數據構建反向傳播(back propagation, BP)神經網絡,實現了3種技術水平飛行員的飛行績效準確評估。姚裕盛等[9]基于飛行員生理信號和飛行參數,建立了基于BP神經網絡的評估模型,評估結果與專家評分大致吻合。劉浩等[10]使用動態貝葉斯網絡識別機動動作,建立灰度模糊評估矩陣進行飛行質量評估,提升了飛行訓練評估效率。但是淺層學習模型只能提取數據的淺層特征,缺少語義信息,模型表達能力不強,評估結果不穩定[8-10]。此外,現有的大多數評估方法主要是對飛行訓練后的數據進行質量評估,但是在飛行訓練過程中,不同種類的戰術機動動作對應的有效評估指標有所不同,因此缺乏對不同種類戰術機動動作的具體評估。

本文的貢獻主要有以下幾點:① 針對戰術機動識別中的準確度和實時性不高的問題,采用多尺度特征融合的深度神經網絡構建分類器,通過對飛行參數的多維度深層特征提取實現對不同種類戰術機動的識別,這樣既減少了網絡深度,提升識別效率,又能充分獲取不同尺度數據信息,以保證準確度;② 針對不同戰術機動動作類型的有效評估指標不同的問題,搭建飛行質量評估指標體系,建立評估指標標準,將評估過程定量化,使得評估結果更加客觀準確;③ 針對不同指標之間存在的差異,使用基于博弈論的組合賦權方法消除了單一主觀或客觀評價對評估結果的不利影響,得到不同戰術機動動作所對應的有效評估指標權重,最終得到評估結果。所提出的飛行訓練質量自動評估方法可以有效降低訓練成本,提升效率,滿足現代飛行訓練的要求。

需要說明的是,戰斗機可執行的戰術機動動作類型多達幾十種。為簡便起見,在本文中,選取斤斗、斜斤斗、半滾倒轉、半斤斗翻轉4個基本動作,以及半滾倒轉-斤斗,半滾倒轉-半斤斗翻轉兩個組合動作(共計6個動作類型)作為需要進行機動識別和飛行質量評估的典型戰術動作類型。

1 戰術機動動作識別

準確識別戰術機動動作是進行飛行質量評估的基本前提。在戰術機動過程中,飛行參數也會不斷變化,參數主要包括位置、速度、加速度、航向角、俯仰角、滾轉角等信息[11],不同的戰術機動動作對應的飛行參數變化規律也不同。本文針對離線數據進行識別,飛行參數序列完整,由于戰術機動種類不同,可以將此類識別問題歸結為多分類問題。目前,處理多分類問題常用的方法就是機器學習[12-13]。機器學習是一種數據驅動的識別方法,在非線性問題上的處理能力十分強大,能夠通過內部參數的不斷調整來獲取數據中的特征信息,也就是機器在不斷學習進化的過程。相比傳統的識別方法,機器學習無需先驗知識,識別結果更加快速準確。

Sun等[14]將過去機器學習取得的成功主要歸功于更加復雜的網絡結構,更大規模的標簽數據集以及更強大的計算性能。在機器學習中,對數據進行一維卷積處理相較于對圖片、視頻等進行二維或三維卷積處理要簡單很多,因此無需太復雜的網絡,即可取得較好的效果。為了保持網絡精度,降低計算復雜度,設計輕量化的網絡模型十分必要。因此,本文中戰術機動識別的主要方法就是搭建合適的輕量化網絡和建立完備的數據集。

1.1 網絡模型介紹

1.1.1 深度殘差網絡模塊

在Lecun[15]提出卷積神經網絡后,國內外研究大都通過堆疊卷積層數來提升網絡模型效果。但是實驗證明,如果僅僅通過簡單的堆積卷積層來達到加深網絡的目的,網絡就有可能出現退化等問題。這些問題在2015年殘差神經網絡(residual neural network, ResNet)[16]被提出后得到了有效的解決,ResNet改善了網絡的連接結構,在卷積層之間添加恒等映射構成殘差模塊,如圖1所示。目前,在許多場景應用中,如目標識別[17]、故障檢測[18]、語義圖像分割[19]等,ResNet模型都優于以前的模型。

圖1 殘差模塊結構Fig.1 Structure of residual block

殘差模塊的輸出是模塊的輸入和經過卷積計算后的期望輸出相加的結果,恒等映射的作用就是始終輸出一個權值為1的梯度,這樣就不會隨著網絡的加深而出現梯度消失的現象,同時也不會過多地增加網絡的參數和計算量。計算表達式為

H(x)=F(x)+x

(1)

通常情況下,在ResNet34及以下的淺層網絡中使用圖1中的結構,在更深層的殘差網絡中,如ResNet101,會將兩層卷積替換為3層卷積,其中包括兩個1×1卷積,用于將網絡進行降維和升維處理。相比直接堆疊淺層網絡的殘差模塊,這樣會將參數數量大幅縮減,從而大幅提升網絡的訓練效率。

1.1.2 多尺度特征提取

戰術機動過程中的飛行參數信息具有明顯的非線性、非平穩特征,盡管目前ResNet已被廣泛地運用到了分類識別領域,但通常是通過堆疊網絡層數以取得更好的效果,Wu等[20]研究發現,特定網絡只有在有效深度內才會通過加深層數顯著提升精度,網絡的寬度對結果的影響也十分重要。單一的網絡通路結構不能同時提取出不同尺度數據內的特征信息,限制了分類性能。因此,對數據進行不同尺度卷積的特征提取就顯得十分必要,使用多尺度特征提取來獲得不同尺度下的數據特征可以有效地提升分類的準確性。

多尺度特征提取是一種多路并行分支結構,最開始來源于Inception模型[21],該結構是在網絡的同一層中使用多個不同大小的卷積核來提取不同尺度的特征信息,如圖2所示。最后,通過全連接層組合不同尺度下的特征信息,網絡通過橫向的擴展可以避免卷積堆積,有效降低網絡的復雜度。

圖2 并行多尺度特征提取結構Fig.2 Parallel multi-scale feature extraction structure

1.1.3 網絡模型

為了兼顧殘差網絡和多尺度特征提取的優勢,將殘差模塊和多尺度特征提取的結構相結合,構建多尺度特征提取的深度殘差網絡(multi-scale feature extraction deep residual network, MSDRN)模型,如圖3所示。網絡的輸入是大小為1×H的一維數據,其中H為特征個數。首先將輸入通過一個卷積層提高通道數以提升網絡的學習性;然后通過一個批標準化、激活函數以及最大池化的串行結構,完成淺層特征提取,之后將其接入到網絡主體中。網絡主體由3個并行支路組成,每條支路卷積層的尺寸大小不同,對應的感受野范圍也就不同,因此可以獲取到數據中不同尺度的特征信息,構成多尺度特征提取模塊。奇數尺寸的濾波器可以提取出更好的中心特征,所以均采用了奇數大小的卷積核,同時小尺寸的卷積核相較于大尺寸卷積核更有利于壓縮網絡規模。如圖3所示,3條支路分別由1×1、1×3、1×5大小的殘差模塊串聯組合而成。在每條支路的末端,通過一個平均池化層降低參數量,并確保3條支路的輸出維度一致。在網絡的最后,使用全連接層增強模型的非線性并輸出結果。以其中一條支路為例,模型中參數大小如表1所示。

圖3 網絡模型結構Fig.3 Network model’s structure

表1 模型參數大小

1.2 建立訓練數據集

在搭建完網絡模型后,還需要建立完備的數據集以實現網絡訓練。利用飛行模擬器可以獲得各戰術機動動作的飛行數據,每條飛行數據包含位置、速度、加速度、姿態角、姿態角速度等飛行參數。為降低網絡計算量,本文選取速度和加速度矢量作為飛行過程的特征參數。

為了避免網絡在訓練過程中出現過擬合,提升數據集的完備性,需要對已有的數據進行數據增強處理。常用的數據增強方法有翻轉、旋轉、平移等,考慮到戰術機動在改變航向時不能影響機動時的飛行特性,所以本文中的飛行軌跡具有旋轉不變特性。將軌跡繞Y軸旋轉360°,旋轉間隔角度為1°,設旋轉角度為θ,可得旋轉矩陣為

坐標的變換過程如下:

(2)

表2 機動動作標簽

由表2可以看出,該問題是個多分類問題,使用6種戰術機動軌跡各7 200條(共43 200條)數據構成數據集。數據集在網絡中會劃分為訓練集和測試集,訓練集用來更新網絡權重,測試集用來驗證訓練效果以及是否出現過擬合。當訓練集和測試集的損失均較小時,網絡的分類和泛化能力較強;當測試集損失遠大于訓練集損失時,網絡則可能出現過擬合現象,代表網絡過于信賴訓練數據,泛化能力較差。

將訓練數據集輸入到網絡模型中,根據數據中的特征信息,網絡模型可以利用梯度下降法,通過BP算法不斷地更新網絡中權值的大小,使得誤差最小化,并進行網絡訓練,最終輸出戰術機動識別結果。

2 基于識別結果的飛行訓練評估

2.1 評估指標

戰術機動動作識別完成之后,還需要對該機動飛行過程進行質量評估,因此要構建合理的評估指標體系。由于每種戰術機動動作的飛行特性既有相同之處,也有不同之處,不同類型戰術機動動作的有效評估指標有所區別。構建的評估指標體系要能充分地體現機動飛行過程中的特征變化,反映飛行品質,指標評估標準要盡量合理、科學、簡單并且實用。本文根據飛行員飛行大綱訓練要求和相關領域專家經驗,構建的各種戰術機動動作飛行訓練評估指標如表3所示。

表3 戰術機動動作評估指標

其中,組合動作評估指標由相關基本動作評估指標排列而成,指標評估標準如表4所示[22]。

表4 戰術機動指標評估標準

2.2 評估方法

現有的指標評估方法主要分為主觀賦權法[23]和客觀賦權法[24-25]。主觀賦權法在根據決策者意圖確定權重方面比客觀法更優,但是依賴于專家知識,人為因素影響大。客觀賦權法根據數據間的差異性區分重要程度,相較于主觀賦權法,客觀賦權法更能夠挖掘出數據自身信息量,有著較強的理論依據,但缺少了決策者的經驗信息,可能會出現和實際相反的情況。因此,需要將主觀和客觀規律相結合,使得評估結果更加科學合理。

2.2.1 確定主觀權重

考慮到戰術機動過程會受到多種因素的影響,層次分析法是一種將定性和定量相結合的多目標決策方法,可以綜合考慮多種因素并進行逐層分析[26]。使用層次分析法可以在一定程度上代表專家經驗,具體步驟為:① 確定評估指標;② 建立判斷矩陣,如表5所示;③ 層次內單排序;④ 一致性檢驗。

表5 判斷矩陣標度含義

層次內單排序就是計算權重系數,本文使用和積法(算術平均法)進行層次內單排序。

將判斷矩陣的每一列元素歸一化處理:

(3)

然后,按行相加,再按列歸一化處理。

(4)

式中:i,j分別為行和列;n為指標數量。最終,可求得判斷矩陣的層次內單排序結果(即權重系數)。

由于判斷矩陣是人為賦予的,可能會出現指標間互相矛盾的現象,所以要進行一致性檢驗。計算一致性指標(consistency index, CI):

(5)

查找平均隨機一致性指標(random consistency index, RI),如表6所示,并計算一致性比例(consistency ratio, CR)。

(6)

如果CR<0.1,則認為判斷矩陣可以接受。

表6 隨機一致性指標值

2.2.2 確定客觀權重

Critic方法是一種通過評估指標的對比強度和沖突性來衡量指標的客觀權值賦權法[27]。其中,對比強度用標準差表示,沖突性用相關系數表示,計算過程如下。

(1) 設有m個樣本,n個評估指標,構建原始數據矩陣X為

(2) 正向化處理:

(7)

(3) 計算指標的信息量:

(8)

(9)

式中:Sj代表了指標的數值差異性,Sj越大,則信息量越多;Aj代表了指標之間的沖突性,Aj越大,則各個指標之間的內容越沒有重復;rij為指標i和指標j之間的皮爾遜相關系數。

計算得到信息量Cj為

Cj=Sj·Aj

(10)

信息量越大,說明指標在整個指標評估體系中的作用越大,權值也就越大。

(4) 計算客觀權重:

(11)

計算得到的Wj即為指標j的客觀權重大小。

2.2.3 確定組合權重

在獲得主觀權重和客觀權重后,博弈論方法可以在不同方法獲得的權重之間找到一致或折中,使得可能的權值與單個基值之間的偏差最小[28]。在博弈論組合賦權方法中,首先構建權值向量qk=[qk1,qk2,…,qkn]。權值向量的任意線性組合可表示為

(12)

式中:σk為組合系數,l為賦權方法數量。為使得q與qk的離差最小化,即

(13)

式(13)的最優化一階導數為

(14)

計算得到(σ1,σ2,…,σl),進行歸一化處理,即可得到組合權重。

(15)

(16)

在確定完指標權重后,需要對飛行過程中的每個指標進行量化評估,具體評估規則如下:

(17)

式中:Ds為標準值;Di為實際值;Dmax為最大允許距離;S為評估結果。將評估結果劃分為5個等級:優秀(90～100),良好(80～90),中等(70～80),合格(60～70),不合格(<60)。

3 仿真實驗

仿真實驗在計算機上運行,運行環境為AMD Ryzen 7 5800H with Radeon Graphics 3.20 GHz處理器,16 GB內存,Win11 64位操作系統,Python3.9.0。

3.1 分類器訓練與測試

網絡模型包含訓練部分和驗證部分,在數據集中選取其中的80%作為訓練集,選取20%作為驗證集,并作為網絡的輸入。在網絡開始訓練之前,需要使用一些方法來加快收斂速度,避免參數過擬合。Mini-batch[29]是一種小批次訓練方法,可以避免大數據集導致的計算復雜的問題,同時由一個batch中的數據決定梯度方向,減少了梯度計算過程中的隨機性。在本文實驗中,batch大小選取為32。

為了避免因學習率設置不準確而導致網絡收斂緩慢,在網絡中采用AdamW(Adam with weight decay, AdamW)優化算法[30],該算法可以自適應調整學習率,并且在參數更新時引入參數本身以避免過擬合問題。損失函數選擇均方損失函數:

(18)

該損失函數處處可導,確保梯度值可隨學習率而變化,可以很好地配合AdamW優化算法,加快網絡收斂,計算方式如式(17)所示。在網絡的全連接層后加入DropOut[31],通過丟棄一部分參數使得網絡不會過度依賴某些局部特征,防止過擬合,并增強網絡模型的泛化能力。

為驗證本文所設計的分類器在性能上的優越性,另外使用了與本文模型卷積數目相同的一維卷積神經網絡(one-dimensional convolutional neural network, 1D-CNN)和ResNet進行訓練。其中,1D-CNN和ResNet的卷積核大小均為1×3。訓練過程的損失值和準確率變化分別如圖4和圖5所示。

圖4 訓練損失變化圖Fig.4 Training loss changing map

圖5 訓練準確率變化圖Fig.5 Training accuracy changing map

測試另外選取兩組飛行數據,數據處理方式同訓練數據集方式一樣,共生成4 320個測試樣本,將測試樣本輸入到網絡中,測試性能對比結果如表7所示。

表7 測試性能對比

由表7可以看出,1D-CNN雖然運行速度最快,但是識別誤差較大,準確率最低,只有83%左右,原因是簡單的網絡結構雖然參數較少,但是在樣本數量不夠充分的情況下表現不佳。ResNet準確度雖然高于1D-CNN,但是運行時間最長,原因是通過加深網絡層數在提升識別準確率的同時加大了網絡的計算量。上述兩個網絡結構測試結果與訓練結果相比差別較大,存在著一定的過擬合問題。MSDRN的測試結果與訓練結果保持一致,都達到了100%,并且計算量低于ResNet,在實現高準確度的同時保持著較高的運算效率,相對而言表現最好,表明了網絡的橫向拓展在一定程度上比縱向加深拓展的效果更好。

3.2 飛行訓練質量評估

為了驗證評估方法的有效性,選取三組斤斗機動數據進行仿真實驗,首先根據速度和加速度進行機動類型識別,識別結果如表8所示。

表8 機動識別結果

根據識別結果,在表3中找到對應的機動評估指標以及評估標準,可以得到斤斗機動的有效評估指標為進入速度、載荷大小、頂點速度。為了確定不同指標的重要程度,分別計算不同指標的權重大小。由第3節中的賦權方法可以得到斤斗機動動作的判斷矩陣,如表9所示,表9中的數值均為標度值。

表9 斤斗機動判斷矩陣

由式(4)～式(7)計算可得一致性比例CR為

(19)

然后,對機動飛行過程的不同階段進行分析以獲取各個指標的實際飛機參數。為方便評估,選取飛行過程中的進入段和頂點位置。在北天東坐標系下,當速度的Y軸分量大于30 km/h或加速度值大于15 m/s2時,視為機動開始;當速度的Y軸分量發生正負變化時,視為斤斗機動達到高度頂點,載荷大小為從機動開始到高度頂點這一過程的平均載荷大小。

3條飛行軌跡在機動時的進入速度、載荷大小、頂點速度的實際值和偏差值如表10所示。

表10 機動飛行參數

由表10中的飛行數據和表4給出的評估標準,可以計算得到不同指標的具體得分情況,再根據組合權重,便可得到評估結果得分,如表11所示。

表11 機動評估結果

在表11中,第1組數據和第3組數據評估結果為良好,第2組的評估結果為中等,具有一定的區分度,其中第3組數據的評估最好。經過權重計算后,各種動作指標得分如圖6所示。

圖6 各種動作指標得分Fig.6 Score for each action indicator

在本文方法中,首先對機動動作進行識別,針對不同種類的機動動作有著不同的評估指標及評估標準,提升了評估過程的可靠性。通過組合賦權方法得到的評估指標占比權重可以有效地區分出不同指標對于機動動作的重要程度,可以根據此標準對飛行員進行針對訓練,以提升飛行質量。從評估結果可以看出,基于機動動作識別的飛行訓練質量評估方法是可行的,可以對不同戰術機動動作進行有效評估。

傳統教練員打分均是基于部分觀測數據的主觀判斷,無法準確把握不同戰術機動的評估指標節點,并且對于不同指標的重要程度無法做出定量分析。本文提出的自動化的評估方法充分考慮到不同戰術機動的飛行特性,對每個評估指標做出定量分析,評估方法科學合理,更具說服性。

4 結束語

針對現有飛行訓練質量評估方法的不足,本文提出了一種基于戰術機動識別和組合賦權的評估方法。其主要意義有以下幾點:① 將戰術機動識別歸結為一個多分類問題,使用基于多尺度特征的深度殘差網絡的戰術機動識別方法,對基本動作和組合動作均有較高的識別率,對文中的6種機動動作類型的識別率達到了100%,而且參數選擇簡單,有很好的泛化性能,為后續的飛行質量評估奠定了基礎;② 結合戰術機動飛行特性,利用指標賦權方法,完成了對不同戰術機動動作種類的自動具體評估,擺脫了對教練員的依賴,評估結果同時融合了主觀專家知識和客觀數據特征,使得評估結果更加科學合理。所提出的飛行訓練質量自動評估方法降低了飛行訓練成本,提升了評估效率,具有較好的應用價值。但是,本文所提出的飛行質量自動評估方法只選取了部分飛行特征點,未充分考慮戰術機動動作的整體變化。在今后的研究中,將飛行整體過程納入評估指標考慮范圍,可以進一步提升評估效果。