基于RL-LSTM 的空中目標意圖識別方法*

張鵬程，張 勇，李建國，張鵬飛，魏 鑫

（北方自動控制技術研究所，太原 030006）

0 引言

敵方空中目標作戰(zhàn)意圖識別是目前態(tài)勢估計領域研究的熱點［1］，準確的識別結(jié)果是奪取制空勝利的重要支撐，同時可以為我方指揮員防空作戰(zhàn)指揮提供有力支撐［2-3］?，F(xiàn)代戰(zhàn)場復雜多變，目標狀態(tài)會呈現(xiàn)出動態(tài)、時序變化特征；同時，敵我雙方為了隱蔽作戰(zhàn)企圖，通常會釋放一些欺騙和虛假信息，存在著隱蔽性、欺騙性等很多不確定因素［4-5］，因此，僅憑指揮員經(jīng)驗來推測目標作戰(zhàn)意圖顯然不夠科學。這就迫切需要一種科學、高效、準確的智能化方法來輔助指揮員進行決策，以縮短決策時間，提升決策質(zhì)量。

目前圍繞目標作戰(zhàn)意圖識別問題的研究方法主要有模板匹配、證據(jù)理論、貝葉斯網(wǎng)絡、神經(jīng)網(wǎng)絡等。文獻［6-7］依據(jù)領域?qū)＜业能娛轮R構建模板庫，從敵方目標作戰(zhàn)行動中提取特征，通過推理特征與模板庫的匹配程度確定目標作戰(zhàn)意圖，但沒有考慮意圖的隱蔽性和欺騙性。孫越林等建立高維空間相似度模型［8］，結(jié)合D-S 證據(jù)理論（dempster-shafer evidence theory）進行目標作戰(zhàn)意圖識別，但使用證據(jù)理論可能會導致龐大的計算量。文獻［9-10］依據(jù)領域?qū)＜抑R構建貝葉斯網(wǎng)絡，但需要大量領域?qū)＜蚁闰炛R對意圖識別特征權重、先驗概率等進行量化，而現(xiàn)代戰(zhàn)場的復雜性使專家較難在短時間掌握目標的全面信息。

針對以上問題，部分專家探索利用神經(jīng)網(wǎng)絡自適應和自學習的能力來進行目標意圖識別。賈蘇元等從訓練特征數(shù)據(jù)中提取識別規(guī)則，并將識別規(guī)則記憶在網(wǎng)絡權值中以便后期意圖識別預測［11］，但由于隱藏層數(shù)較淺，難以表達復雜度高的問題。錢釗等利用長短時記憶神經(jīng)網(wǎng)絡對生成樣本集進行學習來形成敵方空中目標作戰(zhàn)意圖識別模型［12］，但沒有用優(yōu)化器進行優(yōu)化，導致收斂速度較慢。劉鉆東等采用自適應矩估計（Adam）優(yōu)化算法對長短時記憶（LSTM）網(wǎng)絡優(yōu)化后進行訓練［13］，但模型訓練初期Adam 自適應學習率的方差會比較大，導致識別準確率較低。

鑒于此，本文采用RAdam 來減少Lookahead 的訓練方差，實現(xiàn)準確識別；同時利用改進后的Lookahead 算法來加速3 層LSTM 模型收斂，實現(xiàn)快速識別。將空中目標屬性特征、意圖模式與對應的標簽輸入到RL-LSTM 模型中進行訓練并調(diào)整節(jié)點權值，模型在訓練過程中反復運行迭代后，可應用于空中目標作戰(zhàn)意圖識別。

1 空中目標作戰(zhàn)意圖識別問題

空中目標作戰(zhàn)意圖識別是指在動態(tài)環(huán)境下，將戰(zhàn)場信息分析、軍事知識以及作戰(zhàn)基礎相結(jié)合，來識別敵方作戰(zhàn)意圖。目標作戰(zhàn)意圖是敵方作戰(zhàn)人員思維模式的體現(xiàn)，無法進行直接觀測，為了實現(xiàn)這些作戰(zhàn)意圖，敵方目標在高度、速度等數(shù)據(jù)特征上符合某種特定規(guī)律，因此，可以訓練模型識別這些規(guī)律，就可以將敵方目標運動狀態(tài)數(shù)據(jù)輸入模型對意圖進行識別。

空中目標作戰(zhàn)意圖識別流程如圖1 所示。本文用仿真系統(tǒng)生成數(shù)據(jù)并打標簽，構成樣本數(shù)據(jù)集，進行預處理后劃分訓練集和測試集，用訓練集訓練RL-LSTM 模型，并用測試集驗證其性能，經(jīng)過反復試驗得到訓練好的網(wǎng)絡模型，即可應用于實際戰(zhàn)場環(huán)境用來識別敵方作戰(zhàn)意圖。

圖1 空中目標作戰(zhàn)意圖識別流程Fig.1 Air target operation intention recognition process

1.1 作戰(zhàn)意圖空間描述

對于敵方目標作戰(zhàn)意圖的識別，需針對不同的作戰(zhàn)場景、作戰(zhàn)樣式以及敵方可能擔負的作戰(zhàn)任務，來定義目標的作戰(zhàn)意圖集。文獻［14］根據(jù)海上防空的特點，將敵方空中目標的可選意圖空間確定為{撤退、掩護、攻擊、偵察}；文獻［15］以敵方空中目標近岸空襲軍事建筑為研究背景，建立的敵方空中目標意圖空間為{攻擊、突防、偵察、佯攻、電子干擾、監(jiān)視、撤退}；本文以防空作戰(zhàn)中敵方空中目標作為研究對象，依據(jù)領域?qū)＜医?jīng)驗將目標可能的作戰(zhàn)意圖定義為{攻擊、佯攻、預警、突防、電子干擾、撤退、偵察}7 類。

1.2 意圖識別特征描述

作戰(zhàn)意圖通常會在目標執(zhí)行特定作戰(zhàn)任務時，通過某些特征信息表現(xiàn)出來。例如低空突防時目標對應高度為50～100m、高空突防時為6 500～8000 m；低空偵察時對應高度為100～1 000 m、超高空偵察時為15 000 m 以上；敵機在執(zhí)行預警任務時會開啟雷達，而撤退時則通常會關閉雷達。

因此，本文依據(jù)領域?qū)＜抑R，建立了與空中目標作戰(zhàn)意圖關系緊密的特征空間{速度、加速度、高度、敵我距離、航向角、方位角、雷達散射截面、機動類型、電子干擾狀態(tài)、雷達狀態(tài)}，如下頁表1 所示。

表1 空中目標作戰(zhàn)意圖特征空間Table1 Air target operation intentions feature space

2 樣本數(shù)據(jù)處理

由于原始數(shù)據(jù)無法被神經(jīng)網(wǎng)絡模型直接接收和處理，需要分別將數(shù)值型數(shù)據(jù)、非數(shù)值型數(shù)據(jù)與意圖模式進行處理。

2.1 歸一化處理

為了消除量綱影響及加快模型收斂速度，需對數(shù)值型數(shù)據(jù)進行歸一化處理。本文采用最大-最小標準化對速度、加速度、高度等7 種屬性數(shù)據(jù)進行歸一化處理。對于數(shù)值型數(shù)據(jù)，第k 種數(shù)據(jù)定義為Ak，第k 種第i 個原始屬性值為aki，則Ak=［ak1，ak2，…aki，…akl］（k=1，2，…，7）；l 為數(shù)據(jù)總數(shù)。將aki映射到區(qū)間［0，1］的結(jié)果為áki，其過程為

式中：minAx 為第x 種屬性Ax 的最小值；maxAx 為屬性Ax 的最大值。

2.2 數(shù)值化處理

對于目標機動類型、電子干擾狀態(tài)、雷達狀態(tài)共3 種非數(shù)值型數(shù)據(jù)進行編碼記錄，例如電子干擾狀態(tài)編碼為1 或0，1 表示開啟，0 表示關閉，需要將其進行數(shù)值化處理并轉(zhuǎn)變到［0，1］區(qū)間內(nèi)。對于非數(shù)值型數(shù)據(jù)，第r 種數(shù)據(jù)定義為Br，第r 種第h 個非數(shù)值型數(shù)值為brh，則Br=［br1，br2，…brh，…brw］（r=1，2，3）；w 為數(shù)據(jù)空間的大小。將brh映射到區(qū)間為［0，1］的范圍內(nèi)，過程為

2.3 意圖編碼

目標作戰(zhàn)意圖為分類數(shù)據(jù)，需要將意圖空間中的7 種模式分別與{0，1，2，3，4，5，6}標簽值相對應來進行編碼，而后輸入到模型中訓練。在實際戰(zhàn)場中，通過輸出的標簽值與意圖的對應關系，就可以得到識別出的目標意圖。作戰(zhàn)意圖與模型輸出對應關系如圖2 所示。

圖2 作戰(zhàn)意圖標簽化處理Fig.2 Labeling of operation intentions

圖3 長短時記憶神經(jīng)網(wǎng)絡模型Fig.3 Neural network model of long short-term memory

3 作戰(zhàn)意圖識別模型構建

3.1 LSTM-長短期記憶網(wǎng)絡模型

長短時記憶網(wǎng)絡（LSTM）［16］是一種時間循環(huán)神經(jīng)網(wǎng)絡，通過引入記憶細胞解決長期依賴問題，能夠有效地學習到防空作戰(zhàn)時序變化數(shù)據(jù)特征中的時變規(guī)律，且符合指揮員對空中目標作戰(zhàn)意圖識別的思維模式；同時，通過LSTM 可以將意圖識別問題有效地轉(zhuǎn)換為基于時序變化運動特征的多分類問題。因此對于實時變化的空中目標作戰(zhàn)意圖識別問題，LSTM是良好的解決方案，本文選用3 層LSTM 模型。

3.2 RL 優(yōu)化算法

鑒于實際防空作戰(zhàn)中戰(zhàn)機稍縱即逝，需要快速準確地識別敵方空中目標作戰(zhàn)意圖，本文提出用RL算法優(yōu)化LSTM 模型，算法流程如下所示：

Step 1 備份現(xiàn)有參數(shù)θt；

Step 2 從θt開始采用RAdam 更新k 步，得到新的權重；

Step 3 更新模型權重θt←θt+α（-θt）；

Step 4 判斷參數(shù)θt是否收斂。如果沒有收斂，令t=t+1，然后重復步驟1 至步驟4，直至誤差收斂到指定閾值，停止訓練。

梯度下降系列算法大多通過融入動量法或者優(yōu)化學習率的方法來改進探索訓練過程，但模型收斂過程會出現(xiàn)不穩(wěn)定現(xiàn)象。Lookahead 算法［17］采用了一種全新的設計：維持兩套權重：Fast Weights 和Slow Weights，前者較后者稍快。Lookahead 算法允許Fast Weights 不斷向前探索，同時Slow Weights 留在后面帶來更好的長期穩(wěn)定性。部分公式如下：

RAdam 能根據(jù)方差分散度，動態(tài)地打開或關閉自適應學習率，減少Lookahead 算法自適應學習率的方差，提升識別準確率；RL 算法通過使LSTM 模型收斂過程更加穩(wěn)定來加速模型的收斂，實現(xiàn)目標意圖快速識別。二者結(jié)合特別適用于空中目標作戰(zhàn)意圖識別［18］。

3.3 空中目標意圖識別模型總體設計

本文基于RL-LSTM 設計了空中目標意圖識別模型，圖4 為模型的基本結(jié)構，共分為3 部分：輸入層、隱含層和輸出層。其中，隱含層由RL-LSTM 層和全連接層組成。模型的基本流程為：1）將樣本編碼成特征向量，作為后續(xù)神經(jīng)網(wǎng)絡模型的輸入；2）將特征向量輸入到RL-LSTM 模型中，并訓練網(wǎng)絡；3）將RL-LSTM 模型的輸出進行邏輯回歸，經(jīng)過模式分析得出目標意圖識別結(jié)果。

圖4 空中目標意圖識別模型基本結(jié)構Fig.4 Basic structure of air target intention recognition model

4 仿真實驗分析

實驗將RMSProp、Adam、RAdam、Lookahead、RL算法與LSTM 模型相互結(jié)合，以不同實驗指標比較了上述算法對LSTM 模型的優(yōu)化效果。

4.1 實驗數(shù)據(jù)準備及環(huán)境

實驗采用從某作戰(zhàn)仿真平臺獲得的多意圖空中目標運動樣本數(shù)據(jù)集作為仿真數(shù)據(jù)集。每個樣本中包含連續(xù)12 幀的狀態(tài)信息（每幀信息包括速度、加速度、高度、敵我距離、航向角、方位角、雷達散射截面、機動類型、電子干擾狀態(tài)和雷達狀態(tài)共10 維特征數(shù)據(jù)）。由于樣本集數(shù)據(jù)量比較大，先由計算機按照領域?qū)＜乙罁?jù)經(jīng)驗知識編寫的目標作戰(zhàn)意圖識別相關規(guī)則對樣本集進行分類，其中在一定數(shù)量的樣本中，識別結(jié)果與經(jīng)驗知識存在誤差，再由領域?qū)＜覍ζ溥M行修訂。由于目標狀態(tài)的連續(xù)性，可把樣本中最后時刻目標狀態(tài)作為運動信息輸入到模型。共分為7 種作戰(zhàn)意圖，數(shù)據(jù)占比情況為攻擊23.8%、佯攻11.1%、預警10.2%、突防12.7%、電子干擾9.6%、撤退20.4%、偵察12.2%，樣本規(guī)模為12 000。分別隨機抽取80%數(shù)據(jù)構成訓練數(shù)據(jù)庫，剩余20%構成測試數(shù)據(jù)庫。

本實驗采用Python 語言，學習框架為Pytorch，運用Pycharm2021 軟件進行仿真，環(huán)境為Win10 系統(tǒng)、RTX3080 顯卡、16 GB 內(nèi)存。實驗中根據(jù)模型的識別準確度作為參考指標，經(jīng)過多次運行迭代調(diào)整超參數(shù)，最終設置參數(shù)如下頁表2 所示。

表2 模型主要參數(shù)表Table2 Main parameters table of the model

4.2 模型準確性驗證實驗

如表3 和下頁圖5 所示，實驗對比了5 種模型在本數(shù)據(jù)集上的識別準確率，結(jié)果表明，隨著迭代次數(shù)的增加，各模型的識別準確率逐步遞增。其中RAdam 算法相比于Adam，能夠根據(jù)自適應率的方差動態(tài)地開關自適應學習率來調(diào)整梯度，因此得到了比Adam 算法更好的準確率。Lookahead 算法和RL 算法維持兩套權重可以使模型更快地收斂，但RL-LSTM 模型的準確率有了明顯的提升，達到了0.9915，說明Fast Weights 部分采用RAdam 更新的Lookahead 算法優(yōu)化效果更好。實驗表明RL-LSTM模型的識別準確率要高于其他4 種模型。

表3 優(yōu)化模型的精度對比Table3 The precision comparison of the optimized models

圖5 各模型在數(shù)據(jù)集上準確率變化情況Fig.5 The change of accuracy of each model on the dataset

4.3 模型泛化性驗證實驗

為了更加精準地觀測預測值與真實值的差距，比較各模型在數(shù)據(jù)集上的損失值，又因為意圖識別網(wǎng)絡主要實現(xiàn)的是分類識別任務，所以選取分類交叉熵損失函數(shù)categorical_crossentropy 評估差異，計算公式為：

式中，LCE為模型得到的概率分布與真實分布的差異；yi為真實意圖類別標簽；y^i為網(wǎng)絡識別的意圖類別標簽；Noutput為網(wǎng)絡模型輸出的維度。

圖6 中各模型在訓練集和測試集上分別進行損失值對比，通過對比發(fā)現(xiàn)，RAdam 算法能夠動態(tài)地調(diào)整梯度，因而RAdam-LSTM 在數(shù)據(jù)集上損失值小于RMSProp 以及Adam 優(yōu)化后的模型?？梢钥吹絃ookahead-LSTM、RL-LSTM 模型各自在不同數(shù)據(jù)集上損失值差異均較小，說明采用兩套權值可以帶來更好的穩(wěn)定性。實驗表明，RL-LSTM 模型取得比其他模型更好的效果，在訓練集和測試集上損失率均穩(wěn)定在0.1 附近，說明了該模型的泛化能力較強，能夠在不同數(shù)據(jù)集上較為準確地識別大多數(shù)樣本，即RL-LSTM 模型對戰(zhàn)場新鮮實時樣本的適應能力較強，適用于實際戰(zhàn)場來識別空中目標作戰(zhàn)意圖。

圖6 各模型在不同數(shù)據(jù)集上的損失率變化情況Fig.6 Thechangeofthelossrateofeachmodelondifferentdatasets

4.4 模型適用性驗證實驗

在空中目標作戰(zhàn)意圖識別問題中，要盡可能避免對敵方目標作戰(zhàn)意圖誤檢漏檢。指標AUC 為正樣本的得分比負樣本大的概率，值越大且越接近1，模型分類效果越好，誤檢的可能性越小。Macro-F1兼顧了精確率和召回率的關系，值越高的模型精確率高且漏檢概率低。相關公式如下：

其中，TP、FP、TN、FN 分別代表真陽率、假陽率、真陰率和假陰率。

ROC 曲線是準確性的綜合體現(xiàn)，AUC 為ROC曲線下的面積；召回率為正樣本的準確率，精確率是識別結(jié)果為該樣本的集合中識別正確的比率，綜合模型準確性驗證實驗結(jié)果，得到RL-LSTM 模型的AUC 值、精確率及召回率均高與其他模型。如圖7 所示，本文提出的目標意圖識別方法得到的Macro-F1和AUC 值分別達到了0.994 和0.984，相比于RMSProp-LSTM 模型分別提高了4.3%和3.7%，且明顯高于其他模型，說明RL-LSTM 模型在意圖識別問題上能較準確地劃分邊界區(qū)域，驗證了模型在該問題上的有效性和適用性。

圖7 模型的評估指標對比Fig.7 Comparison of evaluation indicators of the model

5 結(jié)論

針對防空作戰(zhàn)目標意圖識別問題，提出了一種基于RL-LSTM 的空中目標意圖識別方法。通過理論分析和仿真實驗可以得出以下結(jié)論：

1）來襲目標的運動信息具有時序變化特性，LSTM 模型能夠有效地學習到時序變化數(shù)據(jù)特征中的時變規(guī)律，有著良好的識別效果，是解決實時變化的意圖識別問題的良好方案。因此，本文提出用LSTM 作為基礎模型來實現(xiàn)敵方空中目標意圖識別。

2）通過分析防空作戰(zhàn)意圖識別問題特點以及現(xiàn)有優(yōu)化算法的不足，將RAdam 與Lookahead 相結(jié)合來優(yōu)化3 層LSTM 模型，識別準確率最終可達99.15%，Macro-F1為0.994，AUC 值為0.984。通過分析各項實驗指標，證明RL-LSTM 模型較適用于解決目標作戰(zhàn)意圖識別問題。

空中來襲目標的意圖識別是戰(zhàn)場態(tài)勢認知的重要組成部分之一，提升意圖識別模型各方面指標具有重要意義，可以進一步為后續(xù)的態(tài)勢認知以及指揮員指揮決策提供指導。