基于機器學習的導彈干擾試驗效果評估實證研究

閆曉偉，曲豫賓

（1.海軍裝備部裝備保障大隊，北京100036；2.桂林電子科技大學，廣西桂林541004）

目前，海戰電子對抗愈加激烈，艦船面對導彈襲擊始終處于較為被動的局面。反艦導彈的干擾研究是海軍艦艇海上防御中必不可少的一環。導彈具有快速突防、破壞力較強的特點，構建復雜的電磁干擾環境是應對反艦導彈威脅極為有效的手段。然而，針對反艦導彈的干擾評估卻存在著諸多影響因素，難以有效量化評估。自20世紀60年代以來，信息準則、功率準則、效率準則是用于評估干擾效果的三大準則。同時，以此三大準則為基礎衍生了多種應用方法[1-2]。然而這些方法都是從定性的角度對導彈干擾評估角度進行分析[3]。在復雜電磁環境下，影響導彈作戰效能有如下因素：導彈干擾的時機；干擾武器與被干擾導彈末端雷達的對準角度；參與干擾設備的功率大小；采用的干擾樣式；氣象地理環境等客觀因素；被干擾導彈的抗干擾措施等[3]。葉厚良等人從簡化模型抓住重點特征評估導彈干擾評估角度出發，選擇了干擾頻率、干擾功率、干擾時機、電磁環境、干擾樣式等影響因素，評估導彈實驗干擾效果[4]；白爽等人從綜合分析雷達導引頭與紅外成像導引頭的基本干擾原理出發，對導彈干擾試驗效果進行評估[5]；牛得清等人從紅外對抗角度使用改進后的拉丁超立方采樣方法獲取評估數據[6]；李慎波等從導彈的進入角度等技術參數出發，研究面源紅外誘餌干擾效能的影響情況[7]。在以上分析導彈干擾效能的仿真實驗中，基于機器學習的模型被廣泛使用，多層感知機[4]、隨機森林[6]等模型被用于分析仿真實驗中的數據集。

然而，基于機器學習對導彈干擾數據進行分析的過程中，卻存在典型的樣本數量不足與類不平衡問題。試驗與評估為武器裝備定型的一個非常重要的環節，用于全面考核武器的各項技術指標。武器系統研制周期較長，試驗費用較高，一般傾向于把試驗與評估放在一起綜合評定。在試驗與評估過程中，由于受靶場條件、安全性和時間、經費等方面的限制，只能獲取小樣本的武器測試數據[8]。這些現場試驗數據是用于進行武器性能評估的珍貴數據。目前，美軍提出的“一體化試驗鑒定”概念也是為了解決試驗成本高昂等問題，通過數據共享方式來解決數量過少的問題[9]。樣本數量不足的問題極大地影響了武器裝備的試驗評估。繼而，武器試驗過程中的數據在武器性能未達到指標的演化過程中，必然存在有效試驗與無效試驗呈現出不平衡的類分布情況。如導彈干擾試驗過程中，在干擾功率未能達到有效值情況下，預計會出現導彈干擾失敗次數遠遠大于導彈干擾成功次數的情況。因此，如果不對這些存在類不平衡的數據集進行預處理，必然影響機器學習模型的學習與建立。傳統的基于機器學習的對類不平衡數據集的處理方法包括對數據集中多數類欠采樣、對數據集中少數類進行過采樣和基于代價敏感的分類方法等[10]。對于導彈干擾試驗來說，由于本身數據量有限，對多數類欠采樣的方式不適合該類試驗。基于代價敏感的分類方法等在處理數據量較多的情況下具有優勢，如果在真實武器試驗數據量較少的情況下，最好采用對數據集進行過采樣的方式。過采樣的方式中，基于SMOTE等算法雖然可以根據歐式距離等來創建少數類數據集，但這些數據集如果在數據量較少的情況下，其有效性仍待商榷。因此，隨機過采樣算法被用于導入干擾試驗原始數據預處理過程。

基于此，本文提出將隨機過采樣用于機器學習的分類模型訓練過程中，設計了基于隨機森林的2 階段的數據分析框架。首先，采集并對導彈干擾數據進行隨機過采樣預處理，然后，使用隨機森林建立分類模型。使用常見的AUC（Area Under Curve，AUC）指標作為分類性能的評價指標。在開源的導彈干擾試驗數據集上進行多次重復試驗，對試驗結果進行統計分析，證明基于2 階段的隨機森林分類方法能夠有效提升導彈干擾評估模型的性能。

1 基于機器學習的導彈干擾試驗效果評估

1.1 基于機器學習的2階段導彈干擾試驗效果評估框架

武器裝備是嚴格區分于普通民用產品的高科技產品，具有質量要求極高等特點。在武器裝備的生命周期中，需要通過一系列的試驗來檢驗方案是否合理，戰術指標是否能夠達到要求[8]。其試驗流程如圖1所示。

圖1 導彈干擾武器裝備試驗流程Fig.1 Test process of missile jamming weapon equipment

在試驗評估過程中，收集導彈干擾設備的原始數據。試驗由于受靶場試驗條件、經費等因素的制約，試驗次數較少，產生的真實數據也較少。然而這些試驗數據卻是無可爭辯的真實可靠數據，是進行武器系統定型的最終檢驗考核手段。如何能夠深入挖掘有限的數據集，從數據集中建模，以便后續對設備定型進行輔助驗證，這是武器裝備評估中至關重要的問題。

以試驗評估數據集為基礎，提出基于機器學習的2階段導彈干擾試驗效果評估框架。該框架首先通過隨機過采樣對數據集進行預處理，然后，采用隨機森林分類方法進行建模分析。該2階段導彈干擾試驗效果評估框架的整體流程如圖2所示。

圖2 2階段導彈干擾試驗效果評估框架Fig.2 Evaluation framework of two-stage missile jamming test effect

該框架分為原始數據集預處理階段與隨機森林模型訓練階段。訓練完成的模型可以用于對測試數據集進行預測。

在原始數據集預處理階段，如圖2所示，導彈干擾有效樣例與導彈干擾無效樣例之間存在著明顯的差異。導彈干擾有效樣例數目明顯多于導彈干擾無效樣例，這個原始數據集中存在著明顯的類不平衡現象。如前所述，采用隨機過采樣方式更加有效可靠。通過引入隨機過采樣策略，導彈干擾無效樣例子數據集的容量達到與導彈干擾有效樣例子數據集匹配的數量。將預處理完成的數據集作為第2個階段隨機森林模型的輸入數據集。在隨機森林模型的訓練階段，通過建立多棵決策樹的方式來完成對導彈干擾評估模型的構建。最終，可以將該模型用于測試數據集，完成模型的檢驗。

1.2 基于小數據樣本的隨機過采樣策略

武器裝備經過試驗評估階段產生的原始數據集為小數據樣本數據集，定義：

設Smax與Smin數據集間達到的平衡比值為1.0。面向導彈干擾試驗評估的隨機過采樣策略具體步驟如下[11]：

1）隨機從Smin中抽取一些少數類樣本；

2）復制隨機抽取的樣本，記為集合Srandom；

3）將新的數據集合Srandom添加到少數類數據集Smin中，擴大數據集得到新的少數類集合Smin-new；

4）重復步驟1）～3），直到Smax與Smin數據集之間達到的平衡比值為1.0時，則終止該算法。

經過隨機過采樣以后，形成的輸出數據集為Smax與Smin-new。這2 個數據集之間達到平衡，可以作為隨機森林模型的輸入數據集。

1.3 面向導彈干擾試驗的隨機森林模型

以輸入的Smax與Smin-new數據集作為訓練數據集，即可以開始訓練隨機森林模型。針對面向導彈干擾試驗評估問題，欲得到泛化能力較強的分類器，則可以通過創建多個獨立的具有弱分類效果的決策樹來共同決策。定義集合D，D=Smax∪Smin-new，采用自助采樣法[12]，每次從集合D 中采集一個樣本，將其拷貝到集合D′，以該集合D′作為訓練數據集構建一棵決策樹。樣本在m 次采樣過程中始終不被采到的概率是1 -m[13]，取極限得到：

原始數據集D 中約有36.8%的樣本未能出現在采樣數據集D′中，不同的采樣數據集D′保證了不同決策樹的獨立性。隨機森林是集成學習的一種常用擴展變體[14]。在隨機森林中，對基決策樹的每個節點，從該節點的屬性集合中隨機選擇一個包含k 個屬性的子集，基于該子集選擇最優的屬性劃分。一般推薦k 取值為log2d。假設當前樣本集合D′中第n 類樣本所占的比例為pn（n=1,2），分別表示導彈干擾無效與導彈干擾有效。則D′的信息熵定義為：

數據集中，離散屬性有5個可能的取值，分別為干擾頻率、干擾功率、干擾時機、電磁環境、干擾樣式。如采用干擾頻率來對樣本集D′進行劃分，每個分支的取值定義為{a1，a2，a3，a4} ，則會產生4 個節點。以不同節點所占的比重不同計算信息增益的公式為：

信息增益越大，意味著以該屬性進行劃分提升的純度越高，則可以作為分類屬性。多個不同的決策樹使用投票機制對樣例進行分類。

分類模型沒有采用在圖像識別領域比較流行的卷積神經網絡等深度學習算法，這與數據集數量較少有關[15]。隨機梯度算法需要大量的樣例才能夠對目標函數進行優化[16]。同樣，也沒有考慮在自然語言處理領域應用較多的循環神經網絡結構[17]，對詞嵌入的訓練也需要大量的標注數據集，而目前可用訓練數據集較少[18]。

2 試驗設計

本節將簡要描述試驗過程，包括試驗數據集、性能評價指標以及試驗中用以進行比較的損失函數等。所有試驗基于至強E5-2670的CPU與16G內存的工作站完成。試驗使用sklearn 作為實現機器學習分類方法的實驗平臺，各種模型參數均采用默認值。設計如下研究問題來指導試驗設計：基于2 階段的隨機森林分類模型與其他基準方法是否存在評估性能差異。

2.1 評測對象

該試驗采用的數據來源于根據相關先驗數據建立的學習樣本集[4]，數據集描述見表1。

在評估導彈試驗干擾效果的過程中，導彈的距離方位等基本可以確定，因而采用干擾頻率、干擾功率、干擾時機、電磁環境、干擾樣式5種因素作為評估的重要特征。在專家標注的過程中，針對數據集的具體處理過程如下：若通過5 個干擾因素隸屬度計算出的干擾效果數值，經歸一化后在[0.67，1]內，則干擾效果評估為“優”；若在[0.33，0.67）內，則干擾效果評估為“中”；若在[0，0.33）內，則干擾效果評估為“差”。原始的數據集并未提供導彈干擾是否有效的標注位，數據的加權處理過程為：將數據樣本中干擾效果評估為“優”和“中”的數據樣本統一標注為“導彈干擾有效”，標志位記為“1”；其他數據樣本標注為“導彈干擾無效”，標志位記為“0”。通過數據集可以看出，該數據集為典型的類不平衡數據集，且樣本容量較小。

表1 數據集描述Tab.1 Dataset Description

2.2 試驗流程和方法參數設置

為了減少數據的隨機性對試驗結果的影響，整個試驗重復執行多次。試驗重復3 遍，每遍重復的次數分別為20 次、30 次、50 次。在試驗過程中，對數據進行了分層抽樣處理，保證訓練數據集和測試數據集的分布一致性，當前試驗過程中測試數據集的比例設定為30%。重復過采樣過程中，少數類與多數類數量最終達到的比值為1.0。

2.3 評測指標

針對類不平衡數據集的常見評價指標包括召回率（recall）、F1-measure、AUC 等。在本試驗中采用的AUC指標，常作為二元分類問題中分析類不平衡的數據集的分類指標。針對二元分類問題的相應的混淆矩陣如表2所示。

表2 混淆矩陣Tab.2 Confusion Matrix

在所有真實值為陰性的樣本中，偽陽性率被定義為錯誤地判斷為陽性之比率：

在所有真實值為陽性的樣本中，真陽性率被定義為被正確地判斷為陽性之比率：

以不同的閾值對所有樣本計算相應的坐標點（TPR，FPR），得到的相應曲線下的面積值即為AUC值。AUC 值越高，表示模型分類性能越好，其取值區間為（0，1）。

2.4 基準方法

為了比較不同的分類模型對導彈試驗干擾評估數據集的影響，實現了多個常見的分類模型，在同等條件下進行對比試驗。試驗中用到的5個分類模型如下：

1）多層感知機模型，該模型是葉厚良等在分析數據集中使用到的模型[3]，未考慮類不平衡問題，在試驗中作為baseline，記為mlp；

2）隨機森林模型，未考慮類不平衡問題，記為rf；

3）支持向量機，未考慮類不平衡問題，記為svm；

4）樸素貝葉斯模型，未考慮類不平衡問題，記為nb；

5）基于2 階段的隨機森林模型，通過隨機過采樣方式解決類不平衡問題，以隨機森林作為分類模型，記為rf_imb。

3 結果分析

試驗中，前4 個分類模型都是針對存在類不平衡問題的數據集進行處理的，提出的2 階段的隨機森林分類模型處理的是經過隨機過采樣的數據集。圖3展示的是重復運行次數為50次情況下，不同分類模型的AUC盒圖。從圖3可以看出，在中位數上，rf_imb分類器獲得了最佳的分類性能，而且其中位數比基方法有近60%的提升。同時，前4個分類模型都表現出了較大的一致性，一方面是中位數值均在0.5左右，另外一方面是分類性能都出現了明顯的較大波動。這個分類性能的表現充分說明類不平衡對導彈試驗干擾評估數據集有明顯的副作用。rf分類器和rf_imb分類器相比，rf_imb分類器考慮了類不平衡問題，而大量的中位數在0.5左右也說明rf分類器并沒有表現出實用的分類性能。因此，建議在后續的試驗中，不采用未做類不平衡處理的分類器。

圖3 采用不同分類模型使用AUC指標對比的盒圖（重復次數50次）Fig.3 Box plots of different models on the AUC indicator（repeat 50 times）

由圖4 與圖5 的AUC 盒圖結果可以看出，在不同試驗不同重復次數的情況下，在中位數上，rf_imb分類器都獲得了最佳的分類性能。而且其他未進行類不平衡處理的分類器同樣都表現較差，其中位數都在0.5左右，這說明這些分類器缺乏實用的可操作性。因此，可以認為rf_imb分類器具有較好的泛化性能與分類性能。

圖4 采用不同分類模型使用AUC指標對比的盒圖（重復次數30次）Fig.4 Box plots of different models on the AUC indicator（repeat 30 times）

圖5 采用不同分類模型使用AUC指標對比的盒圖（重復次數20次）Fig.5 Box plots of different models on the AUC indicator（repeat 20 times）

4 總結與展望

隨著反艦/反潛武器更新換代和性能的多樣化，艦船面臨著越來越大的毀傷威脅，如何在艦船設計階段考慮艦艇武器裝備針對來襲導彈的干擾效果就顯得十分重要。針對復雜電磁環境下導彈干擾試驗影響因素眾多且難以量化、試驗數據采集困難以及試驗數據中普遍存在類不平衡等問題，基于機器學習創建導彈試驗干擾效果評估模型，采用隨機森林、支持向量機、樸素貝葉斯、多層感知機等常見模型對導彈試驗干擾效果進行評估。特別針對小數據樣本中的類不平衡問題提出2 階段分類模型，采用過采樣方式解決類不平衡問題并采用隨機森林進行分類。基于開源的導彈干擾效果評估數據，通過實證研究說明，基于過采樣的隨機森林模型在干擾效果評估問題中具有較強的泛化能力和魯棒性，在AUC 指標上，該模型比多層感知機模型在中位數上最多提高60%，建議在后續的試驗中采用該模型進行導彈干擾效果評估。從試驗中可以看出，類不平衡問題對分類器性能有著較大的影響，在后續的試驗過程中，須處理類不平衡問題。