基于優化隨機森林的對地攻擊無人機自主作戰效能評估

邵明軍, 劉樹光, 李姍姍

(空軍工程大學 裝備管理與無人機工程學院, 西安 710051)

0 引 言

隨著信息技術、 智能技術、 無人技術的迅速發展與大量應用, 無人機作為集成多種先進技術于一體的空中作戰平臺得到了飛躍式發展, 并在世界各國軍事領域得到廣泛應用。 同時, 依托各類先進技術催生出無人機新的作戰形態, 也在各種作戰、 演訓任務中發揮著至關重要的作用。 當前, 如何衡量無人機裝備對作戰態勢的影響程度以及把握無人機自主作戰性能強弱, 是研究無人機技術發展與實際作戰運用相結合的迫切需要。 建立科學合理的無人機自主效能試驗評估方法是全面清晰了解無人機裝備性能、 優化調整參數以提高作戰能力的有效途徑, 也是綜合評估無人機技術和自主作戰能力的關鍵措施。

近年來, 不少學者基于機器學習算法對無人機自主作戰效能進行評估研究, 并取得豐碩成果。 文獻[1]基于自適應粒子群算法優化反向傳播神經網絡, 建立了無人機空地作戰效能評估模型, 有效避免了無人機作戰效能評估的主觀性和系統的不確定性, 實現了無人機作戰效能的快速、 高精度評估。 文獻[2]結合無人機作戰使用過程, 提出了基于動態貝葉斯網絡方法的無人機作戰效能評估模型, 并利用Netica工具對無人機作戰效能進行動態評估仿真, 驗證了模型的可行性。 文獻[3]為獲得精確的無人機作戰效能評估結果, 利用混沌粒子群算法對支持向量機超參數進行優選處理, 構建了混沌粒子群-支持向量機的作戰效能評估模型, 其評估結果表明模型具有較好的計算精度和較高的評估效率。 然而, 在實際應用過程中, 以上模型也存在較多不足, 如神經網絡模型訓練所需時間較長存在多個極值點、 容易陷入局部極小值等問題, 貝葉斯網絡模型處理高維數據、 非線性問題較為困難且計算復雜度較高, 支持向量機模型也存在超參數選取、 調節較為困難等問題。

隨機森林算法作為一種機器學習算法, 目前已有較多的研究表明, 其具有訓練速度快、 預測精度高、 泛化能力強、 不易過/欠擬合等優點, 能夠很好處理多參數之間的非線性映射問題, 并在醫學、 材料學、 地質學等[4-6]眾多領域得到了廣泛應用。 近年來也逐漸應用到裝備效能評估方面, 文獻[7]基于隨機森林算法構建了作戰效能評估模型, 實現了真實作戰條件下運用機器學習方法對反艦導彈武器系統作戰效能進行評估的目的。 文獻[8]面向系統指標體系與評估結果值構建隨機森林模型, 設計系統效能指標貢獻率評估方法, 實現了評價指標的重要度排序。 然而, 以上基于隨機森林算法構建評估模型時, 沒有充分考慮模型本身對性能參數的要求, 僅依靠系統自身隨機或者主觀設置參數, 勢必會引起模型效率低下無法發揮出最佳性能, 進而影響效能評估結果。 因此, 為解決隨機森林超參數選擇主觀性強、 泛化能力差、 評估效率低下等問題, 本文引入了向量加權平均算法對隨機森林模型參數進行尋優, 通過向量的不同加權平均規則, 來達到快速尋優目的, 最終建立基于向量加權平均算法優化隨機森林的無人機自主作戰效能評估模型, 通過實際算例, 與其他機器學習方法對比, 驗證了該模型的有效性和實用性。

1 基于隨機森林算法的理論基礎

1.1 隨機森林(RF)算法原理

隨機森林算法是2001年由Leo Breiman提出的一種基于決策樹算法和Bagging算法結合而形成的機器學習算法[9], 同時也是一種現代分類和回歸技術。 其核心內容為集成學習, 實質是由若干決策樹組成的分類器, 通過組合多棵隨機形成的決策樹, 形成一個預測性能更加穩定的強分類器, 最終由所有決策樹的預測結果決定模型的輸出值[10]。

1.1.1 決策樹算法

決策樹是一類常見的機器學習算法, 是基于樹的結構來進行決策的一種算法, 可以用于解決分類或回歸問題。 典型的決策樹是由根節點、 中間節點和葉子節點構建而成, 根節點是所有樣本數據的集合, 以此為起點自頂向下遞歸構建, 并按照一定規則對樣本特征提取、 分類劃分形成中間節點, 繼續遞歸構建, 最終形成具有相似特征的數據子集, 稱為葉子節點。

在決策樹的構建過程中, 如何確定節點的最優分裂準則, 是構建隨機森林模型是否可靠的關鍵, 當前關于節點分裂法則在分類問題中主要使用信息增益、 信息熵、 Gini系數; 在回歸問題中主要使用均方誤差、 平均絕對誤差準則等[8]。 由于對作戰效能的評估結果需要所有決策樹共同決定, 本質上為回歸預測問題, 因此, 根據最小均方誤差準則, 可以實現決策樹節點的分裂, 即在分裂樣本的對應節點處按照最小均方差準則, 采用二元遞歸分裂方法將樣本劃分為2個樣本集, 求出同時滿足2個樣本集均方誤差最小以及均方誤差之和最小條件下的特征及特征值劃分點。 損失函數為

(1)

式中:A為隨機抽樣樣本;s為對應的劃分節點;xi為對應樣本集中的特征值;yi為對應樣本集中的目標值;c1和c2分別為2個樣本集D1和D2的輸出均值。

依據式(1), 繼續對已劃分的每個樣本集再次進行劃分, 重復操作直到滿足停止條件為止, 最后將樣本空間劃分為D1,D2, …,Dm。 則生成的決策樹數學表達式為

(2)

式中:I(x∈Di)為示性函數(當x∈Di時取1, 反之取0)。

1.1.2 Bagging算法

Bagging算法是一種并行結構的集成學習方法, 其通過Bootstrap采樣法對樣本實行有放回采樣, 不斷地提取樣本直到構建出多組不同的訓練樣本集合, 這些樣本集合分別用來訓練不同的弱分類器模型, 然后將這些弱分類器模型經過一定的結合策略形成一個強分類器模型, 這個過程中弱分類器之間是相互獨立的, 方法原理如圖1所示。

圖1 Bagging算法原理圖Fig.1 Schematic diagram of Bagging algorithm

1.1.3 隨機森林模型

隨機森林是一個由多棵決策樹而形成的綜合學習模型, 結合了Bagging和決策樹算法, 其不僅對樣本集進行隨機取樣, 同時對于當中的特征屬性也隨機選取, 從而構建出大量相互獨立的決策樹, 并利用每棵樹對特征和樣本采樣的差異性, 有效降低過擬合, 提升整體泛化能力[11], 其模型表達式為

(3)

式中:N為決策樹的數量;h(x,ai)為單棵決策樹預測結果;fRF(x)為隨機森林預測值的輸出。

隨機森林模型的構建主要過程為

(1) 從原始數據中采用Bootstrap抽樣法隨機有放回的抽取n個新的訓練樣本集, 并且每個樣本之間相互獨立, 通常每個樣本集只包含原始訓練集2/3的樣本, 剩下1/3未被抽取的數據被稱為袋外數據(Out of Bag, OOB)[12]。

(2) 對每個通過Bootstrap抽樣法構建的樣本集建立決策樹模型, 在每個中間節點選擇屬性時, 從樣本集的所有屬性中隨機抽取若干屬性作為該節點的屬性集, 并以最小均方誤差MSE準則選取最優屬性進行分裂, 直到決策樹生長完全從而形成“森林”。

(3) 輸入測試集樣本, 每棵決策樹計算生成一個預測值。 在綜合所有預測值的基礎上, 通過加權得出最終結果。 對于回歸預測問題, 取所有決策樹預測值的加權平均值作為最終預測值。

1.2 INFO優化算法

向量加權平均算法是由Ahmadianfar等于2022年提出的一種基于種群的新型智能優化算法[13], 該算法通過改進加權平均方法和更新向量來實現尋求最優解的目的, 其中更新規則、 向量組合和局部搜索是INFO算法的3個核心過程。

在INFO算法中, 通過更新規則算子可以增加最優解搜索過程中種群的多樣性, 這也是區別于其他算法的本質特征, 主要由兩部分組成: 一是從一組隨機向量的加權均值中提取基于均值的規則并生成新的向量; 二是加入了收斂加速部分以提高全局搜索能力。 更新規則主要公式如下:

(4)

(5)

(6)

(7)

式中: Maxg為最大迭代次數;r為[0, 0.5]之間的隨機數; (l=1, 2, …,Np)。

初始狀態下向量加權平均函數為

(8)

(9)

種群在迭代g次后的向量加權平均函數為

(10)

(11)

式中:ε為無窮小的常數(文中ε取值為10-25);δ為加權權重因子;ω為膨脹系數;w1,w2,w3為3個權重函數;xws為第g代種群中最差的解向量。 這些解向量需要在每次迭代對種群向量進行排序后確定。

向量組合階段, 為了增加INFO算法的種群多樣性, 將前一階段中計算得到向量與條件rand<0.5的向量相結合, 生成新的向量, 用于提高局部搜索能力:

(12)

(13)

(14)

式中:φ和p為(0, 1)的隨機數;xrnd為由xbt和xbs組成的新解, 這增加了算法的隨機性, 以更好地在解空間搜索;v1和v2為2個隨機數。

從文獻[13]中可以看出, 與其他方法不同的是, INFO算法使用基于均值的更新規則來生成新的向量, 能夠加快算法收斂速度。 在向量組合階段, 將在向量更新階段獲得的2個向量組合以產生新的向量, 用于提高局部搜索能力, 這種操作在一定程度上保證了種群的多樣性。 考慮到全局最優位置和基于均值的規則, 進行局部搜索, 可以有效地改善INFO算法容易陷入局部最優的問題。 因此, INFO算法可以在相對較短的時間內找到全局最優解[13], 并且具有較高的魯棒性和適應性。

1.3 K折交叉驗證

K折交叉驗證是一種常用的評估模型性能的方法, 當數據集樣本數較少時, 為了提高模型的泛化能力避免過擬合情況出現, 常采用K折交叉驗證來檢驗模型性能。 其核心思想是將原始數據隨機等量劃分到K個子集, 其中K-1個子集用作訓練模型, 剩下的1個子集用于驗證模型性能。 該方法將會重復K次, 每次都會將其中1個子集用作驗證集, 其余子集用作訓練集, 最后將K次的驗證結果取平均值作為模型的最終性能指標。 與傳統重復隨機抽樣相比,K折交叉驗證法的最大優勢在于每個樣本都會單獨分別用于訓練模型和驗證模型, 從而充分利用了數據。 本文從平衡計算效率與計算精度的角度出發, 采用5折交叉驗證模型。

2 無人機自主作戰效能評估指標體系構建

本文以大型對地攻擊無人機對敵防空區域實施偵察、 搜索、 定位目標, 并發射SDB空地導彈以及反輻射導彈摧毀、 壓制敵方防空系統等任務為背景, 對對地攻擊無人機自主作戰效能進行研究評估。 首先, 從對地攻擊無人機執行作戰任務出發, 綜合考慮對地攻擊無人機任務過程、 影響因素, 參照效能評估指標的構建準則[14], 梳理歸納對地攻擊無人機的作戰效能指標, 突出作戰過程中主要作戰能力表現, 按照系統工程層次化結構的思路設計評估指標體系。 其次, 基于無人機作戰任務, 將自主作戰全過程劃分為5個階段, 并參照OODA作戰環理論, 細化分解作戰流程重要節點, 構建局部效能層指標; 針對作戰過程中無人機所展現出的主要行為能力, 進行量化描述, 構建裝備性能層指標, 對地攻擊無人機自主作戰效能指標體系如圖2所示。

圖2 對地攻擊無人機自主作戰效能指標體系Fig.2 Autonomous combat effectiveness index system of ground-attack UAV

3 基于INFO-RF的效能評估模型構建

3.1 超參數選取

在隨機森林模型構建過程中, 由于隨機森林模型中存在眾多超參數, 因此在保證預測精度的同時, 選擇合適的超參數對模型的構建至關重要, 本文參考文獻[15]主要考慮決策樹的數目與最大樹深度這2個超參數對隨機森林回歸預測模型的影響。 在隨機森林模型中, 決策樹的數目越多, 模型的魯棒性和準確率就會越好, 但是模型的訓練和預測時間也會隨之增加, 在數目達到一定數量后, 模型的精度反而提升不大, 并且會產生過擬合現象, 但是樹的數量太小又會導致模型欠擬合, 因此決策樹的數量選擇對模型的影響較大; 最大樹深度常用于控制模型復雜度, 深度太小可能會導致模型欠擬合, 無法捕捉數據的復雜關系, 降低了模型的準確率, 深度太大會導致過擬合, 對模型的泛化能力造成影響。 因此, 選擇合適的超參數, 有效地避免過擬合的現象發生, 對模型的構建和預測結果的分析至關重要。

3.2 優化模型構建

有關RF預測模型的超參數優化問題, 大多數還是基于前向搜索方法[16]或網格搜索法[17]等尋找最優超參數, 但由于傳統方法存在耗時較長, 易陷入局部最優解或因搜索步長的選擇不當而錯過最優值等問題, 致使RF存在較大局限性。 因此, 為了找出超參數的最佳組合, 本文引入INFO智能優化算法來對RF中決策樹的數目和決策樹的最大深度進行優化, 優化過程如圖3所示。

圖3 INFO優化RF模型流程圖Fig.3 Flow chart of the INFO optimized RF model

3.3 模型性能評價指標

本文選用3種常見的統計學指標用于分析預測模型性能, 分別是平均絕對誤差MAE、 均方根誤差RMSE以及決定系數R2。 數學表達式分別為

(15)

(16)

(17)

平均絕對誤差MAE是用于衡量預測值與實際值之間差異的度量指標, 其表示預測值與實際值之差的絕對值的平均值。MAE越小, 說明預測值與實際值之間的差異越小, 模型的預測能力越好。 與MAE類似, 均方根誤差RMSE也是用于衡量預測值與實際值差異的常用指標,RMSE越小, 表示預測結果越接近真實值, 預測結果越好。 決定系數R2是一個用于評估回歸模型擬合度的統計量, 其取值范圍為0到1。R2值越接近1, 表示模型對數據的擬合效果越好; 反之越接近0, 則說明模型對數據的擬合效果越差。

3.4 評估模型的實現過程

本文建立對地攻擊無人機自主作戰效能評估模型, 具體實施步驟如下:

(1) 讀取樣本數據, 并對樣本數據進行歸一化處理。

(2) 將處理后的數據隨機分成兩部分, 80%為訓練數據集, 20%為測試數據集。

(3) 將訓練集數據輸入INFO-RF算法中, 通過向量加權平均算法進行超參數尋優, 在訓練過程中, 將訓練數據隨機抽取劃分, 并采用5折交叉驗證方法, 以均方根誤差RMSE作為優化目標函數, 得出隨機森林模型的最優參數組合。

(4) 將測試集數據輸入參數優化后的隨機森林評估預測模型中, 得到預測結果。

(5) 通過對模型預測輸出值和實際效能值進行比較, 并計算平均絕對誤差MAE、 均方根誤差RMSE和決定系數R2, 分析模型評估預測效果。

綜上, 基于INFO-RF算法的無人機自主作戰效能評估模型的實現過程如圖4所示。

圖4 評估模型的實現過程Fig.4 Implementation process of the evaluation model

4 實際算例與分析

4.1 模型參數設置

本文選取某對地攻擊無人機為研究對象, 以對地攻擊無人機執行壓制防空作戰任務為背景, 對無人機執行作戰任務過程進行多次仿真實驗, 并結合文獻[18]中的無人機效能評估數據, 探索分析圖2中各項性能指標參數情況, 將定性化指標進行量化處理, 并通過理論公式計算、 專家打分以及綜合評判等方式, 得到無人機作戰性能以及效能評估仿真數據, 本文選取100組數據作為評估預測模型的樣本數據, 見表1。

表1 歸一化后的樣本數據Table 1 Sample data after normalization

文中將對地攻擊無人機裝備性能層指標作為特征屬性進行分類構建隨機森林模型, 同時將隨機森林中決策樹的最大數量和最大深度設置為RF模型的超參數, 并利用INFO算法模型以及5折交叉驗證方法對上述最佳超參數組合進行尋優。 INFO參數設置如下: 初始向量個數為5, 算法最大迭代次數為100, 在尋優過程中設置維度為2, 尋優范圍分別為[50, 500]和[5, 35], 其余的超參數選取為默認值。

4.2 結果分析與評估

4.2.1 INFO-RF模型精準分析

通過圖5可知, 評估預測模型在進行迭代50次左右, 適應度值達到最小且不在變化, 模型趨于穩定, 此時超參數最優組合: 最佳決策樹數量為273, 最佳決策樹深度為30。 圖6分析可知, INFO-RF模型得出訓練集預測輸出值與實際效能值均方根誤差RMSE為0.069 7、 平均絕對誤差MAE為0.058 9, 決定系數R2為0.806 8, 均符合性能指標要求, 表明模型具有較高的擬合度和較強的可靠性, 可用于實現對目標樣本的評估預測。 對比發現, 訓練模型存在一定誤差, 將其代入測試樣本進行測試時, 由于誤差傳遞而使部分精度降低, 故測試樣本的決定系數略小于訓練樣本。 但總體來看, 基于優化隨機森林算法的無人機自主作戰效能評估模型具有一定應用性。

圖5 INFO-RF模型迭代誤差變化Fig.5 Variation of INFO-RF model iteration error

圖6 INFO-RF模型訓練樣本預測對比Fig.6 Prediction comparison of INFO-RF model training samples

4.2.2 模型對比分析

為了驗證基于向量加權平均算法優化的隨機森林模型的預測性能優越性, 本文將相同樣本輸入INFO-RF模型、 傳統的RF模型、 GA-RF模型、 SVM模型中進行比較實驗, 測試樣本輸出結果情況如圖7所示。

圖7 多種模型測試集輸出結果Fig.7 Output results of multiple model test sets

通過對比不難發現, 基于向量加權平均算法優化的隨機森林模型與其他模型的表現情況基本一致, 反映出INFO-RF模型預測評估結果具有一定合理性。 從絕對誤差分布情況來看, 各種模型預測輸出值與實際效能值之間最大誤差大致在0.05左右, 說明各模型精度較高, 能夠將誤差控制在較小范圍, 但與其他模型相比, INFO-RF模型誤差分布更小, 表現更加穩定。 通過表2及數據分析可以看出, INFO-RF模型的各項性能指標均優于其他模型, 預測輸出值與實際效能值擬合程度相較其他模型較高, 更加符合實際的評估結果。 同時, INFO優化后的RF模型相較于GA-RF模型精度有所提高, 但相比傳統RF模型性能提升明顯, 能夠展現出較強的泛化能力。

表2 多種模型預測結果對比Table 2 Comparison of prediction results of various models

4.2.3 評估指標的重要性分析

INFO-RF模型可以通過袋外數據OOB對特征變量的重要性進行分析, 在回歸預測模型中通常采用均方誤差MSE變化量來評判特征的重要性, 如果改變某個特征變量, 袋外數據的準確率大幅下降, 說明這個特征對于樣本的預測結果有很大影響, 進而說明其重要程度比較高[19], 各項特征指標對評估結果的重要性如圖8所示。

圖8 特征指標的重要性Fig.8 Importance of characteristic indicators

通過分析特征的重要性可以看出, 無人機抗干擾能力、 毀傷能力、 故障檢測能力在所有指標中比重較大, 對作戰效能影響程度較大; 其次是續航時間、 自主化程度、 隱身性能、 信息壓制能力以及故障修復能力等。 因此, 基于隨機森林模型的效能評估方法不僅能夠對評估結果進行預測, 還可以通過特征的重要性對無人機作戰過程中各項指標影響程度進行直觀描述, 這將有助于效能評估分析過程中更全面、 更精準地了解各項指標的貢獻度和作用, 從而更合理的優化無人機戰術運用與決策部署。

5 結 束 語

本文以無人機自主作戰效能評估為研究背景, 提出基于向量加權平均算法優化隨機森林為理論基礎的無人機自主作戰效能評估方法, 通過向量加權平均算法以及5折交叉驗證方法對隨機森林模型最佳參數組合進行尋優, 然后利用樣本數據對INFO-RF評估模型進行訓練和預測, 最后通過實例驗證了相較于傳統RF模型、 GA-RF模型和SVM模型, INFO-RF評估模型可以得到精度更高的預測輸出值, 取得了較好的評估效果。

作為一種基于隨機森林模型的預測評估方法, INFO-RF模型訓練速度快, 預測精度高, 待優化超參數簡單, 能夠很好的處理無人機作戰效能與底層指標之間的映射關系, 通過訓練好的INFO-RF模型進行效能評估, 避免了指標賦權、 層次分析等方法中的主觀經驗問題, 解決了因數據量過大造成評估過慢等問題。