基于貝葉斯優化的作戰仿真方法

常 強，姚 雯，李 群，周煒恩*

(1. 軍事科學院國防科技創新研究院，北京 100000；2. 國防科學技術大學系統工程學院，湖南 長沙 410073)

1 引言

仿真是研究戰爭的重要手段，受到各國軍事研究人員的重視。開展作戰仿真大致包括確定仿真目的、設計作戰想定、建立仿真模型、仿真設計、作戰推演、仿真結果分析與評估等步驟。

隨著人工智能技術的發展，戰爭形態將朝著智能化、多域化、體系化方向發展，開展作戰仿真涉及的實體規模越來越龐大、每個仿真實體行為越來越復雜，影響仿真結果的因素也越來越多。仿真方案會隨著影響因素的增多呈指數級增長。例如，某次仿真目的是探索某型無人機各項性能參數如何取值可最佳達成作戰意圖。假設該無人機有10個性能指標，每個指標有10個變化水平，則總的仿真方案將達到1010個。假設每次仿真只需要1秒鐘，為了提高仿真結果的有可靠性，每個方案運行100次，則總的作戰推演時間將長達317年。另一方面，仿真方案的指數級增長，還會生成海量的仿真結果，為仿真數據分析與評估帶來巨大的挑戰。

因此，智能時代的作戰仿真對實驗設計提出新的挑戰。本文提出貝葉斯優化仿真方法：基于少量實驗構建高斯回歸模型，通過高斯回歸模型指導后續仿真方案設計并開展實驗，不斷擴充數據集，迭代更新回歸模型，從而優化試驗方案。與現有實驗方案設計方法不同之處在于試驗方案事先并不確定，而是通過回歸模型給出。該方法的優點在于可顯著減少仿真次數，提高仿真效率。

2 常用實驗設計方法

實驗設計是指制定合理的實驗方案，對實驗結果進行統計分析的理論與方法[1]，實驗設計的目標是使用盡可能少的實驗方案取得盡可能好的實驗結果。常用的實驗設計方法包括：完全隨機實驗設計、正交實驗設計、均勻實驗設計、析因實驗設計、拉丁方實驗設計、正交拉丁超立方實驗設計以及近正交拉丁超立方實驗設計等。下面首先簡單介紹現有典型實驗設計方法優點及不足，隨后重點介紹與本文算法進行對比的近正交拉丁超立方實驗設計方法。

2.1 典型實驗設計方法

2.1.1 完全隨機實驗設計

完全隨機實驗設計是指隨機確定各影響因子水平，并進行實驗與數據分析的方法[2]。這種實驗設計方法保證每個因子的不同水平都有相同的機會進行取值，而不受實驗人員主觀傾向影響，又稱單因素實驗設計。完全隨機實驗設計適用于條件、環境差異較小的實驗，可以采用t分布或者方差分析對結果進行統計分析，但是由于只分析一個因素，不考慮因素之間的差異，因而要求實驗對象具有較好的同質性。且未考慮非實驗因素的影響，因而實驗誤差較大，結果的精確性較低。

2.1.2 正交實驗設計

正交實驗設計[3]基于均勻分散性和正交性的數學思想，采用“充滿空間”的抽樣方法，從全樣本空間中挑選出部分有典型代表的點進行實驗。均勻分散性確保樣本點有代表性，正交性則使得實驗數據便于分析。正交實驗設計的主要過程是利用標準化的正交表和交互作用表，對影響因素進行合理安排，并采用方差分析方法對實驗數據進行統計處理。正交實驗設計是一種高效、快速的研究多因素多水平的設計方法，但是在方案空間很大的情況下設計出的實驗方案并不能很好的代表整個空間，容易陷入局部最優。

2.1.3 均勻實驗設計

均勻實驗設計由王元、方開泰于1978年最早提出[4]，同樣采用“充滿空間”的抽樣方法。與正交實驗設計相比，均勻設計摒棄正交性的要求，只考慮樣本點在實驗范圍內均勻散布，可大幅減少樣本點個數，從而有可能用較少的試驗次數獲得預期結果。當樣本空間較小時，均勻實驗設計的效率和準確率很高。但是，均勻實驗設計沒有消除變量之間的相關性，可能導致重復實驗；且當變量數很多時，設計出的方案較多，實驗效率不高。

2.1.4 析因實驗設計

析因實驗設計[5]將多因素不同水平交叉分組進行實驗，可使用方差分析的方法對實驗結果進行統計分析。析因實驗設計可以準確估計各因素的主效應大小，還能估計因素間交互作用的大小，是一種高效的實驗設計方法。但是，當因素和水平較多時，所需要的試驗次數過多。因此，有人提出部分析因設計[6](Fractional Factorial Design)，選取高低兩個水平，根據需要考察交互作用，采取CCD(Central Composite Design)等方法進行實驗設計，該方法可有效減少因素和水平較多時的實驗次數。

2.2 近正交拉丁超立方實驗設計

NOLH[7]源于拉丁超立方實驗設計[8](Latin Hypercube Experimental Design， LHC)，LHC是拉丁方實驗設計[9](Latin Squares Experimental Design)的改進。

拉丁方實驗設計是一種采用拉丁方(Latin Square)安排實驗方案的實驗設計方法。拉丁方是指由拉丁字母組成的正方形排列，每個字母在每一列與每一行的中只能出現一次。采用該方法進行實驗時，實驗精確性比隨機實驗設計高，結果分析簡便。但是，當實驗同時研究的因子多于三個，或者三個因子水平數不同時，無法采用完整的拉丁方設計方法，人們提出改進方法，包括不完全拉丁方設計[10](Incomplete Latin Squares)、LHC等。不完全拉丁方設計是一種用尤登方(Youden Square)安排實驗方案的實驗設計方法。尤登方的行列數不相等，可用于處理因素較多的實驗，實驗結果分析與拉廠方設計類似。拉丁超立方實驗設計則是一種修正的蒙特卡洛方法，適用于影響因素較多的情況，可顯著減少實驗規模。但是，當影響因子較多時，該方法設計的實驗方案空間填充性較差。

基于上述不足，Cioppa等人于2002年基于均勻分散性和正交性要求，對LHC進行了擴展并提出NOLH[7]，該方法不僅在一定程度上滿足正交性，還具有很好的均勻性。Sanchez等已將該方法編成工具可免費下載使用[11]。Travis[12]、周威[13]、李群[14]分別基于該方法開展仿真，結果表明，采用NOLH方法僅需要少量實驗就能得到較好的方案。

然而，隨著仿真規模的擴大，現有實驗設計方法仍難以滿足研究需求。以文獻[13]中的仿真想定為例，該論文采用NOLH方法可將1.145萬億規模的樣本空間縮減到512個方案，且能夠保證正交性和均勻性。為排除隨機因素影響，保證結果的有效性，每個方案采用不同隨機數種子運行100次，假設每次想定運行時間約為2秒鐘，則完成一次實驗約需30個小時。為了提高仿真效率，基于貝葉斯優化理論，提出一種新的實驗方法，在保證結果有效性基礎上，進一步減少仿真運行次數。

3 基于貝葉斯優化的作戰仿真方法

通過作戰仿真在海量樣本空間尋找最優方案過程中，面臨著目標函數形式未知而無法利用梯度信息或者目標函數的計算帶有不確定性而無法準確估計等問題，難以找到最優實驗方案，因此通常會使用均勻設計、正交設計、析因設計、拉丁方設計等實驗設計方法，對全空間進行搜索。然而，作戰仿真涉及的實體規模越來越龐大、每個仿真實體行為越來越復雜、影響仿真結果的因素越來越多，傳統方法設計的實驗方案仍十分龐大，難以快速、準確找到最優實驗方案。

貝葉斯優化方法常應用于求解高維復雜黑箱優化問題[15]，即問題具有下列特點：

1)目標函數形式未知，無法利用梯度信息；

2)目標函數的計算需要花費大量資源；

3)目標函數的計算帶有不確定性。

上述三個特點符合仿真過程中最優方案選擇問題的特點，本文基于貝葉斯優化提出新的作戰仿真方法。

貝葉斯優化實驗方法：

輸入：目標函數f，采集函數A，迭代次數T

初始采樣得到數據集D

for i=|D|:T do

利用高斯回歸模型求預測分布p(y|x，D)

利用采集函數與高斯回歸模型進行采樣

xi←arg maxx∈XA(x)

計算函數值yi=f(xi)

擴充數據集D←D∪(xi，yi)

end for

采集函數選用EI(Expected Improvement) 函數：

A(x)=Ey～p(y|x，D)[max(0，y*-y)]

(1)

其中y* 為當前最優函數值。下面，以文獻[13]中的仿真想定為例，對本文提出的算法進行驗證。

4 仿真驗證

文獻[13]中的想定是：藍方航母戰斗群(Carrier Strike Group， CSG)通過有人、無人機協同，突破紅方空中巡邏區域，對岸艦導彈陣地進行打擊，仿真目標是如何配置無人機各項指標使陣地毀傷率最高，且自身損失率最低。論文采用近正交拉丁超立方實驗設計方法，將1.145萬億個實驗方案壓縮到512個，每個方案運行100次。為了便于分析，本文首先基于51200組實驗數據，采用梯度提升回歸樹(Gradient Boosting Regression Tree， GBRT)[16]，對CSG損失率、藍方生存率分別建立代理模型。代理模型中的誤差函數為均方誤差 (Mean Square Error， MSE)，超參數運用 10-fold 交叉驗證(Cross Validation)配合貝葉斯優化進行選取。對兩個代理模型分別考慮每個因素的加權 Gini 指數，得到各因素重要性視圖，如圖1所示。

圖1 因素重要度排序

可以看到，對CSG損失率影響最大的因素為 GBU31 命中概率，隨后是藍方飛行速度、AIM120命中概率、無人機數量、對無人機探測概率，其它因素影響較小。對藍方生存概率影響最大的因素為AIM120命中概率，隨后是AIM120攻擊距離、F35數量、藍方飛行速度、對無人機探測概率，其它因素影響較小。

隨后，將本文提出的貝葉斯優化試驗方法和近正交拉丁超立方實驗設計方法進行對比。貝葉斯優化目標綜合考慮CSG損失率、藍方生存率，同時人為設定武器裝備的使用代價：無人機數量=1，F18數量=5，F35數量=10，UCAS武器數量=1， 單架飛機攜帶AIM120數量=1.5，單架飛機攜帶AIM9數量=1。目標函數形式為

(2)

其中C(x)為CSG損失率函數，S(x)為藍方生存率函數，cost(x)為使用代價，cos tMax為代價歸一化因子，λ為調整系數。

基于Seas平臺開展仿真驗證，該平臺與文獻[13]使用的平臺相同，由國防科技大學系統工程學院軍事建模與仿真系開發。實驗比較了GBRT代理模型與貝葉斯優化試驗方法，對裝備性能概率參數選取如下：GBU31命中概率=0.5，AIM120命中概率=0.5，AIM9命中概率=0.5，對無人機探測概率=0.05，對F18探測概率=0.4，對F35探測概率=0.05，目標函數下降曲線如圖2所示。

圖2 目標函數曲線

從圖2可以看出，相對于近正交拉丁超立方實驗設計方法，尋找相同作戰效能的試驗方案，貝葉斯優化試驗方法所需的實驗次數減少約90%；在相同時間條件(運行100次)，新方法找到的實驗方案作戰效能提高約6%。

5 結論

針對作戰仿真規模越來越大，影響因素越來越多的問題，人們提出了很多實驗設計方法盡可能減少實驗次數，獲取更好的實驗結果。

本文基于序貫實驗設計思路，提出貝葉斯優化實驗方法：首先，基于少量實驗構建高斯回歸模型；隨后，利用回歸模型預測仿真結果的分布，基于結果分布，確定下一次實驗方案；最后，利用預測的試驗方案進行實驗并將實驗結果用于更新高斯回歸模型。通過上述三個步驟反復迭代，可有效降低實驗方案個數，快速找到最佳實驗方案。

仿真結果顯示，尋找相同作戰效能的試驗方案，新方法所需的實驗次數減少約90%；在相同實驗次數約束下，新方法所找到的實驗方案作戰效能高約6%。未來，將在更大規模仿真場景中，對新方法進行驗證并改進。