基于算法支撐的電子戰(zhàn)軍事建模理論與應(yīng)用研究

崔 偉，崔 鋼，房 磊

(空軍航空大學(xué)，吉林 長春 130022)

0 引 言

建模的實質(zhì)就是用一定的數(shù)學(xué)語言及符號來描述和解決實際現(xiàn)象和問題。在數(shù)學(xué)領(lǐng)域中它不僅是一種思考并解決問題的方法，更是采用相關(guān)語言和數(shù)學(xué)工具，通過抽象和簡化去近似解決客觀實際問題的一種措施。數(shù)學(xué)建模著重關(guān)注經(jīng)濟、社會、民生問題以及客觀前沿問題，而軍事建模則側(cè)重軍事領(lǐng)域中各類備戰(zhàn)與打仗問題，是集全軍上下官兵的智慧，應(yīng)用數(shù)學(xué)工具和計算機技術(shù)，采用定量分析的方法來解決影響戰(zhàn)斗力生成的瓶頸問題，為指揮機構(gòu)決策提供數(shù)量依據(jù)的一種科學(xué)方法。軍事建模的實質(zhì)是利用數(shù)學(xué)工具與數(shù)學(xué)思維定量分析軍事問題。以美國為代表的軍事強國，早已把建模仿真應(yīng)用在裝備研發(fā)、訓(xùn)練演習(xí)等各個方面，其在建模與仿真應(yīng)用中的經(jīng)驗非常值得學(xué)習(xí)和借鑒。在軍事領(lǐng)域中，隨著信息技術(shù)的不斷發(fā)展，各類活動與數(shù)學(xué)思維結(jié)合得空前緊密。任務(wù)規(guī)劃、輔助決策、裝備運用以及作戰(zhàn)效能評估等過程和環(huán)節(jié)都需要準確的計算與分析，這就要求我軍學(xué)會并善于運用數(shù)學(xué)思維來分析和解決現(xiàn)實軍事問題。軍事建模的本質(zhì)是將軍事問題抽象為一個或多個數(shù)學(xué)問題，檢驗運用數(shù)學(xué)思維分析并解決具體軍事問題的能力。文獻[3]提出基于一體化的建模思想，而文獻[4]則分析了軍事系統(tǒng)與建模領(lǐng)域的發(fā)展，構(gòu)建出完整的軍事系統(tǒng)與建模領(lǐng)域知識圖譜。

1 基于算法戰(zhàn)的電子戰(zhàn)建模

基于人工智能的算法戰(zhàn)是美軍第三次抵消戰(zhàn)略中作戰(zhàn)創(chuàng)新發(fā)展領(lǐng)域之一，其主要目的就是利用智能化發(fā)展和技術(shù)突破，不斷中和甚至是抵消中俄等國與美軍在裝備規(guī)模和設(shè)備硬件水平等方面的代差，同時逐漸拉大武器裝備在智能領(lǐng)域的差距，不斷維持和擴大在未來軍事上的優(yōu)勢。文獻[5]介紹了算法戰(zhàn)基本內(nèi)容并分析了美軍針對算法戰(zhàn)開展的一系列措施。文獻[6]討論分析了算法戰(zhàn)在空戰(zhàn)中的落腳應(yīng)用問題，有助于裝備升級和智能化轉(zhuǎn)型。

認知電子戰(zhàn)能對各種電磁威脅目標進行自主預(yù)測、發(fā)現(xiàn)、識別、對抗并進行評估。認知電子戰(zhàn)能從偵收到的海量數(shù)據(jù)中快速準確地分析出可用情報，從而可以智能選取最佳的電子攻擊方式，通過不斷感知來對電子攻擊的效能進行整體評估和判斷，并且能根據(jù)評估結(jié)果的好壞程度來指導(dǎo)下一次電子行動，是一個智能的、動態(tài)的、整體自適應(yīng)系統(tǒng)。認知電子戰(zhàn)的基本內(nèi)涵有2種表述:一是從其本身所具備的能力現(xiàn)狀和發(fā)展出發(fā)，主要強調(diào)其智能化、自適應(yīng)特性和自主能力，這種從事物發(fā)展進程來理解的電子戰(zhàn)稱為認知化電子戰(zhàn)；另一種則是從作戰(zhàn)對象與作戰(zhàn)過程中所面臨的威脅出發(fā)，強調(diào)電子戰(zhàn)能夠自主對抗各類新型電子系統(tǒng)，因此將這種認知電子戰(zhàn)稱為認知系統(tǒng)電子戰(zhàn)。可以看出，不論如何定義與描述認知電子戰(zhàn)，其本質(zhì)都是不變的，那就是自主性與智能化。文獻[9]從體系對抗的高度以及作戰(zhàn)視角描述了認知電子戰(zhàn)行動的主要過程和環(huán)節(jié)。文獻[10]則對認知干擾的建模與感知關(guān)鍵技術(shù)進行了探討。

從最終作戰(zhàn)效果來看，軍事模型與算法戰(zhàn)中的算法是一脈相承的，都是為了實現(xiàn)作戰(zhàn)行動或解決軍事問題而采取的一系列步驟與措施。算法戰(zhàn)就是要通過一系列的算法來解決軍事模型中所代表的具體問題。電子戰(zhàn)不僅是現(xiàn)代信息化作戰(zhàn)的重點元素與組成部分，在美軍的橙旗、黑旗演習(xí)中也將電子戰(zhàn)升級為一種典型的作戰(zhàn)行動，因此利用算法戰(zhàn)的思想對電子戰(zhàn)進行建模不僅十分有必要，而且可以使電子戰(zhàn)更加具有智能和敏捷的特征。基于這種融合思想，就可以搭建出“算法戰(zhàn)-算法-模型-認知電子戰(zhàn)建模”的模型鏈條。算法戰(zhàn)以算法為驅(qū)動，模型以算法為核心，認知電子戰(zhàn)建模為實踐應(yīng)用，從而可以有效促進算法戰(zhàn)與認知電子戰(zhàn)的融合與滲透，將認知電子戰(zhàn)升級為有核心算法支撐的智能化、敏捷性作戰(zhàn)行動。

在此模型鏈條中，各元素相互作用，協(xié)同發(fā)展。首先，模型對算法具有拓展作用，模型作為實施算法行為的工具手段，它延伸了算法的空間范圍，同時模型簡潔容易對算法也具促進與改善作用。其次，算法戰(zhàn)的作戰(zhàn)需求對算法有指導(dǎo)性作用，算法可以將人們分析處理問題的方法和思路數(shù)字化，并通過程序來實現(xiàn)作戰(zhàn)意圖。同樣，算法對算法戰(zhàn)也具有強化支撐作用。在信息化時代，算法是解決海量數(shù)據(jù)的最優(yōu)工具。通過算法可將所有的作戰(zhàn)行動以代碼與指令的方式來分析和處理，從而真正解決算法戰(zhàn)的核心問題。第三，算法對電子戰(zhàn)作戰(zhàn)模型具有驅(qū)動作用。隨著現(xiàn)代戰(zhàn)爭智能化程度的提升，算法將逐漸成為控制和驅(qū)動電子戰(zhàn)作戰(zhàn)模型的大腦，成為整個電子戰(zhàn)體系應(yīng)用的核心。它將會促進與實現(xiàn)電子戰(zhàn)系統(tǒng)的智能化，幫助電子戰(zhàn)裝備實體實現(xiàn)極限作戰(zhàn)性能，全面提升電子戰(zhàn)整體效能。最后，算法是抽象的，不能單獨存在和運用，必須依托一定的電子戰(zhàn)模型作為載體。在以算法戰(zhàn)為支撐的電子戰(zhàn)模型中，無論是各元素之間相互作用還是模型內(nèi)部之間的相互關(guān)系，都將不斷促進整個電子戰(zhàn)體系的演變、優(yōu)化和創(chuàng)新，推進電子戰(zhàn)作戰(zhàn)體系向著智能化的方向邁進。

2 電子戰(zhàn)建模與算法內(nèi)核分析

對認知電子戰(zhàn)來講，其核心本質(zhì)就是使己方有效利用電磁頻譜，同時拒止或中斷敵方接入和利用電磁頻譜的能力，進而降低敵方利用電磁頻譜的效能與效率。認知電子戰(zhàn)中的電子偵察、電子干擾和效能評估是電子戰(zhàn)的基本環(huán)節(jié)，不管是通信、雷達還是光電等領(lǐng)域的電子戰(zhàn)，這些基本環(huán)節(jié)和代表的作戰(zhàn)過程是不變的，完全可以構(gòu)建起相對完整的軍事模型。認知電子戰(zhàn)的建模問題實際上就是關(guān)于電子戰(zhàn)作戰(zhàn)行動的軍事建模問題。基于建模思想，實現(xiàn)算法戰(zhàn)與認知電子戰(zhàn)的滲透與融合，可以從以下3個層面來具體實現(xiàn)。

(1) 對認知偵察技術(shù)進行建模。迅速、精確而又全面地從戰(zhàn)場環(huán)境中截獲各種信息，利用機器學(xué)習(xí)、向量機等方法來展開對認知偵察技術(shù)的研究，建立自適應(yīng)算法實現(xiàn)威脅信號分選、識別和特征提取，在偵察工作過程中不斷積累和更新威脅信號，通過對數(shù)據(jù)庫中信號知識的不斷學(xué)習(xí)研究，從而實現(xiàn)提升認知能力的目的，為后續(xù)決策、電子攻擊生成以及效能評估等過程提供支撐。認知偵察的模型與算法流程圖如圖1所示。圖1中橫向為模型流程，縱向為算法流程。從算法流程來看，認知偵察主要包括2個方面內(nèi)容：一是先檢測未知輻射源，判斷當前條件下是否出現(xiàn)未知目標，針對未知目標和已知目標分別進行目標特征識別與狀態(tài)識別；二是針對每種威脅目標識別其工作狀態(tài)，根據(jù)識別結(jié)果更新識別模型，并對未知目標威脅等級進行評估。同時，認知偵察的輸出為認知干擾模型提供作戰(zhàn)支援信息，干擾模型在實施干擾的過程中會根據(jù)對抗環(huán)境的變化不斷開窗進行自適應(yīng)偵察。

圖1 認知偵察模型與算法流程示意圖

(2) 對認知電子干擾建模。基于智能化開發(fā)干擾技術(shù)優(yōu)化算法,著重考慮和研究目標狀態(tài)與干擾策略、目標威脅等級與對抗措施、不同類型對抗目標的干擾參數(shù)設(shè)置以及干擾策略選擇等問題，從而達到所期望的最佳干擾效果。認知干擾模型與算法流程圖如圖2所示。圖2中橫向為模型流程，縱向為算法流程。從算法流程來看，模型首先接收認知偵察算法的識別結(jié)果，如果當前對抗場景中只有已知雷達狀態(tài)則直接調(diào)用學(xué)習(xí)算法，從而根據(jù)已知目標的工作狀態(tài)來學(xué)習(xí)并確定最優(yōu)干擾樣式。假如出現(xiàn)未知識別結(jié)果，當無法識別其工作狀態(tài)時隨機選擇干擾樣式。在偵察未知樣本積累到一定程度后，可利用雷達數(shù)據(jù)聚類分析來劃分出未知目標類別，同時識別出未知雷達工作狀態(tài)，再次調(diào)用學(xué)習(xí)算法，對未知雷達的工作狀態(tài)進行學(xué)習(xí)并確定出所需要的干擾樣式。算法收斂后便存儲多個雷達輻射源目標不同工作狀態(tài)下的最優(yōu)干擾樣式，方便以后調(diào)用。

圖2 認知干擾模型與算法流程示意圖

(3) 對認知效能評估技術(shù)進行建模，建立智能化效能評估模型與方法。通過分析目標受干擾前后信號特征以及信號樣式的變化情況，綜合評估干擾樣式的有效性和針對性。對各類目標工作狀態(tài)的差異、不同工作狀態(tài)時特征參數(shù)特性的不同進行全面分析和詳細總結(jié)，在此基礎(chǔ)上形成智能化效能評估推理機制，以便能準確推測目標當前所處的工作狀態(tài)，進而不斷指導(dǎo)并優(yōu)化干擾措施合成，最終保證取得最佳的干擾效果。

3 基于強化學(xué)習(xí)的雷達對抗建模與實現(xiàn)

在Q學(xué)習(xí)雷達對抗模型與策略中，表示在某一時刻雷達的工作狀態(tài)，代表狀態(tài)改變時從外部環(huán)境獲得的獎勵值，雷達對抗模型根據(jù)偵察到目前雷達的工作狀態(tài)，在正確判斷威脅等級的基礎(chǔ)上，利用Q學(xué)習(xí)算法推測出并選擇當前狀態(tài)向量函數(shù)(,)最大時所對應(yīng)的干擾策略，并且根據(jù)外部環(huán)境的不斷變化和干擾效果及時調(diào)整相關(guān)參數(shù)，從而不斷選擇合適的干擾策略。

3.1 威脅等級模型

雷達威脅等級主要與雷達的威脅因素有關(guān)，而威脅因素又與雷達的工作參數(shù)密切相關(guān)。掌握了雷達的工作參數(shù)，就可以通過模型估計出雷達最可能的威脅等級。這些雷達的工作參數(shù)主要包括雷達瞬時帶寬、重頻以及脈寬等，威脅等級模型主要由威脅因素的隸屬度函數(shù)以及對應(yīng)權(quán)值構(gòu)成。權(quán)值反映了威脅因素對威脅等級的作用強度，而威脅因素隸屬度函數(shù)則代表了各威脅因素對威脅等級的影響程度，威脅程度評估模型為：

(1)

式中：()為威脅因素隸屬度函數(shù)；為威脅因素的權(quán)值。

考慮到實際雷達的工作情況，威脅因素隸屬度函數(shù)()主要包括脈寬隸屬度函數(shù)()、瞬時帶寬隸屬度函數(shù)()以及重頻隸屬度函數(shù)()，根據(jù)雷達威脅程度與參數(shù)的關(guān)系，隸屬度函數(shù)分別為：

(2)

()=1-e(-)

(3)

(4)

對威脅因素的權(quán)重而言，可利用環(huán)比評分法來確定:

(5)

(6)

式中：為威脅因素之間相互比較的重要性比率；為歸一化后的權(quán)值。

3.2 基于Q學(xué)習(xí)的干擾模型與策略

代表在時刻雷達的工作狀態(tài)，代表干擾機在時刻所采取的干擾策略或干擾樣式，當雷達工作在狀態(tài)時，干擾機選擇干擾樣式并進行干擾，干擾機在進行干擾時干擾效能評估為，即干擾效果回報值，∈,為干擾效果回報值矩陣。同時雷達受到干擾后轉(zhuǎn)移到新的工作狀態(tài)+1，那么，根據(jù)Q學(xué)習(xí)算法的基本原理，工作狀態(tài)-干擾策略價值更新為：

(,)=(,)+[+1+

max((+1,′))-(,)]

(7)

式中：(,)為工作狀態(tài)-干擾策略價值矩陣；為折現(xiàn)因子；∈(0,1)，為學(xué)習(xí)因子。

Q學(xué)習(xí)中行為決策和值函數(shù)的迭代相互獨立，是一種離線算法，采用值函數(shù)最大值進行迭代。

雷達存在多種工作狀態(tài)，干擾策略集合中包含多種干擾樣式，定義干擾效果回報值為：

(8)

式中：→min代表雷達威脅等級降到最低，這時獎勵回報值為100；?(!→min)代表工作狀態(tài)除轉(zhuǎn)向最低威脅等級狀態(tài)之外的低威脅等級狀態(tài)的轉(zhuǎn)變；!?代表工作狀態(tài)的威脅等級不變或是升高，意味著干擾效果差，獎賞值為-1。

干擾機存在多種干擾策略，但由于外界條件的不確定導(dǎo)致干擾樣式的選擇不一定與理論值完全匹配，這就意味著不能直接單一選擇某種干擾策略，干擾機需要在干擾策略的探索與利用之間進行平衡，這時便可以采用-Greedy算法進行干擾策略選擇。∈(0，1)，為探索因子，如果某次干擾策略選擇的動作為“探索”，那么干擾機會在所有可能干擾樣式中隨機選擇一種，執(zhí)行相應(yīng)的動作后并記錄回報值;若某一次干擾策略選擇動作為“利用”，干擾機會根據(jù)在探索過程中得到的經(jīng)驗從干擾策略集合中選擇回報值最大的干擾策略并執(zhí)行。根據(jù)上面的分析，對抗模型與策略算法如下:

步驟1：初始化(,)矩陣和值矩陣為零矩陣，并初始化學(xué)習(xí)因子、折現(xiàn)因子和探索因子。

步驟2：根據(jù)偵察情況，估計識別雷達的工作模式并對威脅等級進行估計，根據(jù)-Greedy算法選擇干擾策略。

步驟3：開始循環(huán)

(1) 對雷達的工作狀態(tài)進行偵察，估計新狀態(tài)的威脅等級，若威脅等級發(fā)生變化則當前狀態(tài)為新工作狀態(tài)+1，更新雷達數(shù)據(jù)庫；

(2) 增加(,)矩陣與相對應(yīng)的行和列，利用式(8)計算干擾效果回報值；

(3) 利用式(7)更新(,)矩陣；

(4) 進行狀態(tài)更新=+1;

滿足條件，停止循環(huán)。

步驟4：輸出干擾策略、選擇方式和工作狀態(tài)。

仿真實驗：

在實際條件下，雷達具有發(fā)現(xiàn)、識別、搜索、跟蹤、制導(dǎo)等多種工作模式，針對不同的作戰(zhàn)需求和作戰(zhàn)對象采用不同的工作模式。而針對雷達的這些工作模式狀態(tài)，可采用噪聲干擾、掃頻干擾、距離欺騙干擾、速度欺騙干擾以及假目標干擾等多種干擾樣式。對干擾機來講，需要通過不斷學(xué)習(xí)來確定雷達工作狀態(tài)的威脅程度以及不同工作模式狀態(tài)之間的轉(zhuǎn)換，雷達根據(jù)任務(wù)需要以及外部干擾的變化也會不斷調(diào)整自身的工作狀態(tài)，因此不同時刻偵察機接收并判斷出雷達威脅等級和工作狀態(tài)是變化的，同時不斷選擇合適的干擾策略實施干擾，實時計算干擾回報矩陣與工作模式-干擾樣式矩陣。假定雷達有,,,,,6種不同的工作狀態(tài)，6種工作狀態(tài)對應(yīng)的典型信號參數(shù)分別為(PW,,)(PW,,)(PW,,)(PW,,)(PW,,)(,,)，在偵察機偵收到以上參數(shù)時，根據(jù)式(1)～(6)可以計算出6種工作狀態(tài)的威脅等級由高到低。

3.3 探索因子ε對決策性能的影響

由于采用-Greedy算法來進行干擾策略選擇，首先分析對算法的影響，初始化學(xué)習(xí)因子=09、折現(xiàn)因子=08;假定分別等于0.1、0.3、0.7、0.9，每次仿真在‖-+1‖<0005時認為算法趨于穩(wěn)定。最大值和迭代運算次數(shù)以及隨變化的結(jié)果如圖4 所示。從圖4中可以看出，隨著迭代次數(shù)的不斷增加，值不斷增加并且逐漸趨于穩(wěn)定，也就意味著經(jīng)過迭代后可以得到最優(yōu)干擾策略。當較小時，利用概率減小，探索概率增大，選擇最佳干擾樣式的概率也會逐漸增大，但此時所需要的時間也隨之增加。反之，利用概率會逐漸增大，探索概率逐漸減小，無法得到最佳干擾路徑。

圖3 收斂值隨循環(huán)次數(shù)的變化

圖4 Q值隨γ的變化

3.4 參數(shù)α和γ對算法性能影響分析

從算法本身可以看出，代表著模型對未來回報的重視程度。當逐漸變小時，代表模型僅開始關(guān)注當前出現(xiàn)的狀態(tài)，而未來可能出現(xiàn)的狀態(tài)對值的影響會越來越小。代表系統(tǒng)對每次增量的學(xué)習(xí)能力，取值越大代表學(xué)習(xí)能力越強。在=06時，隨著不斷增大，收斂的值也不斷增大，表示對未來的回報折扣越來越小，如圖5所示。此時隨著學(xué)習(xí)率的不斷增加，系統(tǒng)學(xué)習(xí)誤差的能力不斷下降，值完全收斂時(2次循環(huán)后值差為 0) 所需循環(huán)次數(shù)不斷減小，系統(tǒng)決策時間也不斷減少，如圖6所示。值應(yīng)越大越好，當=1時，可能會存在“過學(xué)習(xí)”的風(fēng)險。在實際作戰(zhàn)場景中，要根據(jù)現(xiàn)實情況的變化合理取值，在合理選擇干擾樣式的同時又能提升算法運行速度。

圖5 Q值隨α的變化

4 結(jié)束語

認知電子戰(zhàn)軍事建模的關(guān)鍵在于根據(jù)電子偵察、電子干擾、效果評估的軍事要求以及已知情報數(shù)據(jù)狀態(tài)和先驗知識，構(gòu)建能夠解決對應(yīng)實戰(zhàn)電子戰(zhàn)問題的算法，而算法戰(zhàn)的核心內(nèi)容就是算法本身。因此，利用軍事建模的思想，實現(xiàn)算法戰(zhàn)與電子戰(zhàn)的深度融合，構(gòu)建智力超群、靈活敏捷、系統(tǒng)魯棒的認知電子戰(zhàn)模型，對深化電子戰(zhàn)領(lǐng)域縱向研究、拓展電子戰(zhàn)研究內(nèi)涵、為電子戰(zhàn)注入先進算法、讓電子戰(zhàn)實體具備人類的智慧和獨立遂行任務(wù)的能力是可行的，也是十分有必要的。