對(duì)多功能相控陣?yán)走_(dá)干擾決策方法綜述

張柏開,朱衛(wèi)綱

(中國人民解放軍航天工程大學(xué) a.研究生院； b.電子與光學(xué)工程系， 北京 101416)

多功能相控陣?yán)走_(dá)可同時(shí)完成搜索、跟蹤、識(shí)別、制導(dǎo)等多種功能，可取代多部搜索雷達(dá)和跟蹤雷達(dá)[1-2]，具有反應(yīng)快、波束靈活、抗干擾能力強(qiáng)、隱身性能好等突出優(yōu)點(diǎn)。多功能相控陣?yán)走_(dá)的不斷發(fā)展使得傳統(tǒng)的、單一的干擾方式捉襟見肘，如何快速有效地對(duì)多功能相控陣?yán)走_(dá)進(jìn)行干擾是亟待解決的問題。傳統(tǒng)電子戰(zhàn)缺乏對(duì)電磁環(huán)境的感知和優(yōu)化處理，面對(duì)高功率、多域壓制、快速變化的電磁干擾，往往探測能力嚴(yán)重削弱。在整體能量、時(shí)間、頻譜資源受限的條件下，雷達(dá)傳統(tǒng)對(duì)抗方法就不再適用[3];同時(shí)組網(wǎng)雷達(dá)和認(rèn)知雷達(dá)[4]的快速發(fā)展也使得傳統(tǒng)對(duì)抗方法捉襟見肘。為了解決上述問題同時(shí)也為了更好應(yīng)對(duì)日益復(fù)雜的戰(zhàn)場電磁環(huán)境和層出不窮的自適應(yīng)電子戰(zhàn)裝備，認(rèn)知電子戰(zhàn)的概念應(yīng)運(yùn)而生。認(rèn)知電子戰(zhàn)[5-8]由認(rèn)知偵察、認(rèn)知對(duì)抗、認(rèn)知效能評(píng)估、動(dòng)態(tài)知識(shí)庫四個(gè)環(huán)節(jié)組成，每個(gè)環(huán)節(jié)各司其職，相互獨(dú)立又實(shí)時(shí)地交互信息，既提高了工作效率又提升了系統(tǒng)性能。

干擾決策作為認(rèn)知對(duì)抗環(huán)中的關(guān)鍵環(huán)節(jié)，在認(rèn)知電子戰(zhàn)中具有十分重要的作用。其任務(wù)是對(duì)認(rèn)知偵察環(huán)節(jié)提供的威脅數(shù)據(jù)和動(dòng)態(tài)知識(shí)庫進(jìn)行分析，從而為威脅對(duì)象決策出合適的干擾方法，并根據(jù)認(rèn)知評(píng)估環(huán)節(jié)不斷地調(diào)整干擾方法。在日益復(fù)雜多變的電磁環(huán)境下，干擾方法和抗干擾技術(shù)層出不窮且現(xiàn)階段很難將具體的雷達(dá)工作模式和某種干擾樣式建立起一一對(duì)應(yīng)的關(guān)系，所以選擇準(zhǔn)確的干擾方法可以使雷達(dá)系統(tǒng)發(fā)揮出最大的威力。同時(shí)，新裝備的快速發(fā)展，新體制、多功能雷達(dá)的大量出現(xiàn)又使得現(xiàn)有的干擾決策方法不能有效的應(yīng)對(duì)。對(duì)于傳統(tǒng)的依靠操作人員和專家的經(jīng)驗(yàn)判斷和人為“試錯(cuò)”效率顯然是低下的。一方面，操作人員的精力和知識(shí)總是有限的，現(xiàn)有的知識(shí)庫往往會(huì)滯后于戰(zhàn)場的需求；另一方面，戰(zhàn)場要求的準(zhǔn)確性和時(shí)效性往往用傳統(tǒng)的決策方法得不到滿足，快速準(zhǔn)確的決策方法可以直接影響到戰(zhàn)局的進(jìn)程，掌握戰(zhàn)爭的主動(dòng)權(quán)。所以，對(duì)干擾決策方法的研究刻不容緩。關(guān)于干擾決策方法的文獻(xiàn)資料極少公開，國外的相關(guān)資料更是難以查找，根據(jù)已有資料，現(xiàn)階段對(duì)于干擾決策的方法研究大體上可以分為四類。

本文全面回顧和介紹了四類主要的雷達(dá)干擾決策及發(fā)展現(xiàn)狀，在此基礎(chǔ)上提出未來需要發(fā)展的重點(diǎn)方向，并探討了幾種可行方案。

1 雷達(dá)干擾決策方法

1.1 基于模板匹配的干擾決策方法

傳統(tǒng)的干擾決策方法是基于模板匹配的方法。基于模板匹配的方法[9-10]的核心在于充分的先驗(yàn)知識(shí)，所以先驗(yàn)知識(shí)庫的質(zhì)量直接決定了此類干擾決策方法的時(shí)效性和準(zhǔn)確性。其原理如圖1所示。

圖1 基于模板匹配的干擾決策原理框圖

基于模板匹配的干擾決策方法主要適用于參數(shù)不變的雷達(dá)體制，故上述方法存在兩點(diǎn)明顯不足:第一，先驗(yàn)知識(shí)庫不具有時(shí)效性，往往滯后于戰(zhàn)場的實(shí)際需求，構(gòu)建針對(duì)新型雷達(dá)數(shù)據(jù)的干擾樣式數(shù)據(jù)庫，往往是通過不斷地“試錯(cuò)”機(jī)制建立，這樣的方法短則數(shù)月，長則數(shù)年，浪費(fèi)了大量的精力和時(shí)間；其次，面對(duì)體制日益復(fù)雜的雷達(dá)體制，先驗(yàn)知識(shí)庫沒有與之對(duì)應(yīng)的先驗(yàn)知識(shí)，基于模板匹配的方法就無從對(duì)抗。

1.2 基于博弈論思想的干擾決策方法

博弈論的核心就在于盈利矩陣的建立。這種方法將博弈時(shí)如何使損失最小，利益最大作為原則，應(yīng)用到雷達(dá)干擾決策中。博弈論的研究最早源于數(shù)學(xué)運(yùn)籌學(xué)中的對(duì)策論思想。西安電子科技大學(xué)的張永順和趙國慶等[11]詳細(xì)介紹了博弈論的純策略和混合策略的基本原理，并且列出了雷達(dá)干擾手段對(duì)抗干擾技術(shù)的部分盈利矩陣如下：

JJ1J2…Jn RR1R2?RmE11E12…E1nE21E22…E2n??…?Em1Em2…Emn

根據(jù)以上分析可知，盈利值E的獲得至關(guān)重要，許多電子戰(zhàn)的學(xué)者通過大量的實(shí)驗(yàn)和不斷的探討，提供了大量的寶貴經(jīng)驗(yàn)，部分參考值如表1所示[12]。

表1為電子戰(zhàn)中常用的干擾措施和抗干擾措施之間的盈利值，不僅為基于博弈論的干擾決策方法提供了建立盈利矩陣所需要的具體數(shù)據(jù)，也為之后電子戰(zhàn)決策研究提供參考。

基于博弈論算法的雷達(dá)干擾決策方法有如下局限性：一方面太過于依賴盈利矩陣的建立，如果沒有合適的盈利矩陣，那么博弈論的方法就無從談起，而且隨著新裝備的大量出現(xiàn)和戰(zhàn)場環(huán)境的復(fù)雜多變，盈利矩陣建立的工程性和難度極大甚至是不可能完成；另一方面是盈利矩陣算法所固有的缺陷:博弈論“追求”的是損失最小，從而在一定的概率下放棄了最佳的干擾樣式。

表1 盈利值

針對(duì)于干擾和抗干擾措施的與日俱增，盈利矩陣也不斷更新且趨于大型化，傳統(tǒng)的求解方法顯然難以適用，賴中安等采用迭代法-Brown 算法求解大型矩陣對(duì)策，得到了干擾方的最優(yōu)干擾策略[13]，但其本質(zhì)還是基于博弈論算法的干擾決策方法，未能很好地解決博弈論算法本身固有的缺陷。文獻(xiàn)[14]中劉清等將干擾效能分為干擾效果和干擾效率兩個(gè)方面并進(jìn)行了定量分析，建立了雷達(dá)對(duì)抗策略矩陣，在此基礎(chǔ)上運(yùn)用對(duì)策論的相關(guān)原理，研究了干擾方式的選擇問題。博弈論算法在提出階段就引起了廣泛的關(guān)注，在其后的數(shù)年時(shí)間，很多學(xué)者不斷地對(duì)此種算法進(jìn)行改進(jìn)，2014 年周脈成運(yùn)用博弈論算法部分解決了雷達(dá)抗干擾樣式多樣性、難識(shí)別性的特點(diǎn)[15]，給出了獲得盈利矩陣的兩種方法，詳細(xì)分析了不同先驗(yàn)信息條件下的雷達(dá)干擾決策方法。2017 年唐文龍等針對(duì)以往博弈論算法局限于最大最小決策準(zhǔn)則，提出一種基于多決策準(zhǔn)則的干擾樣式選擇方法[16]，最后將不同準(zhǔn)則中選有次數(shù)最多的干擾樣式作為最終的干擾方案。但是即使采用多種決策準(zhǔn)則也無法從本質(zhì)上改變上述“博弈論”思想本身的局限性。

1.3 基于決策支持系統(tǒng)的干擾決策方法

王杰貴等研究了應(yīng)用于地對(duì)空?qǐng)鼍跋碌闹悄芾走_(dá)干擾決策支持系統(tǒng)(IDSSRJ)。 IDSSRJ[17]由人機(jī)會(huì)話系統(tǒng)、問題處理系統(tǒng)、模型庫、知識(shí)庫、數(shù)據(jù)庫和推理機(jī)組成，可以為指揮員進(jìn)行干擾決策提供參考，主要功能包括預(yù)先決策、干擾資源配置和干擾方案擬定。孫宏偉等[18]在闡述了D-S證據(jù)理論的基礎(chǔ)上，提出一種基于 D-S 證據(jù)理論的電子干擾模式選擇方法，用以解決電子對(duì)抗設(shè)備如何選擇干擾頻率、干擾功率和干擾模式等重要問題。D-S證據(jù)理論[19-20]是一種信息融合的方法，其主要思想是在某一確定的雷達(dá)體制下，使用不同的干擾模式的干擾效果可以表示成干擾成功的概率形式，如表2所示。例如不同干擾模式(J1,J2,J3)針對(duì)某種體制雷達(dá)的干擾結(jié)果為(1,0,0)，其意義是其中J1模式干擾成功率為1，其余模式的干擾成功率為0。

表2 各種干擾模式下干擾結(jié)果統(tǒng)計(jì)

表中aij即為各種模式下對(duì)不同雷達(dá)體制的干擾效果值。通過D-S證據(jù)合成法則[21]，將不同種雷達(dá)體制對(duì)應(yīng)的干擾模式的成功概率進(jìn)行融合，通過融合后的結(jié)果選取干擾效果最好的模式。

2007 年，李文宮等在王杰貴等研究內(nèi)容的基礎(chǔ)上再次提出基于知識(shí)庫和問題求解單元的智能決策支持系統(tǒng)(IDSS)的設(shè)計(jì)方法，著重細(xì)化了每個(gè)部分，并給出了 IDSS 中問題求解方法和整個(gè)系統(tǒng)的最終評(píng)估方式[22-23]。2009 年，在研究雷達(dá)對(duì)抗中敵我雙方的參數(shù)、特征知識(shí)及知識(shí)表示的基礎(chǔ)上，提出智能化雷達(dá)干擾系統(tǒng)中的 2 個(gè)過程自學(xué)習(xí)模型：雷達(dá)輻射源識(shí)別規(guī)則自學(xué)習(xí)模型和對(duì)敵雷達(dá)干擾策略自學(xué)習(xí)模型，為深入研究智能化雷達(dá)干擾系統(tǒng)提供模型基礎(chǔ)[24]。2017 年吳劍鋒等在分析國外智能干擾技術(shù)最新研究成果的基礎(chǔ)上，提出了一種復(fù)雜電磁環(huán)境下的智能干擾系統(tǒng)架構(gòu)，最后介紹利用遺傳算法[25]作為智能干擾系統(tǒng)認(rèn)知引擎的技術(shù)[26]。

基于決策支持系統(tǒng)的干擾決策方法較以往的決策方法成功率更好，干擾效果有明顯的提升，適應(yīng)性更加廣泛，但是此種干擾決策方法太過依賴后驗(yàn)概率不具有實(shí)時(shí)性，且對(duì)于新出現(xiàn)的雷達(dá)體制，該方法便“束手無策”；且后驗(yàn)概率一經(jīng)確定后續(xù)算法過程中不會(huì)再次改變，這就表示如果后驗(yàn)概率出現(xiàn)較大的誤差，運(yùn)用D-S證據(jù)法則沒有及時(shí)“更新”該后驗(yàn)概率，則會(huì)造成嚴(yán)重的“誤差累積”。

1.4 基于機(jī)器學(xué)習(xí)的干擾決策方法

將機(jī)器學(xué)習(xí)思想應(yīng)用于雷達(dá)干擾決策這一思想提出的時(shí)間較晚，可供參考的研究資料比較少。

上述基于模板匹配的干擾決策方法、基于博弈論的干擾決策方法和基于決策支持系統(tǒng)的干擾決策方法都是依賴于充分的先驗(yàn)知識(shí)進(jìn)行“匹配”，主要適用于特征參數(shù)不變的雷達(dá)。而機(jī)器學(xué)習(xí)的本質(zhì)在于“學(xué)習(xí)和歸類”，如圖2所示。

圖2 基于機(jī)器學(xué)習(xí)的雷達(dá)干擾決策模型框圖

陳凱利用多功能相控陣?yán)走_(dá)的特點(diǎn)，即雷達(dá)工作模式可以表現(xiàn)雷達(dá)對(duì)干擾方的威脅等級(jí)，有效干擾會(huì)降低雷達(dá)對(duì)目標(biāo)的威脅等級(jí)，所以雷達(dá)狀態(tài)的改變可以反映出干擾樣式的優(yōu)劣，提出了基于干擾方的干擾效果評(píng)估方法，在此基礎(chǔ)上，干擾系統(tǒng)根據(jù)評(píng)估結(jié)果動(dòng)態(tài)修正干擾知識(shí)庫，構(gòu)架了整個(gè)干擾決策體系，智能選擇效果最佳的干擾樣式[27]，初步引入“認(rèn)知”思想，對(duì)基于機(jī)器學(xué)習(xí)的干擾決策方法有一定的啟發(fā)，但是論文中所用的方法還是基于決策支持系統(tǒng)，機(jī)器學(xué)習(xí)的思想體現(xiàn)的不是很充分。

基于機(jī)器學(xué)習(xí)的決策模型對(duì)于參數(shù)完全匹配的要求不嚴(yán)格且準(zhǔn)確率高，該模型的樣本集訓(xùn)練過程實(shí)質(zhì)上是尋找一個(gè)映射：

f′∶χs→λs

(1)

機(jī)器學(xué)習(xí)的目的就在于構(gòu)造一個(gè)函數(shù)f′，使得它盡可能逼近真實(shí)的f,從而盡可能提高決策的準(zhǔn)確性。尋找f′的機(jī)器學(xué)習(xí)方法有很多，包括有監(jiān)督學(xué)習(xí)，無監(jiān)督學(xué)習(xí)，強(qiáng)化學(xué)習(xí)三大類。

強(qiáng)化學(xué)習(xí)[28]是專門針對(duì)于決策問題的一種機(jī)器學(xué)習(xí)算法。當(dāng)機(jī)器處于環(huán)境E中時(shí)將某個(gè)動(dòng)作a∈A作用在當(dāng)前狀態(tài)x上，則環(huán)境將從當(dāng)前狀態(tài)按照潛在的轉(zhuǎn)移概率P轉(zhuǎn)移到另一個(gè)狀態(tài)，與此同時(shí)，環(huán)境會(huì)根據(jù)潛在的“獎(jiǎng)賞”函數(shù)R反饋給機(jī)器一個(gè)獎(jiǎng)賞。綜合起來，強(qiáng)化學(xué)習(xí)任務(wù)對(duì)應(yīng)了四元組E=〈X,A,P,R〉。所以此類方法不需要充分的先驗(yàn)知識(shí)，也不需要直接告訴機(jī)器在什么狀態(tài)下必須做什么動(dòng)作，只有等到最終結(jié)果揭曉，才會(huì)通過“反思”之前的動(dòng)作是否正確來進(jìn)行學(xué)習(xí)。圖3是強(qiáng)化學(xué)習(xí)應(yīng)用于雷達(dá)干擾決策的一個(gè)簡單框圖。

圖3中S表示多功能雷達(dá)在某一時(shí)刻t的工作狀態(tài)，r表示由于目標(biāo)雷達(dá)工作狀態(tài)改變從環(huán)境中得到的獎(jiǎng)賞值，干擾機(jī)根據(jù)偵察到的目標(biāo)雷達(dá)工作狀態(tài)依據(jù)強(qiáng)化學(xué)習(xí)算法選擇正確的干擾樣式a并執(zhí)行；根據(jù)得到的實(shí)際干擾評(píng)估值及實(shí)際戰(zhàn)場環(huán)境，調(diào)整算法中的相關(guān)參數(shù)，實(shí)時(shí)地選擇新的干擾樣式。其中Q-學(xué)習(xí)算法是強(qiáng)化學(xué)習(xí)中的一種高效的免模型學(xué)習(xí)算法。

圖3 強(qiáng)化學(xué)習(xí)用于干擾決策示意圖

2015年李云杰將強(qiáng)化學(xué)習(xí)的思想引入雷達(dá)對(duì)抗[29-30]，對(duì)比了Q-學(xué)習(xí)算法的Q值收斂過程和雷達(dá)對(duì)抗過程，設(shè)計(jì)了基于Q-學(xué)習(xí)算法的雷達(dá)干擾決策方法，總結(jié)了認(rèn)知對(duì)抗實(shí)現(xiàn)中的關(guān)鍵技術(shù)難點(diǎn)，并仿真驗(yàn)證了雷達(dá)認(rèn)知對(duì)抗中Q值的收斂過程以及先驗(yàn)知識(shí)對(duì)算法性能的改善情況，確定最具針對(duì)性的干擾策略，實(shí)現(xiàn)動(dòng)態(tài)高效干擾。

朱斐等應(yīng)用強(qiáng)化學(xué)習(xí)的思想，針對(duì)不穩(wěn)定環(huán)境下的策略求解問題，利用MDP分布對(duì)不穩(wěn)定環(huán)境進(jìn)行建模，提出一種基于公式集的策略搜索算法-FSPS[31]。FSPS算法在學(xué)習(xí)過程中搜集所獲得的歷史樣本信息，并對(duì)其進(jìn)行特征信息的提取，利用這些特征信息來構(gòu)造不同的用于動(dòng)作選擇的公式，采取策略搜索算法求解最優(yōu)公式，并給出所求解策略的最優(yōu)性邊界。將FSPS算法用于經(jīng)典的Markov Chain問題，實(shí)驗(yàn)結(jié)果表明，所求解的策略具有較好的性能。

2 展望

2.1 各干擾決策方法的利弊

綜前所述，基于模板匹配的干擾決策方法是結(jié)構(gòu)最簡單的方法，且目前工程應(yīng)用大多數(shù)是基于此類方法，但是此類方法也存在明顯的不足；基于博弈論算法的干擾決策方法引入了“對(duì)策論”，為干擾樣式的選取提供了新的依據(jù)，提高了決策準(zhǔn)確率，但是也只適用于參數(shù)特征不變的雷達(dá)體制；基于決策支持系統(tǒng)的干擾決策方法初步引入“智能化”的思想，干擾樣式的選取方式引入了“D-S證據(jù)合成理論”，增加了決策的準(zhǔn)確率，但同樣難以適用于復(fù)雜多變的現(xiàn)代雷達(dá)體制；

基于機(jī)器學(xué)習(xí)的干擾決策方法是基于“認(rèn)知電子戰(zhàn)”思想提出來的，大多數(shù)機(jī)器學(xué)習(xí)的方法都是選擇以強(qiáng)化學(xué)習(xí)為基礎(chǔ)，理論上強(qiáng)化學(xué)習(xí)可以不需要任何先驗(yàn)知識(shí)，所以完全適用于復(fù)雜體制、新體制的多功能相控陣?yán)走_(dá)，也可以應(yīng)對(duì)現(xiàn)代日益復(fù)雜的戰(zhàn)場環(huán)境，所以基于機(jī)器學(xué)習(xí)的干擾決策方法必將是未來的發(fā)展趨勢和主要研究方向。但同時(shí)，由于認(rèn)知電子戰(zhàn)中認(rèn)知效能評(píng)估環(huán)節(jié)技術(shù)發(fā)展相對(duì)薄弱，而此類決策方法選擇引入了干擾效果評(píng)估值作為指導(dǎo)下一次干擾的依據(jù)，所以此類決策方法尚存在技術(shù)不成熟的弱點(diǎn)。

2.2 基于Q-學(xué)習(xí)算法的干擾決策方法推廣

多功能相控陣?yán)走_(dá)工作狀態(tài)為搜索時(shí)，可細(xì)化為遠(yuǎn)距搜索、近距搜索、低空搜索、立體搜索、邊搜索邊跟蹤、搜索加跟蹤等多種搜索狀態(tài)，事實(shí)上，當(dāng)多功能相控陣?yán)走_(dá)的工作狀態(tài)根據(jù)雷達(dá)工作的不同載頻、重頻、脈寬、帶寬、脈內(nèi)信息進(jìn)一步細(xì)化成不同的工作狀態(tài)時(shí)，有利于更加精確的進(jìn)行干擾，干擾效果也會(huì)明顯提高，但同時(shí)也會(huì)使得雷達(dá)狀態(tài)明顯增多，甚至?xí)霈F(xiàn)成百上千種狀態(tài)，與之對(duì)應(yīng)的干擾措施也會(huì)隨之增加，此時(shí)傳統(tǒng)的基于Q-學(xué)習(xí)算法的干擾決策方法通過建立Q值初始化表的方法[32]難以完成決策，且查詢效率大打折扣。基于此，出現(xiàn)了一種基于深度強(qiáng)化學(xué)習(xí)[33-35](DQN)的雷達(dá)干擾決策方法。

DQN是一種融合了深度神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的新的機(jī)器學(xué)習(xí)方法，也是為了解決傳統(tǒng)強(qiáng)化學(xué)習(xí)無法解決大量狀態(tài)的弊端所提出來的。其基本思想如圖4所示，神經(jīng)網(wǎng)絡(luò)接收外界感知的雷達(dá)狀態(tài)，經(jīng)過其模型后直接輸出該狀態(tài)下可能選擇的干擾樣式以及估計(jì)的獎(jiǎng)賞值，再根據(jù)強(qiáng)化學(xué)習(xí)的方法選出獎(jiǎng)賞值最大的動(dòng)作進(jìn)行決策。

圖4 DQN用于干擾決策簡圖

3 結(jié)論

本文總結(jié)了現(xiàn)階段四類多功能相控陣?yán)走_(dá)干擾決策方法的基本原理并分析了各方法的優(yōu)缺點(diǎn)，基于機(jī)器學(xué)習(xí)的干擾決策方法可以適應(yīng)日益復(fù)雜的現(xiàn)代戰(zhàn)場環(huán)境，是未來發(fā)展的趨勢的結(jié)論，其中基于Q-學(xué)習(xí)算法和DQN的干擾決策方法是主要的研究方向。