一種利用貝葉斯優化的彈道目標微動分類網絡

李 鵬，馮存前，許旭光，唐子翔

(空軍工程大學 防空反導學院，陜西 西安 710051)

隨著多彈頭分導以及誘餌技術大量應用在彈道導彈上，如何識別出彈頭和誘餌成為各個國家反導系統研究的重點。微多普勒特征作為彈道目標的一個重要特性，廣泛應用在彈道目標的識別上。早在1998年，美國海軍研究實驗室就對行人的雷達微多普勒特征開展了研究，一種基于微動特征的有效新途徑開始在雷達識別領域得到應用[1]。彈道目標中常見的微動形式主要是旋轉、進動、章動等。在彈道目標的中段飛行時，彈頭一般會采用自旋的方式來進行姿態控制，由于在彈頭和推進器分離時會受到沖擊力距的作用，彈頭總體會表現出進動的運動形式。而對于誘餌和其他的碎片，一般沒有采取姿態控制，目標會呈現出章動的運動形式[2]。因此目標的微動特性作為彈道目標識別的有效依據，有必要對彈道目標的微動分類進行深入研究[3]。

為了對彈道目標的微動特征進行分類，很多學者對其進行了深入研究。文獻[4]根據不同的微動形式時頻圖的周期性的強弱程度，提出用熵以及循環自相關函數與循環平均幅度差函數相結合的方法來判定其周期強弱程度，然后利用支持向量機分類器對其進行分類。文獻[5]應用諧波和的形式描述回波信號，然后采用特征值分解提取特征譜作為識別分類的特征，提出用k近鄰分類器進行分類。文獻[6]首先提取微多普勒譜脊線，設定閾值來區分出自旋與進動章動的微動形式，然后根據微多普勒譜峰值是否等間距分布來對進動和章動兩種微動形式進行分類。然而，彈道目標的微動特性周期規律性不明顯，存在檢測、提取和識別困難的問題，因此上述方法普遍存在識別精度不高，魯棒性不強的問題。近些年隨著人工智能的發展，深度學習被廣泛應用在模式識別上。與傳統的分類方法相比，基于深度學習方法的模式識別具有較好的泛化能力和識別精度，其在面部表情識別[7]、姿態感知[8]、圖像識別[9-10]等領域均有大量應用并取得良好的識別效果。深度學習也被應用在彈道目標的特征識別上，文獻[11]首先將彈道目標的高分辨距離像進行圖像化，然后基于深度卷積神經網絡對目標進行識別判定。文獻[12]采用預訓練的網絡，利用遷移學習的技術更改AlexNet網絡的全連接層和輸出層，用來對彈道目標的微動特征進行分類。文獻[13]根據分形理論把一維并行結構放到神經網絡內，把不同深度的卷積層提取到的特征結合到一起以提高對彈道目標微動特征的提取和識別能力。上述的基于神經網路的方法在微動特征的識別精度上有顯著的提升，然而在對神經網絡的超參數和卷積深度的選擇上往往靠過去的經驗和大量的人工調試，很難得到最優的網絡結構和參數，而利用遷移學習的網絡其學習層還保留大量與源域有關的特征，對新任務的學習層次不深。

為了克服上述的網絡的缺點，需要找到能夠快速有效地得到適合于微動特征分類的網絡參數和結構。筆者采用從頭訓練的方法訓練卷積神經網絡(CNN)，并用貝葉斯優化算法尋找最優的卷積神經網絡的卷積層層數、初始學習率、隨機梯度下降的動量以及正則化強度的數值。貝葉斯優化算法可在目標函數未知的情況下利用歷史評估結果去建立目標函數的概率代理模型，能夠在較少的優化次數中找到最優的優化參數。

1 彈道目標的建模與分析

采用文獻[4]的等效散射點模型，對彈道導彈進行建模分析。選擇圓錐作為彈頭的幾何模型。如圖1所示，A，B，C為錐體彈頭的3個強散射點，O點為質心，錐旋軸為Z軸，雷達視線為η，在雷達視線η與Z軸的平面上作OY軸垂直于Z軸，過O點作OX軸垂直于YOZ平面。記Z軸與雷達視線η的夾角為雷達視線角α，Z軸與錐體對稱軸OA的夾角為章動角θ，OA在面XOY的投影OA′與OX軸的夾角為錐旋角φ。假設彈道目標已進行過平動補償。

圖1 彈道導彈彈頭模型

雷達視線角η可以表示為

η=[0，sinα，cosα] 。

(1)

錐頂A在η上的投影為

rOA=lOA·η，

(2)

則錐頂A的微多普勒頻率為

(3)

式(3)中，λ為雷達的波長。

下面推導滑動等效散射點B，C的微多普勒頻移表達式。設雷達視線η和錐體極軸OA所在的平面為π1，錐體底面所在的平面為π2，B，C兩點位于平面π1與π2的交線上。平面π1的單位法矢量為

(4)

那么錐體底面中心O1到等效散射點B的單位方向矢量為

(5)

則錐底等效散射點B，C對應的矢量為

rB(C)=lO O1±n2r，

(6)

其中，r為錐體底面半徑。等效散射點B，C在雷達視線上的投影為

lB(C)=rB(C)·η，

(7)

則B，C兩點對應的微多普勒頻率為

(8)

根據錐體目標在不同運動狀態的錐旋角φ和章動角θ的變化規律，可得到錐體目標在旋轉、進動、章動時的微多普勒頻率表達式。具體推導過程及結果可參考文獻[4]。

2 數據集的構建及卷積神經網絡初始結構

2.1 數據集的構建

以節1的平底錐體為模型，分別模擬彈道導彈自旋、進動、章動3種不同微動形式寬帶雷達回波。假設寬帶雷達發射線性調頻(LFM)信號，帶寬為2 GHz，載頻為10 GHz，脈沖重復頻率(PRF)為1 024 Hz。設平底錐的高O1A為3 m，質心到底面的距離OO1為0.75 m，底面半徑為0.64 m。微動參數為：自旋時，雷達視線角α為95°～150°，章動角θ0為12°～20°，初始錐旋角φ0為18°～360°；進動時，雷達視線角α為95°～150°，章動角θ0為12°～20°，初始錐旋角φ0為0°，錐旋角頻率fφ為0.84～1.20 Hz；章動時，雷達視線角α為95°～150°，章動角θ0為12°～20°，初始錐旋角φ0為0°，章動角擺動角度θ1為10°，錐旋角頻率fφ為0.84～1.20 Hz，章動角擺動頻率fθ為1.0～1.5 Hz。設置參數如表1所示。

表1 微動參數設置

除了上述的變量外，在仿真的過程中數據集還分別加入了信噪比為-15 dB∶5 dB∶15 dB的高斯白噪聲。由此方法一共得到7×3×1 300張不同的時頻圖。同一信噪比情況下，每類微動形式產生1 300張不同的圖像以用作訓練測試網絡的數據集，圖像的分辨率大小為227×227×3，得到的部分圖像如圖2和圖3所示。

圖2 無噪聲條件下的時頻圖

圖3 信噪比為-10 dB的時頻圖

2.2 貝葉斯優化算法

在機器學習中，幾乎所有的優化問題都是黑箱優化問題，其需要找到最小絕對值的目標函數，但沒有一個確定的表達形式，其導數也無法求出[14]。對于卷積神經網絡模型超參數的優化，也是將卷積神經網絡模型整體視為一個黑箱。超參數優化問題可以假設為：在一組超參數組合中X={x1，x2，…，xn}(xn表示第n個超參數的值)，對每一個超參數進行評估，評估的結果可以表示為f(xn)。在優化的過程中，需要找到最優的超參數x*：

(9)

其中，x*表示為使目標函數最小的參數值，x∈X。

人工選擇相關的超參數進行調優非常困難，并且需要花費大量的時間。這就需要一個算法能夠自動地找到最優的超參數。筆者基于貝葉斯優化算法，對卷積神經網絡模型的超參數進行優化。貝葉斯優化算法是基于目標函數的歷史評估結果去建立目標函數的概率代理模型，在選擇下一組超參數的時候充分利用了之前的評價信息，減少了超參數的搜索次數，得到的超參數也最有可能是最優的，從而可以提高模型的估計精度和泛化能力。

貝葉斯優化是由貝葉斯定理導出的一種方法，用于搜索目標函數的最小值。根據貝葉斯定理，給定觀測點E，模型M的后驗概率P(M|E)與觀測點E的似然比概率P(E|M)乘以模型M的先驗概率P(M)成正比，即

P(M|E)∝P(E|M)P(M) 。

(10)

貝葉斯優化背后的思想是利用目標函數f(x)的先驗分布以及之前訓練模型的試驗得到的觀測點，來獲得模型的后驗分布。然后利用后驗信息選擇下一個樣本點，使f(x)減小到最小[15]。

貝葉斯優化算法有兩個核心的部分，概率代理模型和采集函數[16]。概率代理模型是指用來表示未知目標函數的概率模型，通過增加試驗次數，不斷地對目標函數的先驗概率進行修正，從而使得表示未知目標函數的代理模型更加準確。采樣函數根據后驗概率分布，在最可能出現全局最優解的區域和還未采樣的區域進行采樣，從候選集中選擇出最優的樣本點，使得目標函數值最小。

在概率代理模型的選擇中，高斯過程是一個很好的選擇。高斯過程(Gaussian Processes，GP)是一種常見的非參數概率代理模型。高斯過程可以生成高維的高斯分布，能夠模擬任何形式的目標函數[17]。在求出概率分布后，需要采樣函數尋找下一個樣本點進行樣本計算。目前主要的采集函數有3種：Probability of Improvement(PI)，Excepted Improvement(EI)，GP Upper Confidence Bound(GP-UCB)[18]。筆者選擇高斯過程和EI函數作為概率代理模型和采集函數。

2.3 卷積神經網絡結構的搭建

一個典型的卷積神經網絡模型包括輸入層、分類輸出層和隱藏層。隱藏層包括一系列的卷積層，然后是批處理歸一化層和ReLU層，最后是池化層。為了使卷積神經網絡模型能夠充分地學習到圖像的特征，將隱藏層分為3部分：第1部分隱藏層學習底層特征，接下來的部分依次學習中層和高層特征。每一部分由相等的塊數組成，定義塊數(部分深度)為n，其中每一塊由一個卷積層、一個批處理歸一化層和一個ReLU層組成。在每一部分后連接一個最大池化層，將空間維度下采樣至一半。在隱藏層后依次連接全連接層和分類層組成的輸出層，把學習的特征從高維降到低維，進行分類的顯性表達。卷積神經網絡的架構如圖4所示。

圖4 卷積神經網絡架構

在網絡參數的選擇上，因為仿真產生的時頻圖的大小是227×227×3大小的圖片，因此輸入層為二維圖像輸入層，輸入層的圖像參數設置為227×227×3。每個部分的卷積核(濾波器)的數量設置為與部分深度的平方根成反比。對于每次迭代，無論貝葉斯優化評估的網絡模型之間的部分深度是否相同，參數數量和計算時間幾乎是相等的。每次根據最大池化層將空間縮小1/2時，卷積層濾波器的數量就會增加1倍。這確保了每個卷積層的計算量幾乎相等，因為卷積層越深，網絡需要學習的特征就越多。網絡各部分的卷積層濾波器的數量N可以表述為

(11)

其中，β為任意值，設置為10；n代表部分網絡深度；ε為部分網絡的排列順序，依次為1，2，3。

本次實驗的微動形式為3種，因此把全連接層的卷積核數量設置為3，輸出可以將時頻圖劃分為自旋、進動、章動3種不同的類別。

3 貝葉斯算法的卷積神經網絡模型優化

3.1 卷積神經網絡模型優化過程

卷積神經網絡的基本架構以及訓練的選項需要在訓練之前進行設計，找出這些超參數以最小化匹配誤差和避免過擬合不是一項簡單的任務，如果在獲得滿意的匹配結果之前決定使用人工的方法搜索，則它會消耗大量的計算時間。筆者通過貝葉斯優化來自動調整超參數，在有限的搜索次數內達到最優值，從而保證得到最好的卷積神經網絡模型。結合上一章中介紹的貝葉斯優化算法，利用貝葉斯算法優化訓練卷積神經網絡的流程如下：

步驟1 把得到的時頻圖數據集分為訓練集、驗證集和測試集，圖像數量比例為0.7∶0.15∶0.15，即訓練集、驗證集和測試集的圖像數量分別為910張，195張和195張。

步驟2 指定要優化的變量，優化的變量為卷積神經網絡的超參數和網絡結構本身的參數。

步驟3 定義目標函數FJ，將優化變量的值作為輸入，利用數據集訓練指定的網絡，并用驗證集進行驗證。為了使此模型能夠在不同的信噪比條件下具有較強的泛化能力，選擇不同信噪比的數據集分別訓練網絡。同時以驗證集上的錯誤概率作為目標函數FJ，然后保存訓練后的網絡。本次實驗以0 dB的數據集為例說明網絡的優化過程。

步驟4 通過將驗證集上的錯誤概率最小化來執行貝葉斯優化。

步驟5 將得到的最優的網絡參數加載到網絡中，利用測試集上的數據對網絡進行評估。

在步驟2中，選擇優化變量時，需要指定變量的搜索范圍和數據類型。在卷積神經網絡的結構和超參數中，筆者選擇對網絡影響比較大的4個變量進行優化。

(1)網絡的部分深度n。每個部分具有n個相同的卷積層，卷積層的總數為3×n。神經網絡的深度影響對輸入特征的抽象程度，然而神經網絡的深度并不是越深越好，針對不同的任務需要找到合適的深度。

(2)網絡的初始學習率LR。神經網絡的學習率指的是神經網絡對數據進行學習的速率。如果學習率過小，則可能會導致局部最優；如果學習率過大，則可能導致無法收斂到最優。最佳的學習率由使用的數據集和網絡模型共同決定。

(3)隨機梯度下降的動量MT。動量通過使用當前更新包含與上一次迭代中的更新成比例的貢獻，來為參數更新增加慣性。這樣可以使參數更新更加平滑，并減少隨機梯度下降所固有的噪聲。

(4)L2正則化強度RS。正則化可以防止神經網絡過擬合現象的發生，通過搜索正則化強度的設置區間以找到一個合適的值。

上述的4個優化變量相互影響，任意一個參數的變動都會導致其他參數的效果發生變化，因此需要找到全局最優的參數設置。

在參數范圍的設置上，根據以往的經驗確定優化變量的搜索區間，如表2所示。

表2 優化變量的搜索區間

確定完優化變量及搜索區間之后，為了充分利用貝葉斯優化的能力，設置對目標函數進行30次評估。在每一次訓練過程中設置驗證頻率為10，最小訓練批次為64，求解法為隨機梯度下降法，并把每次評估的結果顯示出來。在貝葉斯優化過程中，每次觀測到的函數值、計算時間、最小目標值如圖5所示。實驗條件：軟件MATLAB 2020b，計算機配置i7-10750H，GTX1650 4 GB顯卡。

圖5 貝葉斯優化過程

在對目標函數進行30次的貝葉斯優化評估中，得到了最優的可行點，最優的參數數值如表3所示。在此參數下，目標函數的值為0，即此參數下的卷積神經網絡模型對微動特征的識別性能在驗證集上的錯誤概率為0。

表3 最佳的卷積神經網絡參數

3.2 模型優化結果

根據上一節中得到的優化結果，得到卷積神經網絡模型的最終結構如圖6所示。其中第1層為圖像數據的輸入層，其輸入的圖像數據大小為227×227×3，用來讀取數據集中的時頻圖；在網絡的最后為全連接層和分類輸出層，用來將網絡的計算結果轉化成每一種類的概率，并將最大概率的結果當作識別結果作為網絡的輸出。在每一個網絡層上顯示了這一層網絡的輸出大小以及在卷積層和池化層的濾波器的大小。

圖6 貝葉斯優化得到的網絡結構

接下來，將貝葉斯優化過程中找到的卷積神經網絡模型在測試集上進行測試。由于貝葉斯優化是利用驗證集得到的錯誤概率，從而確定最優的網絡。然而測試集并沒有暴露給網絡，所以在測試集上的錯誤概率可能會大于驗證集。如圖7所示的測試集混淆矩陣，從圖中可以看出，得到的最優化卷積神經網絡模型在識別旋轉、進動、章動3種微動形式時，正確率分別為100%、95.9%、95.9%。由于自旋形式的微動特征的比較明顯，所以識別率最高，對微動形式的平均識別率為97.3%。

圖7 測試集混淆矩陣

4 實驗結果及分析

4.1 卷積神經網絡的t-SNE分析

前面得到的卷積神經網絡模型能夠正確分類絕大多數的樣本，但圖像的哪些特征導致該網絡做出的這種判斷需要深度研究。卷積神經網絡及許多其他深度學習模型常被認為是一種難以解釋的“黑箱模型”，即無法了解卷積層提取的特征的本質。筆者采用t分布隨機鄰域嵌入(t-Distributed Stochastic Neighbor Embedding，t-SNE)算法[19]來可視化卷積神經網絡的激活情況，從而分析卷積神經網絡的響應方式。t-SNE技術可以將高維數據(例如某層的網絡激活)映射到二維，它本質上是一種非線性降維方法。圖8所示為用t-SNE技術展示的卷積神經網絡模型中的第2個最大池化層，最后一個卷積層和最后的Softmax層的t-SNE數據。其中黑色、深色和淺色的點分別代表了旋轉、進動和章動的二維特征。卷積神經網絡模型中靠前的層傾向于對邊緣和顏色等低級特征進行操作，而更深的層已經學會了包含更多語義信息的高級特征。從圖8中可以看出，隨著網絡深度的增加，更深層的激活趨向于將來自同一類的點聚集在一起。

圖8 t-SNE分析結果

在Softmax層的激活空間中，圖像越相似其距離就越近，則不同類別的相似圖像就容易導致誤分類。在圖7中，根據t-SNE展示的結果，其中旋轉的二維特征和進動、章動的特征有很明顯的區分，然而進動、章動的二維特征由極少量的數據混在一起，這也就解釋了為什么識別旋轉微動形式時正確率為100%，而識別進動與章動兩種微動形式時，正確率為95.9%與95.9%。

4.2 分類性能比較

為了驗證貝葉斯優化算法對卷積神經網絡模型的影響，將有無貝葉斯參數優化作為變量。在無貝葉斯優化的網絡，其結構與有貝葉斯優化的網絡的結構保持相同，網絡參數選擇默認參數，即LR=0.01，MT=0.8，RS=0.000 1。在不同的信噪比下用數據集訓練網絡，得到的綜合識別率對比如表4所示。從表中可以看出，在不同的信噪比下，與無貝葉斯優化的卷積神經網絡相比，經過貝葉斯優化的卷積神經網絡具有更高的識別精度。

表4 有無貝葉斯優化的網絡識別性能對比 %

為了進一步驗證文中網絡在不同信噪比情況下的有效性和實時性，利用經典的Alexnet、GoogleNet和SqueezeNet網絡模型，運用遷移學習的方法對微多普勒特征在不同的信噪比下進行訓練，同時設置3種網絡的超參數為默認參數。將不同信噪比下得到的數據集按照70%、15%和15%的比例隨機分為訓練集、驗證集和測試集。同時，為了測試網絡的數據處理能力，將4種訓練好的網絡在同一電腦環境下識別1 000張數據集中的時頻圖，記錄下每種網絡所花費的時間，然后就可以得到網絡每秒的圖像處理幀數。圖9和表5分別給出了Alexnet、GoogleNet、SqueezeNet和文中網絡對不同形式的微多普勒時頻圖的識別性能和識別 1 000 張圖像所需要的時間。

圖9 不同網絡微動特征識別性能

表5 不同網絡的數據處理能力對比

分析圖9和表5中的數據可知：

(1)在不同網絡識別3種微動特征時，旋轉形式的微動特征的識別率最高，這是因為旋轉形式的微動特征與其他兩種的微動形式具有較大的差異，特征較明顯。

(2)在信噪比較大的情況下，4種網絡都有很好的識別性能，識別率可以達到100%。隨著信噪比下降，導致目標的微動特征減弱。基于遷移學習的網絡由于其學習層的特征大多數為源域的特征，而基于貝葉斯優化的卷積神經網絡學習層特征為微動數據集上的特征，因此在低信噪比的情況下，基于貝葉斯優化的卷積神經網絡具有更好的識別性能。在信噪比為-15 dB的情況下，綜合識別率比Alexnet、GoogleNet和SqueezeNet網絡模型分別高出9.8%、7.3%和5.6%。

(3)在綜合識別率的對比上，文中網絡在不同的信噪比情況下的識別率都是最高的。可以得出結論，這種網絡由于深入學習了不同微動形式的時頻特征，因此與其他遷移學習的卷積神經網絡相比具有較強的魯棒特性。

(4)文中的網絡在識別效率上高于GoogleNet，略低于Alexnet和SqueezeNet網絡。

從上述對比中可以得出結論，文中網絡與傳統的方法相比，具有更高的精度和魯棒性，對于識別精度和魯棒性要求比較高的應用環境，卷積神經網絡比較適合。

5 結束語

筆者研究了基于深度學習的彈道目標微動分類的方法。為了避免人工方法尋找網絡的結構和超參數，提出利用貝葉斯優化的方法自動尋找最優的結構和超參數的方法。利用貝葉斯優化算法在30次迭代中成功地找到了最優的網絡結構和訓練方案。基于貝葉斯優化算法得到的卷積神經網絡結構相比于支持向量機和微多普勒脊線方法具有更高的識別精度。在不同信噪比條件下，相比于基于遷移學習的Alexnet、GoogleNet和SqueezeNet網絡模型具有更好的魯棒性，其綜合識別率均高于上述3種網絡模型。仿真結果表明，筆者提出的方法為彈道目標的智能化識別提供了一種綜合性能更好的卷積神經網絡和網絡設計思路。