基于自注意力的雙波段預警雷達微動融合識別

趙慶媛, 趙志強, 葉春茂, 魯耀兵

(北京無線電測量研究所, 北京 100854)

0 引 言

態勢的準確評估決定著戰爭的結果,而氣動目標識別是空中態勢評估的重要一環。目標微動特征能夠反映氣動目標特有的物理結構信息以及表面電磁特性信息[1]。單個雷達很難提取出全面的目標特征,因此很多學者開始研究多雷達協同以實現穩健的目標識別[2-9]。低頻雷達對于目標早期預警意義重大,且其對站址要求較高,對于遠距離來襲目標觀測角度的差異不大,雙波段預警雷達融合能夠為現役設備以較小代價提供目標識別性能增量,因此雙波段微動融合識別具有巨大的研究價值。

時頻圖能夠反映精細的微多普勒特征[10],但其特征提取依賴專家知識,有效信息損失較大[11-12]。而深度學習算法能夠實現端到端的自動學習,可全面提取時頻圖的多層次特征。文獻[13]將X波段雷達采集的回波生成時頻圖,并輸入卷積神經網絡(convolutional neural network, CNN),在人類活動分類方面取得了高準確率。文獻[14]將時頻圖和韻律頻率圖(cadence frequency diagram, CFD)合成一幅圖像,作為CNN網絡的輸入。文獻[15-16]引入循環神經網絡(recurrent neural network, RNN)提取人體微動時序特征,進一步提高了識別率。為了降低深度網絡訓練對海量數據的依賴性,文獻[17-18]分別通過改進網絡結構和初始化方式,實現了少量樣本情形下人體活動模式的穩健分類。

在多雷達微動特征融合識別方面,文獻[2-4]結合多站雷達系統,用傳統機器學習算法對武裝/非武裝人員進行了分類;文獻[6]研究了站址布站對人體運動過程中微動效應的影響;文獻[7-9]用CNN實現多站融合目標識別,證明了特征級融合的分類精度高于決策級融合。這些研究利用不同觀測角度的雷達回波進行融合識別,并沒有針對不同波段的微動特征進行分析，且均未引入自注意力機制,更沒有考慮不同雷達對目標分類的重要程度。

自注意力機制能夠自動學習通道及空間維度的權重,摒棄無用信息,增強有用信息,已成為多個領域的研究熱點[19-26]。通過在深度網絡中嵌入自注意力模塊,通道及空間的重要性和交互關系在訓練過程中可通過自動學習得到,從而提高融合識別的性能。

針對雙波段雷達時頻圖的特點,本文對卷積塊注意力模塊(convolutional block attention module,CBAM)殘差網絡[27]進行了針對性改進,提出了一種自適應權重雙輸入CBAM(weighted double input, WDI-CBAM)殘差融合識別網絡。將不同波段回波對目標識別的貢獻差異性考慮在內,對兩部雷達的輸入通道自動進行權重訓練。通過仿真和實測數據處理,驗證了融合識別網絡的有效性,并進一步研究了信噪比和駐留時間對其識別性能的影響。

1 微動模型與時頻分析

1.1 微動回波建模

在遠場理想條件下,氣動目標微動部件回波由雷達波長和重頻、旋翼結構、觀測角度等決定。令λ為雷達波長，N表示槳葉個數,L1和L2分別表示槳葉根部和葉尖至旋翼中心的距離,φ為槳葉角,wr為旋翼轉速,θ0為初始相位角,α為槳葉相對于雷達平臺的方位角,βt為雷達視線與旋轉平面的俯仰角。

對于窄帶低分辨雷達而言,旋翼部件的理論回波模型[1]可表示為

(1)

式中:θn=θ0+2πn/N+2πwrt-α。相關變量可定義為

(2)

(3)

(4)

其中,若旋轉平面平行于飛機飛行方向,β=βt;若旋轉平面垂直于飛機飛行方向,β=π/2-βt。對于低分辨預警雷達而言,t=mTs為慢時間維脈沖采樣,采樣間隔為脈沖重復周期Ts,m為相參脈沖個數。R(t)=R0+vt,目標的移動速度v會影響微動回波相位,還會在某些情況下導致越距離單元徙動。令采樣率為fs,距離單元為ΔR=c/2fs。當vmTs<ΔR時,目標在相參積累時間內沒有越距離單元徙動,不需要進行平動補償,否則需要進行平動補償,平動補償的具體方法參見文獻[28]。

1.2 時頻分析

時頻分析的輸入為目標在雷達慢時間維的回波。短時傅里葉變換(short-time Fourier transform, STFT)是應用最為廣泛的時頻變換[29],能夠將時變非平穩信號轉換為二維時頻圖。STFT用固定長度的窗函數對雷達回波采樣信號進行滑窗截取處理,轉換公式如下:

(5)

式中：τ和f分別表示時間分量和頻率分量；g(t)為窗函數,選用漢明窗。窗長與頻率分辨率成正比,與時間分辨率成反比。在本文中,對于不同雷達不同目標的回波采用同樣的窗函數。

時頻圖的單邊展寬fmax為

(6)

式中：vtip為槳葉葉尖的轉速。根據空氣動力學相關理論可知,葉尖的轉速一般不會超過聲速。不同波長情況下時頻圖的單邊展寬不同。

一部分傳統低頻雷達氣動目標識別是基于調制譜特征的[30]。調制譜的譜線強度和位置反映了微動特征信息。當駐留時間較短時,調制譜的分辨率較低,很難實現穩健的目標識別。同時，調制譜僅反映目標微動頻域信息,沒有反映出其時變特性,對某些本征特征(如槳葉奇偶性等)缺乏表達能力。因此，本文使用時頻圖作為融合識別網絡的輸入。

氣動目標在飛行過程中,槳葉不停轉動,觀測角度具有時變性,其電磁反射特性具有時變性,使得時頻圖包涵了更豐富的微動特征。不同波長的回波具有不同的時變幅相特性,在時頻圖上表現為微動周期性、上下對稱性、多普勒擴展、時變包絡等諸多方面的差異性[10]。因此，不同波段的時頻圖融合識別能夠更全面地提取目標微動本征特征,提高識別性能。

2 融合識別網絡設計

2.1 目標識別流程

基于深度神經網絡的雙波段時頻圖目標融合識別流程圖如圖1所示。兩部雷達分別在相參積累時間內進行目標檢測,形成點航跡,再根據需要進行平動補償,在慢時間維進行時頻變換,最后將由兩部雷達的時頻圖輸入所設計的深度神經網絡,進行自動特征提取及融合,輸出氣動目標識別結果。

圖1 基于深度神經網絡的雙波段時頻圖目標融合識別流程圖Fig.1 Target fusion recognition flowchart of double band time-frequency diagram based on deep neural network

2.2 所提深度神經網絡

針對雙波段雷達回波時頻圖融合識別需求,本文在CBAM殘差網絡的基礎上設計了WDI-CBAM殘差結構,如圖2(a)所示。對比算法為DI-CBAM (double input-CBAM)殘差結構,即將兩部雷達的時頻圖進行無差別通道疊加，并進行輸入,如圖2(b)所示。

圖2 模型框圖Fig.2 Model diagram

自注意力機制能夠從數據中自適應地篩選有用信息,忽略不重要的信息。SE(squeeze-and-excitation)模塊[31]是經典的通道自注意力模塊,CBAM在SE模塊的基礎上改進通道注意力機制,并增加空間注意力機制,進一步提高了深度網絡性能。自注意力模塊可以嵌入任何CNN,在不大幅增加訓練和計算代價的前提下可提高分類準確率。殘差網絡[32]通過跳層連接結構,可有效緩解梯度消失問題,已經成為主流的深度學習模型。因此,以基于CIFAR10數據集的ResNet20網絡為參照網絡,加入CBAM模塊,構成WDI-CBAM殘差網絡,整體結構如表1所示。

表1 整體網絡結構

DI-CBAM殘差結構在輸入端直接進行通道疊加,并沒有考慮兩個波段時頻圖的差異性。根據前文對時頻圖的分析可知,不同波段雷達的時頻圖在頻域擴展以及初始微動周期相位方面均存在差異,因此用同一個卷積核對兩個時頻圖進行處理,會破壞時頻圖所含的微動特征。而WDI-CBAM殘差結構利用主干淺層卷積網絡分別對兩個輸入進行淺層特征提取,在此基礎上再進行融合,一方面保留了兩個時頻圖的差異性,增加了網絡的自由度,另一方面在淺層特征層面進行融合,能夠最大程度地利用淺層共性特征,耦合非共性特征。

2.2.1 CBAM殘差結構

CBAM包括通道注意力模塊和空間注意力模塊,分別如圖2(c)和圖2(d)所示。CBAM的輸入為F∈RC×H×W,CBAM依次進行一維通道自注意力映射Mc∈RC×1×1,以及二維空間注意力映射Ms∈R1×H×W。注意力過程可總結為

(7)

式中：⊙表示元素級別的乘法。在相乘的過程中,注意力值相應地得到傳播,通道權重沿著空間維度傳播,空間權重則沿著通道維度傳播。F″是最終的注意力權重輸出。

(8)

式中：σ表示激活函數,選用sigmoid函數,W0∈R(C/r)×C,W1∈RC×(C/r)。W0和W1分別表示兩個全連接層的權重。

(9)

式中：σ表示激活函數,同為sigmoid函數；f(·)為卷積操作。

表1中的整體網絡結構均包括1個主干網絡和3個卷積塊,每個卷積塊包括3個網絡塊,1個網絡塊包括2層卷積。圖2(a)中的主干網絡為單層的卷積網絡,[3×3@16];圖2(b)的主干網絡為[3×3@32]。[3×3@16]表示1個卷積核為3×3、通道數為16的卷積層,1個批歸一化層(batch normalization, BN),以及1個ReLU激活層。

每個卷積塊包括3個傳統的CBAM殘差模塊。以[3×3@32,2]為例,網絡塊表示2個卷積的卷積層,第1個卷積層包括1個核為3×3、通道數為32的卷積操作,1個BN層和1個ReLU激活層;第2個卷積層包括1個卷積操作和1個BN層。在CBAM殘差結構后再添加1個ReLU激活層。最后,進行平均池化,設計全連接層,再輸出氣動目標種類,分類器為Softmax函數。損失函數采用交叉熵。

殘差單元恒等映射的核心是跳層連接,其能夠緩解深度網絡梯度消失的問題。殘差單元用快捷連接實現恒等映射。映射關系為

Y=σ(F″+WlX)

(10)

式中：Wl表示恒等映射,是對X的線性變換矩陣,一般采用核尺寸為1的卷積操作使得WlX的尺寸與F″保持一致，σ表示激活函數,選用ReLU函數。

2.2.2 整體網絡結構

以CIFAR-10數據庫訓練的ResNet20為參照網絡,整體網絡結構如表1所示。WDI-CBAM+ResNet20和DI-CBAM+ResNet20在主干網絡和第一個卷積塊的首個網絡塊部分有區別,后續的網絡結構沒有區別。

CBAM+ResNet20的輸入為單個時頻圖,DI-CBAM+ResNet20的輸入為兩個時頻圖的通道拼接,WDI-CBAM+ResNet20的輸入為兩個時頻圖。

3 驗證與分析

計算機配置:CPU為Intel Xeon Gold 5222@3.80GHz;GPU為NVIDIA TITAN RTX 24GB;內存為128GB;操作系統為Windows 10;深度學習框架為Keras2.3.1。

3.1 仿真驗證與分析

為了驗證本文所提算法對氣動目標識別的有效性,根據第1.1節的微動模型進行仿真,并分析信噪比,以及駐留周期對算法性能的影響。

雷達1和雷達2的載頻分別設置為170 MHz和80 MHz,脈沖重復周期為1 ms。兩部雷達站址一致,時間不嚴格同步,即微動的初相θ0不一致。7類目標具體參數如表2所示,目標1～目標3為直升機,目標1的葉片數為偶數,目標2和目標3的葉片數為奇數。目標4～目標6為螺旋槳飛機。目標7為噴氣式飛機。對7型氣動目標進行仿真,既可以驗證算法對3大類目標分類的性能,還可以進一步驗證其對型號判別的能力。

表2 氣動目標參數

采用Matlab對雷達回波信號進行仿真,并生成時頻圖。基于時頻圖,用Keras構建網絡結構,進行訓練、驗證和測試。其中,時頻圖的窗長設置為17。

3.1.1 模型性能分析

脈沖個數設置為80個。目標仰角范圍設置為1°～10°,步進為0.5°;目標速度范圍設置為-100～100 m/s,步進為5 m/s。在回波信號中加入復正態白噪聲,使得信噪比在-10～20 dB,步進為5 dB。每類目標的樣本數為4 800個,其中60%用于訓練,20%用于驗證,20%用于測試。

多種算法的性能對比如表3所示。通道注意力機制中的全連接層壓縮比均設置為4。

表3 多個算法性能對比

根據表3可進行如下分析。

首先,對比深度網絡和傳統算法性能。表3中,算法1～算法19均為神經網絡模型,算法20～算法25為傳統算法。調制譜特征和時頻圖特征提取方法可分別參考文獻[30]和文獻[10],分類器為支持向量機。算法22和算法25將兩部雷達的特征進行拼接,輸入支持向量機,得到融合識別結果。通過對比,可以看到基于調制譜特征的識別結果劣于時頻圖特征,且基于時頻圖特征提取的識別結果劣于深度網絡。對于調制譜而言,在短駐留情況下很難進行穩健的特征提取,識別準確率受限。對于時頻圖而言,傳統的特征提取不如深度網絡全面。

接著分析自注意力機制的優劣性。在分類準確率方面,將SE注意力機制與ResNet20結合,與無注意力機制的ResNet20相比有較大幅度的提升,將CBAM注意力機制與ResNet20結合，相比SE注意力機制有進一步提升。在模型收斂速度方面,注意力機制能夠加快模型收斂速度,使模型訓練輪數大大減少。此外，SE和CBAM模塊與ResNet20的結合使得訓練收斂輪數變少,且并不會導致參數量大幅增加。因此，注意力機制能夠在不大幅增加計算負擔的前提下提高深度網絡性能,且CBAM自注意力機制優于SE機制。

再分析融合算法的優劣性。表3涉及3種融合方法,包括雙雷達決策級融合、DI-CBAM殘差網絡以及WDI-CBAM殘差網絡。決策級融合采用證據理論對兩部雷達通過網絡結構輸出的識別概率進行融合[33]。由表3可以看出，進行決策級融合后,識別率比單部雷達高，而DI-CBAM+ResNet20比決策級融合性能更好,WDI-CBAM+ResNet20能夠更進一步提高識別率。另外，WDI-CBAM+ResNet20與DI-CBAM+ResNet20相比,參數量略有下降,且訓練收斂輪數更少。這說明WDI-CBAM在提取淺層次信息的基礎上進行特征融合,能夠更好地抑制無用信息,增強有用特征信息,而且訓練代價更小。

最后分析網絡深度對模型性能的影響。隨著網絡深度的增加,目標識別準確率有小幅增加,但參數量和訓練代價急劇增加。因此，之后的分析均以ResNet20為基礎網絡結構。

WDI-CBAM+ResNet20的混淆矩陣如圖3所示。通過混淆矩陣進一步分析所提網絡模型的目標識別性能可知,直升機的型號識別準確率均大于90%,而螺旋槳飛機的型號識別率稍低,尤其是目標4和目標5之間較容易混淆。噴氣式飛機較難與其他兩大類氣動目標混淆。值得注意的是,由于噴氣式飛機的微動頻率過高,很難通過低頻雷達采集的微動特征進行型號識別。

圖3 WDI-CBAM+ResNet20的混淆矩陣Fig.3 Confusion matrix of WDI-CBAM+ResNet20

3.1.2 噪聲對算法的影響

根據不同的噪聲水平進行仿真,進行回波疊加,生成測試數據,信噪比范圍為-10～20 dB,步進為2 dB,選取每個雷達目標、每種噪聲水平共200個樣本。

用第3.1.1節中訓練所得的典型網絡對7類目標測試數據進行分類,統計得到的不同信噪比下的準確率如圖4所示。圖4中的算法25和網絡7、網絡8、網絡12、網絡13對應表3中相應的雷達輸入及網絡結構?？芍谛旁氡葹?10 dB時,算法25和網絡7、網絡8、網絡12、網絡13的目標分類準確率分別對應26.5%、34%、27%、50.5%和55%。通過對比算法25和其他網絡模型性能,驗證了深度網絡與傳統的識別算法相比具有更好的噪聲魯棒性;通過對比4種網絡結構,驗證了兩部雷達微動融合能夠在較低信噪比情況下提高識別率。且在不同的信噪比情況下,網絡13均比網絡12的分類準確率高。網絡13能夠在信噪比為8 dB時實現接近100%的準確率。因此,網絡13對應的WDI-CBAM+ResNet20在噪聲魯棒性和融合識別性能方面更具優勢。

圖4 不同信噪比下網絡對7類目標的分類準確率Fig.4 Classification accuracy of networks for seven kinds of targets with different signal to noise ratios

3.1.3 駐留時間對算法的影響

目標仰角和信噪比以及目標速度設置同第3.1.1節。相參脈沖個數范圍為20～100,步進為20。在不同相參脈沖個數情況下,仿真產生新的時頻圖樣本,訓練新的網絡,并對其進行測試。不同駐留時間條件下,各種算法對目標分類的準確率如表4所示。由表4可以看到，隨著駐留時間的增加,各個算法的分類性能均有提升。算法22和算法25對7類目標的識別準確率遠不如深度學習網絡,這進一步證明了深度學習網絡對于氣動目標微動特征提取的有效性。

表4 不同駐留時間下網絡的分類準確率

在不同的駐留周期情況下,網絡13均能取得最優的分類準確率。同時，網絡13在20 ms的駐留條件下即可實現85%以上的3大類氣動目標識別率。這說明WDI-CBAM+ResNet20在駐留時間較短的情況下也能實現較高的目標識別準確率。7類目標分類準確率低于3大類目標分類準確率的原因是直升機之間容易產生混淆,螺旋槳飛機之間更容易產生混淆。

3.1.4 可視化分析

為了研究WDI-CBAM結構中自注意力機制的影響,本節對通道權重和空間熱力圖進行可視化分析。模型采用第3.1.1節所訓練的網絡13。

從7類氣動目標中分別選取典型樣本,通過式(8)得到通道權重。第1個CBAM模塊對應的通道權重如圖5所示,前16個通道對應雷達1,后16個通道對應雷達2。

圖5 WDI-CBAM的通道權重可視化結果Fig.5 Spatial weight visualization results of WDI-CBAM

由圖5可以看出，前16個通道比后16個通道權重大。為了進一步觀測通道權重,從每類氣動目標中選取300個典型樣本,計算其通道權重,求取平均值,結果如表5所示。由表5可以看到,7類目標樣本對應的前16個通道權重比后16個通道大,這進一步證明了雷達1對目標識別的貢獻度較大。雷達1的波長更短,多普勒擴展更大,微動細節更加豐富。因此,WDI-CBAM模塊能夠合理分配兩部雷達的重要程度,更適用于雙波段雷達目標識別場景。

表5 通道權重

根據文獻[34]中的梯度類激活圖計算方法對選取的典型樣本，利用網絡7、網絡8和網絡13進行空間權重可視化,熱力圖如圖6所示。圖6中，P表示各型網絡根據輸入預測為對應目標的概率，P值越大，表明預測結果越可信。網絡7的輸入為雷達1的時頻圖,網絡8的輸入為雷達2的時頻圖,其熱力圖均能夠覆蓋微動擴展區域。而WDI-CBAM的輸入為兩部雷達的時頻圖,其熱力圖是兩個輸入中對分類有貢獻的區域的疊加。

3.2 實測數值驗證

實測數據由兩部不同波段的雷達在外場采集得到,雷達1工作在170 MHz左右,雷達2工作在80 MHz左右。兩部雷達的脈沖重復周期均為1 ms,相參積累個數為64個。雷達之間不嚴格相參,時間上秒級同步。

圖6 空間權重可視化結果Fig.6 Spatial weight visualization results

兩部雷達同時觀測3個目標,包括直升機AS350、螺旋槳飛機Y5和噴氣式某民航飛機。目標速度范圍為50～280 m/s,目標高度范圍為2～9.6 km;三型目標與雷達的徑向距離范圍為10～100 km,方位角范圍為210° ～230°。兩部雷達對目標的觀測角度基本一致。

雷達原始回波的預處理包括,飛機主體移動至零頻率,主體摳除[35],以及時頻轉換。經過初步篩選,兩部雷達對于每類目標的觀測樣本分別為3 200個左右。訓練樣本占比為60%,驗證樣本和測試樣本占比分別為20%和20%。

基于實測數據的測試分類準確率如表6所示,深度學習網絡相比傳統算法22和算法25優勢明顯。這說明深度學習網絡能夠在復雜的實測電磁環境中提取有效識別信息,從而實現穩健的分類效果?；陔p雷達融合的網絡12和網絡13相比基于單個雷達的網絡7和網絡8的性能有較大提升,從而驗證了雙波段融合識別網絡相較于單一波段的識別網絡能夠提高氣動目標識別準確率。

表6 實測數據目標識別結果

具有權重自適應功能的網絡13性能最優,網絡13的混淆矩陣如圖7所示,三型飛機的識別率均大于92%。

圖7 實測數據的混淆矩陣Fig.7 Confusion matrix of measured data

實測數據更進一步驗證了所提網絡結構(即網絡13)能夠有效提取有用信息,獲得更優的識別性能。

4 結束語

本文提出了一種自適應WDI-CBAM殘差融合識別網絡,在輸入端對CBAM殘差結構進行改進,優化不同波段回波時頻圖的通道權重,從而降低了訓練代價,并提高了融合識別準確率。VHF波段的仿真和實測數據處理結果證明了WDI-CBAM殘差網絡性能優于決策級融合和DI-CBAM網絡。

本文方法可以進一步擴展至高波段雷達微動特征融合,在時頻分析預處理之前可根據需要進行平動補償,所提網絡結構依然適用。對于兩個以上波段雷達協同,本文網絡結構可進行適應性擴展,綜合多波段識別優勢,提供更穩健的氣動目標識別性能。