基于圖像與航跡信息融合的目標屬性識別方法

李正東,楊 帆,王長城,周穎玥

(1.西南科技大學 信息工程學院, 四川 綿陽 621000; 2.中國兵器裝備集團自動化所有限公司, 四川 綿陽 621000;3.西南科技大學 特殊環境機器人技術四川省重點實驗室, 四川 綿陽 621000)

0 引言

現有的雷達目標屬性識別技術主要是利用雷達回波中的頻譜信息、極化特征信息、高分辨距離像等實現對目標屬性的識別,很少有利用雷達檢測到目標的速度、加速度和方位等數據進行目標屬性識別。文獻[1]針對雷達點跡數據,采用遞歸神經網絡(recursive neural network,RNN)進行目標航跡特征識別。文獻[2]針對雷達點跡數據,采用卷積神經網絡(convolutional neural network,CNN)進行目標航跡特征識別。在上述文獻中,基于深度學習的方法均取得了優異的屬性識別結果,但以上文獻都是對航跡曲線特征進行屬性識別,并未對航跡所對應的目標進行屬性識別。傳統的軍事武器系統中通常通過獲得的雷達航跡數據對目標屬性進行識別,但是單一雷達傳感器目標屬性識別性能往往會受到環境噪聲的干擾和自身傳感器因素的影響。文獻[3]鑒于傳統車輛避撞系統中,因采用單一傳感器進行目標識別,在感知范圍、識別準確性等方面存在的固有缺陷問題,提出了一種基于雷達與機器視覺信息融合的目標識別方法,實現了目標的準確識別與定位。文獻[4]針對復雜戰場環境下目標信息不確定性造成目標識別困難和誤判,導致目標識別結果準確率低的問題,提出了一種基于離散因子多傳感器目標識別的數據融合方法,使目標識別結果更加準確,符合實際。以上文獻表明,通過多傳感器信息融合技術,能夠解決單一傳感器識別能力低的問題,提高目標識別結果的準確性。

隨著技術的不斷發展,目前的雷達大多都配備著各種類型的光電傳感器輔助雷達進行目標識別,這些光電傳感器包括白晝型或者微光型電視跟蹤及監視設備、前視紅外跟蹤及監視設備、激光測距機等。利用這些設備能夠觀察目標的特征及跟蹤情況。因此可以在傳統武器系統中使用光電圖像和雷達航跡進行目標屬性識別。

故本文中設計了一種使用D-S證據理論并基于決策級信息融合將雷達航跡信息與光電圖像進行融合識別的方法。該方法在融合處理雷達航跡信息、光電圖像信息的基礎上,利用融合后的目標信息完成對目標的正確識別。通過實驗分析,論證了該方法能夠提高雷達的目標屬性識別能力。

1 研究方法

圖1為本文中使用的目標屬性識別框架,通過對航跡信息進行卡爾曼濾波后提取運動特征并使用XGBoost模型進行分類最后通過Softmax函數輸出基本概率賦值。光電圖像采用34層的在ImageNet數據集上預訓練好的ResNet網絡進行分類,最后使用D-S證據理論對2個模型的識別結果進行融合。

1.1 XGBoost網絡

XGBoos是陳天奇等[5]提出的一種基于梯度提升樹的集成學習算法,具備更加快速準確解決許多數據科學問題的優點,其思想就是不斷地生成新的樹,每棵樹都是基于上一顆樹和目標值的差值來進行學習,從而降低模型的偏差,最后將所有樹的結果加起來就是模型對一個樣本的預測值。而如何選擇生成一顆較優的樹,則是通過目標函數來定義。

XGBoost的目標函數Obj如式(1)所示:

(1)

(2)

(3)

……

(4)

如果葉子的節點數太多,模型過擬合的風險就會增加,所以加入復雜度函數Ω(fs)來限制葉子節點個數,即

(5)

式(5)中:γ、λ為超參數,用來控制葉子節點數和權重。

1.2 ResNet網絡

本文中需要識別的光電圖像目標種類較多,并且目標大小也是模擬光電系統實際觀測大小,所以需要特征提取能力較強的網絡,若采用較深的網絡結構,雖然可以提高網絡的特征提取能力,但是隨著網絡不斷的加深,不僅會使網絡的訓練速度呈現下降的趨勢,模型難以收斂,還會使模型出現梯度消失、梯度爆炸等復雜問題。因此,本文使用了He等[6]在2015年提出的ResNet網絡,即殘差神經網絡。首先使用ResNet網絡在ImageNet數據集上預訓練權重,然后使用本文中構建的光電圖像數據集對模型再訓練。網絡結構如圖2所示。

圖2 殘差塊結構

該殘差塊輸出為

A(x)=F(x)+x

(6)

故網絡的學習目標為

F(x)=A(x)-x

(7)

若此時卷積神經網絡發生了梯度爆炸問題,無法繼續學習,即F(x)=0,那么A(x)-x=0,即輸出等于輸入,故ResNet網絡能夠有效克服網絡訓練收斂難、網絡退化和信息丟失等問題。

1.3 D-S證據理論

D-S證據理論是Dempster[7]提出,后經Shafter[8]的進一步發展而形成的一種不精確推理理論。其能夠針對所研究的不確定性問題的基本事件冪集空間,確定相應的基本概率賦值,使用D-S組合規則進行融合,從而得到不確定性問題的解。本文中使用D-S證據理論的融合流程如圖3所示。

圖3 D-S融合流程圖

如圖3所示,光電圖像分類模型提供的基本概率分配函數為模型預測各個類別的概率m1(Ai),雷達航跡分類模型提供的基本概率分配函數為模型預測各個類別的概率m2(Aj)。

則融合后目標屬性類別的概率分布為

(8)

式(8)中:m1(Ai)和m2(Aj)分別代表光電圖像分類模型和雷達航跡分類模型預測目標屬性為第i類和第j類的概率。K代表證據間的沖突程度,被稱為沖突因子。1/1-K是確保融合質量一致性的歸一化因子。K的計算式為

(9)

2 相關工作

2.1 數據集的構建

1) 光電圖像數據集的構建。由于并沒有針對巡航導彈(CM)、制導炸彈(GB)、空地導彈(AG)、武裝直升機(AH)、無人機(UAV)、固定翼飛機(AC)6類目標的光電圖像公開數據集,所以本文中通過多光譜軟件仿真生成每個目標的光電圖像數據,并對生成的圖像進行隨機翻轉、隨機裁剪、隨機縮放、隨機旋轉等操作,以擴充數據集。生成的圖像中不僅包含著戰場背景信息同時目標在圖片中的大小也是根據光學成像原理縮放,以模擬真實光電系統成像。P代表模擬真實光電系統成像目標的像素大小,計算公式為

(10)

式(10)中:H為目標實際尺寸,D為目標距光電傳感器的距離,f為鏡頭焦距,μ為像元尺寸。

2) 雷達航跡信息數據集的構建。采用仿真的形式模擬部分了巡航導彈、制導炸彈、空地導彈、武裝直升機、無人機、固定翼飛機6種目標航跡作為初始數據集,并對初始數據集內的軌跡進行旋轉、對稱和平移等操作,以擴充數據集。通過數據擴充,獲得各個種類1 000條航跡,共計6 000條航跡作為數據集。并為所有軌跡添加均值為0的高斯白噪聲以模擬觀測的隨機誤差。其中方位角和高低角白噪聲均方差為1密位,斜距離白噪聲均方差為8 m。然后將上述軌跡轉化到笛卡爾坐標系下進行卡爾曼濾波,去除缺失值后獲得真實數據集。數據集中的原始特征包括擾動后的目標軌跡觀測坐標(Observe)、卡爾曼濾波后的目標位置(filter_p)、目標速度(filter_V)、目標加速度(filter_a)。

2.2 雷達航跡信息特征提取

由于雷達航跡信息中存在著噪聲的影響,所以需要將獲得的航跡轉化到笛卡爾坐標系下進行卡爾曼濾波,去除缺失值后獲得真實數據集,而后通過特征工程進一步提取運動特征。

1) 卡爾曼濾波。目標運動學模型一般在笛卡爾坐標系下進行描述,其狀態方程如式(11)所示:

Xk+1=FkXk+Wk

(11)

式(11)中:Xk為k時刻的目標狀態;Fk為狀態轉移矩陣;Wk為均值為0,協方差矩陣為Qk的高斯白噪聲。以xk、yk、zk與vx,k、vy,k、vz,k分別表示三維笛卡爾坐標系下的目標位置、速度,以ax,k、ay,k、az,k表示目標加速度,則目標狀態向量Xk如式(12)所示:

Xk=[xkykzkvx,kvy,kvz,kax,kay,kaz,k]Τ

(12)

跟蹤系統測量方程如式(13)所示:

Zk+1=HXk+Vk

(13)

式(13)中:H為測量矩陣,Vk為均值為0,協方差為Rk的高斯白噪聲。

卡爾曼濾波是一種典型的線性最優濾波算法,在濾波時根據當前接收的觀測數據和上一時刻的估值,根據系統狀態方程,使用卡爾曼增益進行修正,預報出新的狀態估計值。卡爾曼濾波的主要計算過程如式所示:

(14)

2) 特征工程。主要的特征工程為濾波值特征上的統計特征值和常用的在濾波后速度和加速度上的航跡特征。基本特征為卡爾曼濾波后的目標位置、目標速度、目標加速度。其他特征在基礎特征上衍生,首先對基礎特征坐標變換,不妨以s表示某基礎特征向量,則坐標變換如式(15)所示:

[sTx,sTy,sTz]T=Tet[sx,sy,sz]T

(15)

(16)

(17)

式(17)中:r矢量為坐標變換的基礎矢量,βh為航向角,βl為俯沖角。

衍生特征在變換后的基礎特征上構建,包括矢量平滑,平滑矢量的差分、模、相似度以及曲率依次如式(18)—式(22)所示:

(18)

(19)

(20)

(21)

(22)

3 實驗設置

本文中所有的實驗均在Linux系統下完成,電腦處理器為Intel i7-8700k,運行內存大小為32 GB,GPU 型號為 NVIDIA GeForce RTX2080,顯存大小為16 GB。

3.1 訓練過程與參數設置

1) 針對ResNet網絡。由于原始的ResNet-34上的輸出層數為1 000,為符合本文中的分類目標種類數,故將其輸出層數改為6。訓練采用超參數為:batchsize設置為16,訓練輪數為100輪,學習率為0.001。

2) 針對XGBoost網絡。XGBoost的訓練過程中采用基于貝葉斯優化的Optuna[9]庫搜索最優參數,主要優化參數范圍為:樹模型的深度在1～15,學習率在0.01～0.15,L1正則化系數在0.1～10,L2正則化系數在0.1～10,數據集采樣比率和特征采樣比率都在0.1～1。Optuna搜索出最優參數后,訓練最大迭代次數為3 000,模型的損失函數采用交叉熵損失函數,當模型在驗證集上的得分持續1 000次迭代不再提升即停止訓練。

3.2 評價指標

網絡訓練完成后,需要在測試集上測試網絡的效果,基于D-S融合的目標屬性識別模型本質上是多分類模型,評價多分類模型的效果時采用的指標是由二分類問題的評價指標發展而來。

在二分類問題中,常用的指標包括分類準確率(accuracy)、精確率(precision)、召回率(recall)和F1得分(F1)。這些指標和TP(正類預測為正類的樣本數)、FP(負類預測為正類的樣本數)、TN(負類預測為負類的樣本數)、FN(正類預測為負類的樣本數)相關。在軍事武器系統中,希望目標屬性被誤分類的概率最小化,故本文使用召回率作為模型的分類評價指標,召回率的定義如式(23)所示:

(23)

4 實驗結果分析

1) D-S融合對各模型誤分類的影響。為驗證D-S融合能否矯正因為單一模型分類錯誤而導致最終識別結果錯誤的問題,本文中分別對真實標簽為AG的光電圖像與航跡信息進行屬性識別,并將單個模型對每個類別的預測概率與最終融合后模型對每個類別的預測概率進行對比。各模型對每個類別的預測概率分別如圖4—圖6所示。

圖4表明了圖像分類模型對真實標簽為AG的光電圖像目標屬性識別結果為CM,并且識別為CM的概率為54%,識別為AG的概率為43%;圖5表明了航跡分類模型對真實標簽為AG的航跡特征目標屬性識別結果為AG,并且識別為AG的概率為46%;圖6表明了融合后模型的目標屬性識別結果為AG,并且識別為AG的概率為86%。

圖4 圖像分類模型對真實標簽為AG的各類別預測概率

圖5 航跡分類模型對真實標簽為AG的各類別預測概率

由上述結果可知,即使光電圖像分類模型給出了一個錯誤的識別結果,但通過D-S融合后,最終的識別結果卻是正確的,并且最終預測為正確類別的概率也是高于融合前各模型預測為正確類別的概率。

2)D-S融合對單一模型識別能力的影響。為了驗證本文中所提出的使用D-S融合的方法是否能提高目標屬性識別能力,本文中分別模擬了目標距光電傳感器的距離D為1～3 km和3～5 km的航跡分類模型識別結果和光電圖像分類模型識別結果與融合后的識別結果進行對比。各模型召回率在2種距離D上的實驗結果分別如圖7、圖8所示。

圖7 距離D為1～3 km的召回率

圖8 距離為3～5 km的召回率

圖7表明在目標距光電傳感器距離D為1～3 km上,融合后模型各目標的召回率都均高于融合前單一模型各目標的召回率,并且融合后模型各目標的召回率比光電圖像分類模型各目標的召回率平均高3%左右,比雷達航跡分類模型各目標的召回率平均高10%左右。圖8表明在目標距光電傳感器距離D為3～5 km上,融合后模型各目標的召回率也都均高于融合前模型各目標的召回率,且比光電圖像分類模型各目標的召回率平均高5%左右,比雷達航跡分類模型平均高15%左右。

由上述結果可知,無論是距離D為1～3 km或是3～5 km上的目標屬性識別,融合后模型的識別能力均高于融合前模型的識別能力。

3) 本文中方法和其他算法性能比較。為驗證所提方法的優越性,選取了3個常用于雷達航跡分類識別的算法與所提方法對比,分別是卷積神經網絡(convolutional neural network,CNN)、遞歸神經網絡(recursive neural network,RNN)以及決策樹(decision tree,Dec Tree)。不同算法在識別性能召回率上實驗結果如圖9所示。

圖9 各算法識別的召回率

圖9實驗結果表明了CNN的識別效果一般, CNN雖然能自動從數據中學習特征,但CNN在處理有時序特征的數據時,其識別效果往往不理想;RNN和Dec Tree的識別效果較好,RNN在處理序列數據時往往會取得較好的結果,而一旦處理類似雷達航跡這種擁有長時間序列特征的數據時,其結果往往有待提升,決策樹通常是遞歸選擇最優屬性,并根據該特征對訓練數據進行分割,故而能得到較好的結果,但是決策樹沒有考慮航跡數據的時序性,所以結果也有待提升。以上算法對航跡識別性能均低于本文中所提的方法,從而驗證了本文中所提方法在目標航跡識別上的良好效果。

綜上可知,所提方法在雷達航跡識別性能上均高于其他的對比算法,提高了雷達航跡識別的召回率,同時無論是遠距離目標屬性識別或者近距離目標屬性識別,融合后模型的識別能力也均高于融合前單一模型的識別能力,并且也能矯正因單一模型分類錯誤而導致最終識別結果錯誤的問題,從而表明本文中所提方法的有效性。

5 結論

本文中提出了一種基于光電圖像和雷達航跡信息融合的目標屬性識別方法,通過使用D-S組合規則將ResNet網絡和XGBoost網絡得到的目標類別概率進行融合。經實驗表明:通過D-S融合能矯正因為單一網絡識別錯誤而導致最終結果識別錯誤的問題;無論是在遠或近距離目標的屬性識別上,融合后模型的召回率都均高于單一模型的召回率,且融合后模型的平均召回率為95%。