基于深度學習的炸點圖像識別與處理方法

劉佳音,李翰山,張曉倩

(1.西安工業大學兵器科學與技術學院,陜西 西安 710021;2.西安工業大學電子信息工程學院,陜西 西安 710021)

0 引言

隨著實戰化訓練的不斷深入,實彈射擊訓練不斷貼近實戰,其形成的炸點可用于估計擊中敵方火力位置和評估炮兵射擊訓練效果等[1],因此,尋找一種可以實時準確識別炸點的方法,有助于驗證武器系統的整體性能,而且對現代數字化戰爭具有重要意義。

當前炸點識別方法常用的有聲測法、激光掃描法、雷達探測法和圖像識別法。文獻[2]利用聲學測量設備求解連發彈丸落炸點,采用空域搜索算法求解彈丸的炸落點三維坐標,具有較好的求解效果。文獻[3]針對聲源被動測向的傳統方法存在精度低和結構單一的問題,利用不規則排列聲傳感器接收到聲信號的時間差,采用最小二乘原理計算聲源方位。文獻[4]針對彈目交會過程中難以精確控制炸點的問題,采用置于彈丸頭部橫向旋轉掃描的線陣激光引信作為探測裝置,并利用Monte-Carlo算法對彈目交會過程進行數學統計,計算分析破片數目和目標有效交會面積對目標毀傷的影響,最終確定引信最佳炸點。文獻[5]研究了炸點和普通目標回波信號經動目標檢測(MTD)處理后的特征,利用炸點目標與普通目標的多普勒分布差的區別進行目標識別,并取得了很好的效果。文獻[6]提出采用基于定目標為參照的雙面陣相機交匯攝像法來測量近炸引信對空中目標引炸的炸點位置,利用交匯相機的空間幾何關系、圖像處理技術與模擬目標實際尺寸,計算彈丸炸點相對模擬目標的空間三維坐標。文獻[7]利用高速相機幀頻高、布站方便、多鏡頭靈活更換的優點,提出基于高速相機的近地炸點三維坐標測試方法,利用萊卡定位系統實際測量炸點坐標進行誤差分析。

聲測法測試精度較低且易受噪聲影響;激光掃描法投入成本較高且實時性差;雷達探測法耗費巨大且需要搭建龐大系統。而圖像識別技術投入成本低,定位準確度高,且不受風力、風向、溫度、地質條件等影響,因此利用圖像識別技術準確捕捉炸點爆炸產生的火焰,從而準確識別炸點位置成為目前的研究熱點。由于圖像識別技術針對炸點位置的識別主要依賴于所檢測到的炸點輪廓精確度,所以需要對爆炸火焰的外部輪廓進行高精度分割。

基于深度學習的語義分割算法主要采用深度神經網絡對圖像進行細粒度特征提取,并標記圖像中每個像素點,分割出目標區域[8]。文獻[8]針對炮兵對抗訓練系統中炸點圖像目標捕捉的問題,提出一種基于YOLACT 的炸點區域快速識別及分割方法,根據區域信息得到炸點中心坐標。文獻[9]針對目前靶場炮彈火焰圖像分割算法對火焰邊界分割效果差而導致定位精度下降的問題,提出改進PSPNet的炮彈火焰分割PSP_FPT算法,實現對炮彈火焰目標的高精度分割。文獻[10]為了實現炮口火焰與復雜背景環境的分離,引入深度可分卷積與殘差結構,對U-Net語義分割模型進行優化。

上述基于深度學習的語義分割網絡相較于傳統方法具有更好的魯棒性與泛化性,能夠克服目標周圍復雜環境以及光照強度的影響,但分割效果依賴網絡層數。若層數過少,無法提取到更深層、更關鍵的分割特征信息;若層數過多,則容易增大網絡運算量,造成過擬合。

因此提出一種改進的U-Net網絡。將主干特征提取網絡換為層數更深的ResNet50,且為了解決前景與背景類別不平衡問題,結合FocalLoss與DiceLoss函數,并采用自適應矩估計函數增加標簽圖像與分割圖像之間的相似度,最終對改進U-Net網絡進行訓練和測試,獲取最佳的網絡性能,實現炸點圖像分割及后續圖像處理。

1 炸點圖像獲取及位置信息分析

本文采用高速攝像機對炸點爆炸過程進行拍攝,獲得起爆時刻至爆炸結束的圖像全過程,由于最終要獲取炸點位置,而爆炸瞬間與爆炸后期所拍攝到的炸點圖像對炸點位置的獲取影響很大,因此要對拍攝的爆炸圖像進行分類篩選。將炸點爆炸瞬間的幾幀圖像作為選取的目標,因為此刻拍攝的炸點圖像受周圍環境干擾較小,且炸點形狀一般呈現扇形或不規則圓形,特征較為一致,能夠準確地反映炸點位置;而當炸點爆炸一段時間后,由于受風向及炸點擴散等影響,相機拍攝的炸點圖像會發生很大變化,若對此刻的炸點圖像作后續圖像處理,其獲取的炸點位置偏差較大。GoogLeNet是基于Inception模塊的深度神經網絡模型,Inception模塊將多個卷積與池化操作并列組成網絡結構,在相同的計算量下提取更多的特征,提高網絡訓練效果。本文利用GoogLeNet對所拍攝的近景及遠景多序列爆炸圖像進行分類,首先將拍攝的炸點爆炸過程分為多幀圖像處理;其次根據炸點爆炸瞬間形成的炸點形狀特征進行圖像分類,即將不包含炸點形狀特征的圖像定義為“未起爆”,將包含炸點形狀特征的圖像定義為“爆炸瞬間”,將包含炸點形狀特征及煙塵特征的圖像定義為“爆炸后期”;然后將已定義的多幀圖像作為GoogLeNet網絡的輸入,對其訓練并測試,最后得出分類結果。分類結果如圖1、圖2所示,網絡訓練后的分類準確率及損失如圖3所示。

圖1 近景場景下炸點圖像分類結果Fig.1 Classification results of fried point images in close-up scenes

圖2 遠景場景下炸點圖像分類結果Fig.2 Classification results of fried point images in long-range scenes

圖3 網絡分類準確率及損失Fig.3 Network classification accuracy and loss

根據GoogLeNet網絡分類結果,提取“爆炸瞬間”炸點圖像作為炸點位置信息獲取的樣本數據集。基于樣本數據集,先利用改進U-Net分割網絡對炸點圖像進行分割,再采用邊緣提取算法對分割出的炸點圖像進行輪廓提取及最小二乘法輪廓擬合,獲取圖像中的炸點位置信息,最后采用攝像機成像原理將二維炸點坐標信息轉換為三維炸點位置信息。假設圖像中炸點的像素坐標為(u,v),圖像坐標為(x,y),相機坐標為(X,Y,Z),空間坐標為(U,V,W),利用二維至三維坐標轉換公式,將獲取到的炸點圖像二維坐標計算得出炸點空間坐標。

(1)

(2)

(3)

(4)

f=185 mm,Z=20 000 mm。

為了更加接近炸點空間真實坐標值,利用改進U-Net網絡對樣本數據集訓練測試,提高炸點分割精度,獲取更為準確的炸點二維坐標。

2 改進U-Net網絡分割炸點圖像模型的構建

面對炸點的復雜環境,本文利用ResNet50代替原網絡中的特征提取網絡,通過增加網絡層數來提取更多的目標特征信息;為了解決圖像分割中前景與背景類別不平衡問題,本文采用以焦點損失函數FocalLoss為主函數,DiceLoss為輔函數的多重損失函數優化網絡模型;同時為了縮小實際輸出值與樣本真實值的差距,增加分割標簽圖像與分割圖像之間的相似度,在反向傳播更新權值參數階段,選用自適應矩估計函數作為優化函數[11],動態地調整學習率,尋找最優權重參數。改進U-Net網絡結構如圖4所示。

2.1 改進主干特征提取網絡

ResNet網絡被廣泛應用于各種特征提取場合中,深度學習網絡層數越深,特征表達能力越強,但當深度達到一定程度后,分類性能不但不會提高,還會導致網絡收斂更加緩慢,準確率也會降低,即使把數據集擴增,解決過擬合問題,網絡的分類性能和準確度也不會提高[12],ResNet50網絡層次結構如表1表示。

表1 ResNet50網絡層次結構Tab.1 ResNet50 network hierarchy

由表1可知,ResNet50經過了4個Block,每一個Block中分別有3,4,6三個Bottleneck模塊,每一個Bottleneck模塊里包含兩種Block。第一種是Conv Block,如圖5(a)所示,通過1×1卷積核對特征圖像先進行降維操作,再用3×3卷積核做一次卷積操作,最后通過1×1卷積核恢復圖像維度,后續傳入BN層與ReLu層,虛線處采用256個1×1的卷積網絡,將maxpool的輸出降維;另一種是Identity Block,如圖5(b)所示,即用實線連接,不經過卷積網絡降維操作,直接將輸入加到最后的1×1卷積輸出上,再經過后續的Block,進行平均池化操作和全連接操作,用Softmax實現回歸。圖像降維卷積處理過程如圖6所示。

圖5 結構圖Fig.5 Structure diagram

圖6 圖像降維卷積處理過程Fig.6 Image dimensionality reduction convolution processing

2.2 優化損失函數

在語義分割中存在大量前景與背景類別不平衡問題,使用單一損失函數往往趨向于捕捉炸點占比更大的樣本,而炸點占比小、背景占比大的樣本容易被損失函數過濾掉,為解決該問題,本文采用以焦點損失函數FocalLoss為主函數,DiceLoss為輔函數的多重損失函數優化網絡模型。

DiceLoss是計算集合的相似度函數[13],用于監督實際輸出值與樣本真實值之間的相似度,數值越小越相似,預測效果越理想,使用 DiceLoss 可以在初期加快收斂,提升模型訓練效率。同時采用以上兩種損失函數監督網絡,可以從不同角度捕捉預測過程中的不足和損失,在定位全局最優的結果下得到局部最優,提高泛化性。損失函數計算公式為

(5)

LFocal(pj)=-a(1-pj)γlog(pj),

(6)

LALL=LFocal(pj)+λ×LDice,

(7)

式中:|X|表示其標簽值像素個數;|Y|表示預測值像素個數;|X∩Y|表示標簽值和預測值交集的像素數;-log(pj)為初始交叉熵損失函數;a為類別區間(0或1二分類)的權重參數;(1-pj)γ為簡單/困難樣本調節因子;γ為聚焦參數[14];λ為經驗參數,用于調節兩個損失函數之間的權重。

為了減小損失函數數值,縮小實際輸出值與樣本真實值的差距,增加分割標簽圖像與分割圖像之間的相似度,在反向傳播更新權值參數階段,選用自適應矩估計函數作為優化函數,利用梯度的一階矩估計和二階矩估計,動態地調整學習率,尋找到最優的權重參數,公式如式(8)—式(12)所示。

mt=μ×mt-1+(1-μ)×gt,

(8)

(9)

(10)

(11)

(12)

3 實驗結果與分析

3.1 實驗環境與參數設置

本文實驗操作環境為Windows10系統,CPU參數為16 vCPU Intel(R) Xeon(R) Platinum 8350C CPU @ 2.60 GHz,42 GB內存,RTX 3080 Ti(12 GB)×1。網絡框架基于PyTorch 1.10.0,Cuda 11.3,使用Python 3.8版本進行編程實現,網絡初始參數設置如表2所示。

表2 網絡初始參數Tab.2 Network initial parameters

3.2 炸點圖像標簽數據集的構建

本文利用Labelme軟件對數據集進行輪廓標注,形成名稱為boom的標簽,并保存成json格式。以VOC2007數據集為格式標準,將json格式的數據轉換為png格式的圖片,單獨保存至名為“SegmentationClass”的文件夾,同時將原始炸點數據集保存至名為“JPEGImages”的文件夾,確保后續進行網絡訓練的文件路徑統一。利用Labelme軟件標注標簽示例圖如圖7所示。

圖7 炸點標簽圖Fig.7 Fried point label

3.3 實驗結果分析

3.3.1基于改進U-Net網絡的圖像分割結果評價指標

本文選用PA,MPA,MIOU三個評價指標來評估改進U-Net網絡模型的性能。PA表示分類正確的像素占總像素的比例,PA值越高,說明分割結果越精確。MPA表示圖像整體分割效果,MPA值越高,說明模型對所有類別的分割效果越好。MIOU表示整個圖像中所有類別分割結果的平均質量,MIOU值越高,說明分割結果越準確。其計算公式為

(13)

(14)

(15)

式中:Nij代表真實值為i,被預測為j的數量;k代表分割類別數;Nii為真正,代表正確分為該類的像素數量;Nij為假正,表示他類被分為該類的像素數;Nji為假負,表示該類被誤分為他類的像素數。式中先將背景和炸點分別作為正樣本求出評價指標,再取平均值便可得到所有類的平均評價指標,式中正樣本為炸點[15]。

3.3.2基于改進U-Net網絡的圖像分割結果

為了驗證本文提出的改進U-Net分割網絡在圖像分割精度上有一定的提升,本文選用原始U-Net分割網絡與U-Net+ResNet50,U-Net+優化函數以及改進U-Net網絡進行測試,使用相同的炸點數據集和初始網絡權重參數進行訓練,然后對訓練好的網絡模型,用炸點原始圖像進行對比驗證,實驗結果如圖8所示。

圖8 實驗結果對比圖Fig.8 Comparison of experimental results

由圖8可以看出:原始U-Net網絡對炸點的分割效果不夠理想,對比標簽圖像會有毛刺出現;特征提取主干為ResNet50的U-Net網絡,由于增加了網絡層數,因此可以獲得炸點更深層的細節信息,但對比標簽圖像,其相似度有所下降;加入優化函數后的U-Net網絡,對比標簽圖像其分割效果相對較好,但所提取的圖像信息仍有不足;改進U-Net網絡融合上述兩個改進點,對比標簽圖像,分割效果更好,有利于后續的目標邊緣提取。其實驗結果對比如表3所示。

表3 改進U-Net分割算法評價指標結果對比Tab.3 Comparison of evaluation indicators of improved U-Net segmentation algorithm

原U-Net的特征提取網絡為VGG16,提取更深層次的細節特征需要增加網絡層數,這會導致模型計算量大,因此本文選用ResNet50網絡將其替換,通過加入殘差模塊連接輸入與輸出,緩解網絡層數增多過程中的梯度消失問題。圖9為ResNet50與VGG16對同一張圖像分別進行特征提取的結果示意圖。

圖9 特征提取示意圖Fig.9 Feature extraction diagram

從圖9可以看出,采用ResNet50主干特征提取網絡的模型能夠捕捉到更廣泛的圖像信息,提取出更加有細節的目標特征。

本文選用模型運行時間、模型計算量及模型體積大小三個指標作為網絡模型優勢評價標準,具體數值如表4所示。由表4分析得出,相比于原始VGG16主干特征提取網絡,本文采用的ResNet50模型體積較大,但運行時間更短,計算量更少,同時結合表3,也可以反映出ResNet50模型的精度更高,因此可以證明ResNet50主干特征提取網絡在增加網絡層數的同時,能夠提取到更深層圖像特征信息,提升模型收斂速度。

表4 不同主干特征提取網絡參量對比Tab.4 Comparison of networkparameters extracted from different backbone features

為了驗證添加優化函數前后圖像的相似度變化,以標簽圖像像素面積為判斷標準,分別對U-Net原始網絡、U-Net+ResNet50和U-Net+優化函數以及改進U-Net網絡的圖像分割結果與標簽圖像進行相似度計算,其結果如表5所示。

表5 各分割圖像與標簽圖像相似度計算結果Tab.5 The similarity calculation result of each segmented image andthe label image

3.3.3炸點圖像二維坐標到空間位置的轉換

用已訓練好的改進U-Net分割網絡模型,對數據集中的炸點圖像進行分割,采用Canny邊緣輪廓提取算法提取炸點的邊緣輪廓,Canny算法主要利用高斯函數對炸點圖像進行平滑處理,再根據一階微分處理后的炸點圖像像素點的極大值來確定邊緣點,之后使用最小二乘法輪廓擬合,獲得輪廓中心及半徑,根據攝像機成像原理求得炸點位置。具體步驟如下:

1) 利用GoogLeNet分類出的炸點圖像數據集對改進U-Net網絡進行訓練并測試,獲得分割圖像;

2) 使用Canny邊緣提取算法,對炸點分割圖像進行邊緣檢測,并輸出炸點邊緣輪廓圖像;

3) 使用最小二乘法進行輪廓擬合,獲得輪廓中心及半徑,并用輪廓中心y軸數值與半徑求差,求得炸點像素坐標;

4) 根據攝像機成像原理轉換炸點像素坐標,獲取炸點空間坐標。

選用多張炸點圖像,對其分別進行上述操作處理,處理結果如圖10所示。

圖10 炸點圖像處理結果圖Fig.10 Explosion point image processing result

將獲取的像素坐標記為(u,v),代入第一章的坐標轉換公式(1)—(4)中,計算炸點空間坐標(U,V,W),如表6所示。

表6 炸點空間坐標Tab.6 Bursting point in air coordinates

由圖10可以看出,采用爆炸瞬間的炸點數據集訓練改進U-Net網絡,獲得的分割圖像精度更高,因此獲取的炸點像素坐標更為準確,通過坐標轉換關系,求出更加接近真實炸點位置的三維坐標,由此證明本文基于深度學習的炸點圖像識別與處理方法可以對炸點目標實現位置獲取及準確識別。

4 結論

本文首先利用GoogLeNet對高速攝像機拍攝的多序列爆炸圖像進行分類,提取出爆炸瞬間的多幀圖像,作為獲取炸點位置信息的圖像數據集;其次對U-Net分割網絡進行改進,將特征提取主干網絡替換為ResNet50,通過與VGG16作為主干特征提取網絡對比,可知本文采用的ResNet50主干特征提取網絡模型計算量更少,運行速度更快,結合FocalLoss與DiceLoss函數,并采用自適應矩估計函數作為優化函數,增加分割圖像與標簽圖像的相似性,由計算結果可知,采用自適應矩估計函數作為優化函數的相似度結果為98.67%,比不加該優化函數的U-Net原始網絡相似度結果高出1.30%,能夠提高網絡分割精度;然后采用Canny邊緣提取算法對已分割的炸點圖像進行輪廓提取,并采用最小二乘法輪廓擬合,獲得輪廓中心及半徑,對輪廓中心y軸數值與半徑求差得到炸點像素坐標;最后利用攝像機成像原理將炸點二維坐標轉換為三維坐標,獲取炸點空間位置信息。