YOLOv5與光流相結合的紅外小目標檢測算法

劉寶林,范有臣,秦明宇,謝鵬飛,郭惠超,張來線

(航天工程大學,北京 101416)

1 引 言

高于熱力學零度的物體都會輻射紅外線,紅外輻射穿透云、霧、煙塵的能力強,紅外探測成像是被動接收紅外輻射成像,具有良好的抗干擾能力和隱蔽性,能夠探測到幾公里到幾十公里遠的目標。紅外成像系統視場大,遠距離目標成像呈現點狀,目標成像大小介于3×3和9×9個像素[1],所占的像素數少,成像面積占整幅圖像比例很小,信雜比低[2-3],檢測難度大。由于散射的影響,目標邊緣信息微弱,缺少固定的形狀和紋理信息,不利于特征的提取。紅外小目標檢測算法分為基于單幀檢測和基于多幀檢測的算法[4]。單步目標檢測算法中較典型的是YOLO方法[5-7],該方法由物體中心的格子來完成目標預測,提取目標特征、候選框邊界回歸及分類都在同一個網絡中實現的,檢測速度可達到100 FPS以上,解決了實時檢測的任務要求。

復雜背景中包含多個與真實小目標相像的點,目標的檢測難度大,在訓練數據集有限的條件下,利用已有的小目標訓練權重進行檢測,容易漏掉真實的小目標。為了將可能的小目標都檢測出來,本文在使用YOLOv5檢測時,用低檢測網絡對復雜背景圖像進行檢測,檢測結果中除了真實小目標外,包括多個虛假目標,不易提取目標的軌跡。文將LK和HS兩種光流算法進行了對比,用單樣本K-S檢驗得到分布擬合度,構建Q-Q圖來計算平臺真實運動量,結合YOLOv5校正檢測目標校正目標軌跡,實現了目標軌跡的提取。

2 紅外小目標數據集的訓練

實驗室拍攝的旋翼無人機天空背景紅外視頻,提取其中圖片1651張,圖像背景均勻,大小為567×273,其中圖像如圖1所示,圖1(a)中紅外小目標的灰度值較高,與背景的灰度值對比明顯,圖1(b)中灰度值比圖1(a)明顯,不容易觀察出來。

選擇地/空背景下紅外圖像弱小飛機目標檢測數據圖片[8]文件夾data5、data8共3396張,圖像大小為256×256,其中典型圖像如圖2所示,圖2(a)中紅外小目標的灰度高于局部背景區域,圖2(b)中紅外小目標灰度值與局部背景區域灰度接近,不易與背景區分,同樣存在著與小目標灰度和形狀接近的小區域。

實驗是在安裝Window10的服務器上完成,服務器的CPU:Intel(R)Xeon(R)Silver 4116 CPU @2.1 GHz 2.1GHz(2處理器),內存32GB,顯卡NVIDIA GeForce RTX-3090 32 GB,cuda11.1.0_456.43_win10,cudnn-11.1-windows-x64-v8.0.4.30,Aanconda3-2020.02-Windows-x86_64版本搭建Pytorch1.7,python 3.7.6,pycharm-community-2020.1.3×64。

圖2 單目標復雜背景數據集圖像

將單目標的簡單和復雜背景圖像使用labelImg軟件標注,共得到標注圖像5047張,對應標注xml文檔5047個,區分訓練圖4015張,驗證圖1032張。用YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四種模型訓練數據50次、100次、200次、300次、400次、500次和600次,如圖3所示。

隨著訓練次數的增加,四種模型的訓練準確率隨著次數的增加,總體上是在逐漸提高,YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x訓練600次的準確率分別為0.9608、0.9485、0.9605、0.977,在準確率上,震蕩程度最大的是YOLOv5s,收斂最快的是YOLOv5x。單一模型損失率的隨訓練次數增加損失率總體呈現波動降低趨勢,訓練600次的最終損失率在0.01581、0.01478、0.0145、0.01408,數值相近,全部低于0.02,訓練收斂效果較好。

3 運動背景下的單目標檢測

3.1 光流算法

光流是圖像中亮度保持不變,即運動前后對應像素亮度值相同,而不隨時間而變化可表示為:

I(x+dx,y+dy,t+dt)=I(x,y,t)

(1)

其中,I(x,y,t)是圖像中各點的像素值；(x,y)表示空間中的位置；t是時間變量；dt是圖像連續幀的間隔時間；(dx,dv)表示在t時刻空間中的(x,y)點的位置變化量,在相鄰兩幀圖像中的點(x,y)有位移(dx,dy),單位時間上的位置變化量就是速度矢量。

用泰勒級數實施一階展開為:

(2)

Ixu+Iyv+It=0

(3)

對選擇地/空背景下紅外圖像弱小飛機目標檢測數據中的連續兩幀圖像進行實驗,圖像大小為256×256,如圖4所示。圖4中兩幅圖像的光照條件沒有變化,同一區域的灰度值也比較一致。從兩幅圖像中地物對比可以看出,圖4(b)幀明顯比圖4(a)幀靠右,判斷平臺向右側運動。

圖4 連續兩幀圖像

選取HS和LK計算結果50×150的部分放大,顯示的結果如圖5所示。

從選取部分放大后可以看出,HS算法光流圖中光流值錯誤的多,且各個方向都有無法看出總體規律。而LK算法光流值總體向右,與平臺實際移動方向較為一致。用LK法對這種場景計算運動量比較合適。

3.2 光流值的校正

平臺真實運動量需要通過取光流值的有效部分得到,首先用HS、LK算法計算光流分量,然后通過單樣本K-S檢驗計算分布擬合度,構建Q-Q圖得到上下界數值,最后取上下界間的均值取整得到校正值。

光流法對光線較為敏感,得到的光流場中存在一些極端值,為了通過光流場解算出平臺移動情況,用不同光流算法得到的光流場對真實情況進行預測,因此引入tLocation-Scale分布函數對極端值進行濾除。

1)tLocation-Scale分布基于t分布[10],其概率密度函數為:

(4)

其中,μ為位置參數;σ為尺度參數;ν為自由度。Γ(x)為伽馬函數,相較于t分布,由于引入了位置參數和尺度參數,tLocation-Scale分布具有更好的自適應性。

2) 擬合優度檢驗,單樣本K-S檢驗可用于檢驗觀測到的數據是否符合某已知的理論分布。Matlab中使用kstest函數實現K-S檢驗功能,返回參數[h,p,ksstat,cv],其中,h表示檢驗決策,p值反映原假設成立的可能性,ksstat為統計量的值,cv為接受域與拒絕域的邊界值。使用LK算法得出的光流場的豎直分量數據測試tLocation-Scale分布的擬合程度,對比正態分布的擬合結果數值,得到的擬合曲線如圖6所示,參數計算結果如表1所示。

圖6 t Location-Scale擬合曲線與正態分布擬合曲線

表1 K-S檢驗結果

從表1中可以看出,tLocation-Scale分布的ksstat值遠小于正態分布,且p值大正態分布,說明tlocation-Scale分布有著更好的擬合度。

3) Q-Q圖可用于評估兩組數據是否來自同一分布,假設大部分數據數據均可用且符合tLocation-Scale分布,用Quantile-Quantile圖(Q-Q圖)對不可用部分數據進行篩選。

Q-Q圖的橫坐標為理想分布的分位數,縱坐標為樣本分位數。因此要構建Q-Q圖,首先要確定分位數。

若有一容量為n的樣本x1,x2,x3,…,xn,其p分位數xp的計算公式為:

(5)

可使用random函數在理想分布模型中隨機抽取樣本得到近似的理想分布樣本分位數。結合qqplot函數進行Q-Q圖的構建,如圖7、圖8所示。

由Q-Q圖的特性可知,分布于直線附近的點與理想tLocation-Scale分布較為符合,可認為該點對應數據為可用數據。得到HS和LK算法上下界,計算上下界均值,得到實際速度如表2所示。

表2 HS、LK算法的水平和豎直分量上下界

LK法得出的水平分量的有效取值范圍為[4.4392,14.111],LK法得出的豎直分量的有效取值范圍為[-0.37501,0.44059],HS法得出的水平分量的有效取值范圍為[-1.6717,4.6349],HS法得出的豎直分量的有效取值范圍為[-3.5068,3.4087]。對比HS和LK兩種算法運動分量結果,可以得出LK算法水平分量9.54,豎直分量-0.03,水平分量四舍五入為10,豎直分量四舍五入為0,速度分量結果與觀察到的實際運動相符,選用LK算法計算這種場景下的運動。

3.3 實驗結果與分析

通常紅外圖像背景較為復雜,存在類似小目標的虛假目標許多干擾點。使用訓練權重對紅外圖像中的小目標檢測結果中包括真實的小目標和虛假目標,光流法可計算得到幀與幀之間的橫向和縱向運動量,從而補償平臺運動的影響,將多幀圖像中檢測點表示在一幅圖像中,真實的目標軌跡是一條曲線,而虛假目標點相對背景的位置沒有發生變化,通過光流補償計算后的位置通常聚集在一小區域,能夠區分真實目標和虛假目標,從而檢測出真實的目標。檢測流程如圖9所示。

圖9 單目標復雜運動背景檢測流程

實驗中,權重采用YOLOv5s訓練200次的best權重,為了把所有可能的小目標都提取出來,需要設置較低的置信度,將置信度設置為0.001,檢測地空背景圖像數據集data18中的500幀單個無人機目標樹林運動背景的紅外圖像,第1、19、39、55幀的檢測結果如圖10所示。

其中,圖10(a)圖像中的目標是真實目標,從圖10(b)、(c)、(d)圖像中可以看出,該目標從向樹林左下方運動,目標與背景位置有明顯的相對運動,平臺隨運動目標整體向左下移動,背景向左下運動,檢測到的假目標的坐標值發生變化。地面輻射強,圖像上的灰度值較高,形狀與紅外小目標類似,被檢測為小目標。圖10(b)中檢測到1個目標,圖10(c)檢測到1個目標,這些檢測到的固定目標的中心坐標隨著平臺移動,發生變化了,但相對背景位置沒有發生變化。

選取其中第1到55的連續55幀圖像,用LK方法求相鄰幀圖像的橫向和縱向光流變化量,從第2幀到第n幀的光流量變化量取整后的累加值,就是平臺運動補償量,如式(6)所示:

(6)

其中,u,v分別是通過LK法計算相鄰幀圖像得到光流的水平和垂直方向的取整結果；Un,Vn分別是第1幀圖像到第n幀圖像間平臺水平和垂直方向運動量。從第1幀到第100幀圖像預測點的橫縱坐標xn,yn分別與平臺運動補償量求和,得到圖像的中各點的真實位置,如式(7)所示:

(7)

將校正前的坐標點和校正后的坐標點在第1幀圖像的xy坐標圖上畫出,結果如圖11所示。

55幀圖像中12個目標的點數如表3所示。

其中,圖11(a)是光流法校正前的圖像,目標1、2、3、5、6、7、8、9、11、12對應的坐標比較集中,目標1、3、4、6、7、9、12坐標點數是4個以內,是虛假的目標,目標8、10、11的點數分別是7個、9個、7個,目標4和目標10坐標變化較大,是位置發生變化的點,點的軌跡呈與平臺運動方向一致變化的曲線,可判斷為虛假的目標。圖11(b)是經過光流法校正后的圖像,目標1的坐標軌跡是向左下方運動的曲線,符合運動目標的運動方向,其他目標經校正后的坐標都較集中,在第1幀圖像中的檢測目標附近,是背景中的虛假目標。

表3 檢測目標出現次數

4 結 論

文中采用基于YOLOv5的深度學習方法對紅外弱小目標提取,并對軌跡進行校正,較好的實現了目標軌跡的復原。結合拍攝到的簡單背景和公開的復雜背景的數據集在網絡中訓練,而后對紅外小目標檢測,檢測準確率在90 %以上,損失率在2 %以下,結果比較理想。給出了提出軌跡的流程,對比了兩種光流算法,得到適于推算場景變化量的算法,進行分布擬合,構建Q-Q圖得到平臺真實運動量,通過光流與YOLOv5相結合的方式校正了目標的運動軌跡,克服了提出軌跡不正確的問題。

紅外弱小目標檢測的研究始終是一個熱點問題。目標所處的背景千變萬化,除了林地和天空背景外,還有云層、海洋、城市和鄉村等多種多樣的背景,如何從這些復雜的背景中檢測到真實的目標有著很大的難度,需要不斷加以學習研究。除了背景多變外,紅外目標自身有著不同的形狀,有的規則的方形,也有的形狀是弧形等多種,實現正確的檢測是今后研究工作中需要努力的。