基于局部相似的紅外小目標跟蹤算法

李鑫隆,艾斯卡爾·艾木都拉

(新疆大學信息科學與工程學院,新疆 烏魯木齊 830046)

1 引 言

紅外圖像的典型特點是分辨率較低,對比度較差。紅外圖像中的小目標視覺強度微弱,邊界模糊,跟蹤時容易丟失。實際應用中對跟蹤算法的精度要求很高[1-2]。相關文獻中,紅外小目標又被稱為紅外弱小目標[3]、小目標[4]、紅外點目標[5],弱點目標[6]等。為避免累贅,本文統一使用小目標作為指代。紅外小目標跟蹤算法主要劃分有特征匹配,圖像濾波和目標建模三大方向。特征匹配是將目標分解為局部特征的集合,根據特征點匹配實現跟蹤,特征方法的優點在于特征點在發生部分遮擋或者尺度變化時仍能夠被檢測到。在視覺目標跟蹤中,SIFT[7]、FAST[8]、BRISK[9]等方法常被用于提取目標的局部特征。濾波類方法將關注目標的運動特性,將目標的狀態變化納入考慮,利用合適的濾波方法提取目標位置。典型的有時空濾波[10]、粒子濾波(Particle filtering,PF)[11-12]等。不足之處在于這些方法對變化場景中的運動對象處理能力很差,實際跟蹤效果并不理想。建模類算法通常先建立跟蹤對象的理論模型,通過計算模型相似度估計目標位置,如均值漂移法[13-14]、光流法[15-16]、模板匹配法[17-18]等。缺點在于對分布穩定性具有要求,跟蹤輪廓模糊的小目標時容易丟失。總而言之,以上算法并不能夠滿足實際應用中紅外探測系統的要求。

基于時空上下文(Spatial-Temporal Context,STC)學習的跟蹤方法將對象的局部背景納入算法模型,具有穩定高效跟蹤的優點。將該方法應用到紅外小目標跟蹤時發現STC算法無法準確跟蹤雜波干擾的模糊對象。紅外小目標像素面積小,和背景對比差異小,跟蹤時受邊緣雜波干擾易導致跟蹤失敗。針對小目標跟蹤中的變化場景和模糊輪廓問題,本文提出了一種基于小目標梯度分布的局部相似度(Local Similarity Measure,LSM)特征。該特征學習當前目標的梯度分布并在下一幀獲取響應。LSM特征能夠有效增強目標響應,降低邊緣雜波干擾。然后基于局部相似和運動估計,提出了本文的跟蹤框架。

2 時空上下文跟蹤算法分析

2.1 STC跟蹤算法

STC算法的實質是在搜索空間內計算目標似然函數的響應,并將響應最高點確定為跟蹤對象的中心。引用文獻[19]的部分內容描述STC算法的算法流程。文中,目標的響應矩陣描述為:

c(x)=p(x|o)=∑v(z)∈XcP(x|v(z),o)P(v(z)|o)

(1)

其中,XC表征目標鄰域像素集合;v(z)是目標鄰域內任意點z的坐標和像素值;o說明跟蹤對象存在;x表示跟蹤對象某一像素;P(x|v(z),o)描述了目標像素分布與其鄰域信息的整體關聯;P(v(z)|o)描述了局部區域跟蹤對象o存在時任意點z與o的關聯。在當前幀,響應矩陣c(x)可表示為:

c(x)=b·exp(-(|(x-x*)/α|)β)

(2)

式中,α、β是公式參數,和對象的尺度和形狀有關;b為歸一化常數；x*代表已知目標的中心坐標。當前幀,式(1)中c(x)和P(v(z)|o)按照相應公式計算獲得,跟蹤任務轉化為上下文模型P(x|v(z),o)的構建問題,用htSC(x)表示,由此可得:

式中,F表示傅里葉變換。

基于第t幀的上下文模型htSC(x),就可以計算出(t+1)幀的函數響應矩陣ct+1(x),ct+1(x)中響應最高的坐標被認為跟蹤到的對象。關于響應矩陣c(x)的詳細計算,推導公式參考文獻[20]。

2.2 “偏移”分析

普遍情況下,目標上下文的關聯分布依賴顏色通道或灰度特征描述。在灰度特征中,雜波干擾和跟蹤目標分布高度相似。當雜波和目標足夠接近或者目標輪廓足夠模糊時,算法建立的上下文模型無法區分雜波干擾導致偏移。紅外小目標跟蹤容錯性低,跟蹤框的微小偏移就可能丟失目標。同時目標和雜波相似性高導致建模過程中易受上下文區域的雜波影響,產生偏移。由式(3)可知目標的上下文模型僅與其分布算法有關。在使用時空上下文算法跟蹤紅外小目標時,模糊輪廓和背景雜波混淆使得跟蹤算法產生偏移。由此分析,提升跟蹤性能的關鍵在于增強目標響應并抑制雜波干擾,提升目標與雜波的區分度,避免偏移。因此本文的解決思路是設計了一種使用梯度分布描述目標上下文信息的特征算法。該特征能夠顯著降低干擾,增強目標強度,有助于建立理想的目標模型,提升算法的抗干擾能力。

3 本文算法

3.1 局部相似度(LSM)

本文設計的LSM特征通過對當前幀的目標區域灰度梯度特性進行學習,產生相應的權值矩陣,再利用權值矩陣在下一幀區域提取LSM特征。LSM特征可表示如下:

LSM(x,t+1)=λβ(X)·G(X)·W(x*,t)

(4)

LSM(x,t+1)表示第(t+1)幀點x處的特征響應;λ是歸一化參數;G(X)表示第(t+1)幀中點X處大小為d*d的鄰域梯度矩陣,d為第t幀跟蹤目標的直徑均值。對于如圖1(a)所示鄰域矩陣g(X),根據公式(5)可以計算圖1(b)所示的矩陣G(X)的每一個成員G(x,y)的值:

(a)領域矩陣g(X) (b)梯度矩陣G(X)

(5)

X(x,y)是矩陣g(X)中對應坐標點的灰度f(t)表示如下:

(6)

W(x*,t)表示第t幀目標x*的目標權值矩陣。該矩陣首先在第t幀圖像點x*的鄰域產生鄰域梯度矩陣G(x*),然后對每個方向上R個梯度值G1,G2,…,GR有如下公式計算梯度比例:

(7)

即可得到相應的權值矩陣W(x*,t)，其中R為目標半徑;β(X)是相似度衡量因子,表示如下:

gray(t,x*)是第t幀x*處的灰度;D是點X和點x*的歐式距離;引入LSM,第t幀圖像的上下文分布概率可表示如下:

p(v(z)|o)=LSM(z,t)ωσ(z-x*)

ωσ是一個高斯權重函數;x*是已知的對象坐標。圖2顯示了LSM響應三維圖,其中(a1)和(b1)是處理之前的紅外圖像,(a2)和(b2)是對應圖像的三維顯示,(a3)和(b3)相應的LSM特征響應。圖中目標位置已經用黑色邊框標出。觀察圖2可以發現,三維灰度圖中紅外小目標和背景的差異很小,難以直觀地區分。這是采用灰度特征作為上下文描述符的STC算法容易受邊緣雜波和模糊輪廓影響產生偏移的原因。相反,在LSM特征響應圖中,目標和背景差異較大,具有很強的辨識度。引入LSM特征可有效抑制雜波干擾。

圖2 LSM響應三維視圖

3.2 運動估計

基于時空穩定性,在相鄰的兩幀間,小目標的位置變化不會很大。為了降低算法耗時,引入了運動估計機制。給定當前幀目標位置x*,當前幀目標相對于前一幀目標位移Δx,跟蹤框半徑R以及運動估計因子M。則跟蹤算法搜索域可表示成點(x*+Δx)為中心的方形區域,區域邊長為2F。F的計算公式,運動估計因子M1初始值以及更新公式表示如下:

F=M+k·2R

(10)

M1=0.5·max(h,w)-k·2R

(11)

Mt+1=δMt+(1-δ)|Δx|

(12)

式中,k和δ是可調參數;h和w是第一幀圖像的尺寸。采用該機制,能有效縮小圖像搜索域,進而提升處理速度。

3.3 跟蹤模型

在引入上述LSM特征結合運動估計提出了本文方法,算法流程如下:

跟蹤模型:輸入:待跟蹤視頻,初始標注框輸出:圖像序列跟蹤框列表T1:初始化,讀入序列總長L,序列第一幀以及第一幀標注框坐標x*i;根據公式(5)、(6)、(7)計算當前圖像幀目標區域梯度權值W(x*,1);2)根據權值W(x*,1)和(4)式構建當前幀LSM響應;3)根據(2)式對目標x*1的鄰域構造目標似然c(z);4)根據式(9)獲取分布概率P(v(z)|o);5)根據式(3)計算上下文模型h1SC(z)。2:For i=2,3,…,L1)如下式更新Ht+1SC,ρ表示學習因子:HSCi(x)=(1-ρ)HSCi-1(x)+ρhSCi-1(13) 2)讀入當前幀,根據(10)(11)式劃分搜索域;3)根據權值W(x*,i-1)和4式構建當前幀LSM響應LSM(x,i);4)計算當前幀目標似然:ci(x)=F-1(F(HSCi(x))·F(LSM(x,i)ωσ(x-x*)))(14)5)獲取圖ci(x)響應值最大的點坐標構造當前圖像跟蹤框x*i;6)更新權值W(x*,i),計算目標位移(x*i-x*i-1),并根據式(12)更新運動估計因子Mi;7)根據式(2)(9)(3)計算當前幀上下文模型hiSC(z)。3:跟蹤框列表:T=(x*1,x*2,…,x*L)(15)

4 實驗與結果分析

4.1 數據集和實驗設置

對比實驗在VS2017和matlab 2017b環境下進行,計算機配置為3.6 GHz Intel Core i7 CPU,8G內存。實驗數據集由不同背景和目標特性的4段測試視頻序列組成,視頻特性如表1所示。其中Drone序列來源于公開數據集[21]。式(4)中歸一化參數設為32,STC算法參數參照文獻[20]設為默認值,運動估計因子式(10)中,k設為3,式(12)中學習因子δ設為0.5 。

表1 視頻序列的不同特性

4.2 跟蹤算法實驗分析

將本文方法和最新發表的4種方法:高效卷積算子(Efficient Convolution Operator,ECO)跟蹤算法[22],時空正則化相關濾波(Spatial-Temporal Regularized Correlation Filters,STRCF)跟蹤算法[23],背景感知相關過濾(Background-Aware Correlation Filter,BACF)跟蹤算法[24],自動時空正則化跟蹤(Tracking with Automatic Spatio-Temporal Regularization,AutoTrack)算法[25]進行對比分析。采用CVPR 2013[26]提出的基準工具tracker_benchmark_v1.0比較跟蹤算法的性能,結果如圖3所示。五種算法在本文視頻序列的實驗結果如圖4所示。

基于tracker_benchmark_v1.0實驗平臺,使用該實驗平臺的單次評估(one-pass evaluation,OPE)指標:成功圖(Success Plot)和精確圖(Precision Plot)對比實驗性能。分析成功圖(見圖3(a))可知,本文方法具有五種實驗算法中最高的跟蹤成功率,取平均重疊率(Average Overlap Rate,AOR)閾值為0.5,此時本文方法(實線)的成功率比次優的ECO算法高約3 %。分析精確圖(見圖3(b)),在平均距離誤差(Average Location Error,ALE)閾值小于5的階段時,本文方法(點線)具有最高精確率。

圖3 五種算法跟蹤性能分析

在圖4的每個跟蹤結果中利用目標區域的投影分別給出了五種算法跟蹤框和標注框(黑色虛線框)的對比。Simulation序列(見圖4(a))是一個仿真合成序列,目標清晰,背景變化小。在該序列中五種實驗方法都能準確跟蹤到目標。在Clouds序列中(見圖4(b)),第五幀(圖4(b)#5)時目標被云層部分遮擋,目標輪廓相對模糊。在該序列上,STRCF算法和BACF算法發生了漂移,偏離了跟蹤對象。Car序列(見圖4(c))的特點是目標較模糊,背景干擾較強。Drone序列(見圖4(d))的特點是目標格外微弱,與背景對比度較低。AutoTrack算法(見圖4(c)#20,圖4(d)#30)發生錯誤,偏移較大。在Car序列和Drone序列中,STRCF算法(BACF算法)的問題是無法實現對目標尺度的準確估計,跟蹤過程中跟蹤框退化為一個細小的白點(見圖4(c)#140,圖4(d)#90),和實際標注情況不符合。從圖4可以看出,ECO算法和本文方法跟蹤過程比較穩定,能夠有效應對運動模糊和雜波干擾情況。

圖4 五種算法跟蹤結果

表2給出了五種算法在這四個視頻序列上的跟蹤速度(加粗代表最優性能),以每秒能夠跟蹤的幀數(Frame Per Second,FPS)表示,最后一行是四個數據集的平均速度。由表2可知,本文方法具有五種算法中最優的處理速度,是次優的BACF算法的兩倍,這是因為算法采用運動估計方法有效地降低了每一幀圖像的搜索區域,從而提升了算法的處理速度。

表2 五種算法跟蹤速度

5 結 論

提出一種基于相似性的小目標增強方法處理紅外小目標跟蹤過程中雜波干擾和運動模糊問題,提升了小目標跟蹤過程中算法抗干擾能力。采用運動估計方法縮小跟蹤算法的處理區域,提升了算法單幀圖像處理速度。將本文算法與多種現有跟蹤算法比較,實驗表明,本文方法對雜波干擾環境下的模糊紅外小目標具備很強的跟蹤能力和突出的實時處理能力。但當小目標外觀在短時間內發生較大變化時,算法可能會丟失目標,接下來將在本文的基礎上,研究結合重檢測機制的小目標跟蹤問題。