紅外圖像實時在線離線跟蹤算法研究

張希銘, 王民鋼, 曹琳

(西北工業大學 航天學院, 陜西 西安 710072)

隨著紅外攝像頭在成像質量、分辨率等屬性上得到增強且成本逐漸降低、尺寸日漸縮小,紅外圖像應用的領域更加廣泛。最初,紅外圖像主要應用于軍用領域來實現復雜背景下的小目標(點目標)跟蹤。隨著成像科技的進步,紅外圖像應用的領域也逐步得到了拓展,例如車輛與監控系統。除此之外,搭載的方式也不僅限于固定的平臺,搭載紅外成像系統的無人機平臺主要用于偵查與救援。紅外成像主要的優勢是能夠在完全黑暗的情況下使用,并對光照變化有較強的魯棒性。

紅外目標的跟蹤問題面臨的挑戰主要包括以下3點:①連續性:視頻流必須以一定順序進行處理;②即時性:跟蹤算法在跟蹤過程中不允許對目標真實框體重新初始化;③未知性:在目標跟蹤前不允許使用對于目標外觀的預構建模型。

現階段在VOT-VIR-2015(紅外圖像)數據庫[1]中公布的針對紅外目標跟蹤的算法共有24種。其中包括：利用似物性實例來實現檢測再跟蹤的EBT、基于MeanShift中值漂移及其拓展的跟蹤算法ASMS、基于在線更新級聯分類器方法實現的CMIL、基于檢測再跟蹤的學習方法sPST和基于部件的跟蹤算法LDP。基于辨別式方法的跟蹤算法在學術領域研究甚廣,其中最常用的是基于結構支持向量機的Struck,還有采用相關濾波器來獲取目標外觀模型的方法,其中包括利用相關濾波器獲取單一外觀模型的sKCF和利用多模板來構建外觀模型的KCFv2。

由于在線模型更新辦法依靠其時空一致特性來實現,因此在紅外目標跟蹤過程中對于目標自身發生形變、受到遮擋干擾和快速運動模糊的情況下處理效果不好,例如3種在線更新算法(Struck[2],DSST[3]和Staple[4])在所跟蹤紅外目標遭遇人體遮擋的情況下會發生跟蹤漂移。

基于離線跟蹤的目標跟蹤算法的外觀模型是通過離線訓練得出的,因此在跟蹤的模型更新過程中對于干擾具有一定的魯棒性。相比于在線更新算法,離線更新算法將跟蹤問題作為類學習問題來處理。例如孿生網絡SiamFC[5],簡化深度網絡結構,利用5層卷積網絡在模板圖像和搜索圖像上進行操作,并利用相似性度量函數將2類圖像矩陣聯合構成得分矩陣,再根據得分矩陣結果來估計下一幀目標位置。離線更新模型在只給出第一幀的初始信息的情況下,就可以在不經歷在線更新的情況下得到比較優異的結果。然而,由于沒有在線更新的過程,這類算法容易錯誤跟蹤與第一幀中目標的外觀相似的偽目標。當目標跟蹤過程中經歷相似目標時,目標跟蹤器會發生漂移而導致跟蹤失敗。

因此,目前的紅外目標跟蹤算法,在線更新和離線模型更新策略之間的選擇是一種博弈,一方面,離線訓練的外觀模型對于模型更新具有魯棒性,然而并不能處理好特定的外觀模型變化,在長期跟蹤過程中無法保證良好的跟蹤效果。另一方面,具有高度適應性的在線模型更新算法可能會由于受到各類外界的干擾而發生漂移。

本文提出了基于在線和離線模板更新相結合的紅外目標跟蹤算法,利用2種方法的優勢彌補不足,通過2種策略的結合來得到更好的跟蹤效果,其中在線更新部分采用Staple算法,離線更新部分采用孿生網絡SiamFC,并提出基于聯合響應圖的離散度測量方法來進行錯誤跟蹤檢測以實現算法在2種模式之間的切換。本文在VOT-VIR-2015數據庫評估了所提出的算法。相比于原算法Staple和SiamFC在跟蹤成功率方面提高了3.3%和3.6%,在跟蹤精度上分別提高了3.8%和5%,同時保持了跟蹤速度平均46.7 frames/s,具有較高的實時性。

1 算法流程

本文提出算法為紅外在線離線跟蹤算法,TCOOT(thermal collaborative online and offline tracker)。算法首先通過提取HOG和顏色特征分別計算模板響應和直方圖響應來估計平移量并產生聯合響應圖,再將聯合響應圖傳送至錯誤跟蹤檢測器中計算離散度測量值與自適應切換閾值,以捕捉在線模板更新可能出現錯誤的關鍵點,再通過判斷2組值之間的大小關系,決定切換至在線還是離線跟蹤策略來進行平移與尺度估計,循環執行以上步驟,直至視頻處理結束。紅外在線離線跟蹤算法的整體流程圖,如圖1所示。

圖1 紅外在線離線跟蹤算法流程圖

2 實時在線離線目標跟蹤

紅外在線離線跟蹤算法(TCOOT)主要的組成部分包括:基于相關濾波器的在線模板更新跟蹤器,基于孿生網絡的離散跟蹤器和錯誤跟蹤檢測器。

2.1 基于相關濾波器在線模板更新跟蹤器

傳統基于相關濾波器的在線更新跟蹤算法采用目標的空間結構來完成模板建模(例如HOG),在跟蹤目標發生形變時表現差強人意。采用顏色統計(例如灰度直方圖)的方法雖然對于形變有一定魯棒性,但是光照的變化對于其外觀模型的影響較大。通過結合HOG特征與灰度直方圖的在線更新模型算法Staple在多種數據庫上都實現了非常好的效果,對于目標自身形變和光照變化適應性較強,并且保證了目標跟蹤的實時性,跟蹤速度保持在81 frames/s 。

本文采用Staple作為在線模型更新方法,因為相比較于其他基于相關濾波器的目標跟蹤算法,Staple在模型的復雜度和算法的執行效率上保持了很好的平衡。在應用Staple作為在線模型更新工具的情況下可以實現目標外觀模型的實時處理。Staple結合模板建模和直方圖的聯合響應圖在處理復雜跟蹤情境時可以通過設計錯誤跟蹤檢測器來完成判別與切換,為本文算法的實現提供先決條件。

2.2 基于孿生網絡的離線跟蹤器

現階段有很多利用孿生網絡為基礎框架的跟蹤模型,在沒有使用任何在線模型更新機制的情況下均取得了很好的效果。孿生網絡采用深度學習框架,并通過IILSVRC15數據庫中的圖像進行訓練,從而獲得網絡模型的參數,用于提取目標圖像特征,相比于在線更新跟蹤算法,基于離線更新的孿生網絡對于模型的更新過程中的干擾的適應性更強。除此之外,孿生網絡SiamFC利用第一幀目標所在位置作為模板圖像,將其他幀中目標所在區域構成搜索圖像,在搜索圖像上利用模板圖像進行相似性匹配以確定目標的最終位置,算法簡單,參數固定。然而,需要注意的是基于孿生網絡的離線跟蹤算法在經歷相似目標或者第一幀的目標外觀與其他的幀相差迥異時會出現跟蹤失敗的情況。

通過分析在線和離線模板更新的優勢和不足,本文提出錯誤跟蹤檢測器在跟蹤過程中實現2種跟蹤器的過程判定與自動切換以保證目標跟蹤算法的準確魯棒跟蹤。

2.3 錯誤跟蹤檢測器

錯誤跟蹤檢測器用于檢測在跟蹤過程中錯誤發生的關鍵點,本文采用針對聯合響應圖的離散度測量方法來實現錯誤跟蹤檢測。一般情況下,聯合響應圖在目標所在位置達到峰值,并且從離散中心到邊界很快得到抑制。然而在目標經歷嚴重遮擋,形變和快速運動時,聯合響應圖的峰值并沒有那么高,并且聯合響應圖抑制的速度很慢,如圖2所示。其中圖2a)表示TCOOT在視頻流Birds上的跟蹤結果;圖2b)表示Staple算法在Birds對應幀上的聯合響應圖。在第83幀,Staple由于遮擋原因跟丟了目標,因此響應圖是發散的。在這種情況下,SiamFC被自動激活并搜索目標。在第96幀,響應圖上最高值回到中心,繼續用Staple來跟蹤目標。

圖2 跟蹤結果與聯合響應圖關系示意圖

結合聯合響應圖這個重要特性,本文提出了離散度測量方法,并利用其判定跟蹤目標的當前狀態并預防可能的跟蹤錯誤。

首先計算聯合響應圖的峰值位置。令ft為N×M的矩陣表示第t幀的聯合響應圖。峰值[μ,υ]的位置通過優化(1)式得到:

(1)

對于ft的離散度測量如(2)式所示:

(2)

之后,通過公式(3)來計算每一幀對應的離散度測量值Dt的自適應切換閾值Tt。

(3)

圖3 視頻流Birds的離散度測量值和自適應切換閾值示意圖

3 實驗結果與分析

本文采用VOT-TIR-2015紅外目標跟蹤數據庫中的20個視頻流對本文提出的TCOOT算法進行驗證,實驗過程中利用TCOOT分別與Staple,SiamFC和DSST 3種獨立的算法進行對比。首先介紹該算法的完成細節與參數配置。接著,利用數據庫中的紅外目標跟蹤視頻流分別在距離精確度,覆蓋成功率和不同情境下算法的表現對4種算法進行評估。

3.1 完成細節

TCOOT算法采用Staple和SiamFC中模型參數默認的參數配置。在跟蹤的過程中,主要調整錯誤跟蹤檢測器的參數。算法的仿真對比在數據庫VOT-TIR-2015中進行,數據庫中的視頻流在目標運動過程中受到遮擋、旋轉、形變、運動模糊、背景干擾和光照變化等干擾,可以有效地驗證跟蹤算法的精確度與魯棒性。

(3)式中的遺忘因子λ和放大因子η,在仿真實驗中初始化為λ=0.9和η=1.2。錯誤跟蹤檢測器從第10幀開始工作,以保證Staple的聯合響應圖在視頻流前端的穩定性。所有的參數在實驗過程中保持不變。系統環境為Intel i5處理器3.5GHz,8G內存,NVidia GeForce GTX1080Ti GPU。算法運行環境為Matlab與MatConvNet[6]。

算法1 紅外圖像實時在線離線跟蹤算法

輸入 初始化目標位置X0,自適應切換閾值T0

輸出 估計目標位置信息Xt=(xt,yt,st)

算法開始:

1) 根據第t幀的目標位置信息(xt-1,yt-1,st-1)來確定搜索框的位置與尺度;

2) 計算對應響應圖Ft并利用Staple估計目標新位置(xt,yt);

3) 計算離散度測量值Dt與Ft自適應切換閾值Tt;

4) 如果Dt

利用DSST來估計新的尺度st;

利用Staple來更新模版和直方圖模型;

利用DSST來更新一維尺度相關濾波器。

如果Dt≥Tt

重新利用孿生網絡離線估計位置和尺度;

5) 循環處理至視頻流跟蹤結束

算法結束

3.2 跟蹤定量評估

圖4 采用一次評估的距離精確度和跟蹤成功率曲線圖

跟蹤器精確度成功率算法實時性/(frames·s-1) TCOOT0.7730.64346.7 Staple0.7350.6152.6 SiamFC0.7230.6075.7 DSST0.6720.54421

3.3 不同情境下算法評估

VOT-TIR-2015數據庫的20個圖像視頻流中包含11種不同的情境。其中主要分析6種不同的情境,包括自身形變、遮擋、面內旋轉、離面旋轉、復雜背景和光照變化。6種不同情境的影響下各算法跟蹤成功率的曲線圖如圖5所示,其中橫縱坐標的表示與圖4b)中的表示相同。從圖5可以看出基于在線更新的相關濾波器Staple,DSST在目標出現個體形變,光照變化和離面旋轉時表現良好。基于離線的孿生網絡在目標出現面內旋轉,背景復雜,遮擋時表現優異。本文算法針對在線離線模型更新方式取長補短,利用跟蹤錯誤檢測機制在2種策略中切換,從而完成跟蹤過程,因此本文提出TCOOT跟蹤算法在6種約束上除離面旋轉外均表現最優。

圖5 TCOOT在VOT-TIR-2015上不同情境約束的成功率分析

3.4 跟蹤定性評估

TCOOT算法在跟蹤的定性評估方面如圖6所示。針對不同的挑戰情境選取了4種紅外視頻流如遮擋分別如圖6a)～d)所示,TCOOT在這些視頻流中都表現出了很強的魯棒性。

視頻流四旋翼無人機中的紅外目標的快速移動,視頻流隱蔽中的紅外目標發生遮擋,由于目標可視信息的不連續,Staple在跟蹤過程中更加容易丟失目標。在擁有更大搜索范圍的情況下,SiamFC可以在目標經歷快速移動和遮擋時成功地跟蹤目標。然而,沒有在線的模型更新過程導致SiamFC對于相似的外觀模型非常敏感,對于光照的變化沒有特殊的處理,從而錯誤地跟蹤到相似區域如視頻流花園和視頻流光飽和所示。本文提出的TCOOT跟蹤算法在4個視頻流中各項干擾下都能準確跟蹤目標,跟蹤速度保持在46.7 frames/s,在實際應用過程中也保有很高的實時性。

圖6 TCOOT,Staple和SiamFC跟蹤算法的截圖

4 結 論

本文針對紅外目標跟蹤提出在線離線模型更新相結合的算法。該算法不僅可以在目標跟蹤過程中實時更新外觀模型,同時具備在離線階段由大量圖像數據訓練得到的魯棒模型。與傳統的在線更新算法不同,本文提出算法并非通過增加外觀模型的復雜性來避免跟蹤錯誤,而是應用更加有效的跟蹤算法(例如Staple)來保持實時處理。本文提出利用聯合響應圖的方式來檢測在目標跟蹤過程中可能的干擾,并通過基于響應圖的離散度測量方式和自適應閾值來實現在線模型更新與離線模型更新之間的切換以保證在特定情境干擾時算法的魯棒性。本文算法在VOT-TIR-2015數據庫上與3種其他算法比較,體現了算法的有效性。