基于多模型蒸餾的時間正則化相關濾波跟蹤算法

仇祝令, 查宇飛, 李振宇, 李禹銘, 張 鵬, 朱 川

(1. 中國人民解放軍63787部隊, 新疆 石河子 832099; 2. 西北工業大學計算機學院, 陜西 西安 710072;3. 西北工業大學寧波研究院, 浙江 寧波 315000)

0 引 言

視覺目標跟蹤是通過利用目標在初始幀的位置信息,對后續幀中目標進行位置估計的過程,在軍用與民用領域受到廣泛的關注。近來,目標跟蹤技術取得飛速發展,許多優秀算法被提出來,但在實際跟蹤過程中目標一直處于動態變化中,同時復雜的背景也增加了對目標判別的難度。因此，如何利用跟蹤過程中目標有限的信息來訓練得到魯棒的跟蹤器一直是學術界亟待解決的問題。

相關濾波通過利用當前樣本進行在線訓練濾波器,為避免濾波器過于擬合目標,對當前幀和上一幀獲得的兩個目標模型采用線性加權融合的方式被應用在模型更新當中,濾波器可以保留目標在時域中的部分歷史信息。其他一些工作將上一幀得到的濾波器嵌入到當前濾波器學習當中,在時域中作為正則化項約束濾波器更新。上述跟蹤方法都是僅考慮了目標在當前幀和上一幀的表征特征,目標在時域信息利用有限。FlowTrack在相關濾波中引入光流信息,用歷史幀的模型信息來修補當前幀特征,增強模型對目標的表達能力。Danelljan等人根據每一幀中的跟蹤結果建立時域樣本集,在多樣本中進行訓練,獲得到更為精確的濾波器。這些方法盡管在一定程度上提升了目標時域信息的利用,但是在模型更新過程中無法選擇目標在時域全局中的魯棒特征,目標與背景的信息都會被保留,尤其是當目標遇到遮擋或形變時模型會被污染,利用錯誤的信息更新濾波器可能會導致模型無法適應目標的變化,最終造成跟蹤失敗。

針對上述問題,本文提出了一種基于多模型蒸餾的時間正則化相關濾波跟蹤算法,通過“密集+稀疏”采樣方式,收集跟蹤過程中利用每一幀樣本訓練得到的獨立模型作為老師,指導當前模型更新,濾波器可以保留目標在時域全局中的長時記憶。當目標外觀發生變化時,濾波器可以從多模型中學習得到目標的魯棒特征,降低模型發生退化漂移的可能。同時，為保證每個指導老師的可靠性,防止錯誤模型對當前模型更新產生污染,對指導老師進行可靠性評估,可以提升多模型對目標變化的適應能力。此外，通過對當前樣本進行上下文采樣,建立包含目標與背景信息的局部樣本庫,可以提升模型對目標的判別能力。

1 本文方法

1.1 基于背景感知的相關濾波器

相關濾波采用循環移位構建樣本的方式必然會帶來邊界效應。基于背景感知的相關濾波器(learning background-aware correlation filters, BACF)在樣本中加入裁剪矩陣,通過擴大搜索區域來提升樣本的質量,有效提升濾波器判別能力,BACF的損失函數為

(1)

式中:∈表示濾波器；∈是樣本特征值；是通道數；表示二元矩陣,對樣本進行剪裁,作用于真實的前景與背景來提升樣本的質量與數量；是樣本的回歸響應值；?表示相關卷積運算；T是矩陣轉置操作；是正則化系數。目標模型在更新過程中如果僅考慮當前幀中的信息,可能會使得濾波器過于擬合當前目標。通過對當前幀和上一幀的目標特征模型進行線性加權融合,模型可以保留目標在時域中的部分歷史信息,增強對目標變化的動態適應性,其方法為

(2)

線性加權融合的更新方式可以提升模型的泛化能力,但是這種方式更多考慮前后兩幀的信息,忽略了目標與背景的差異性,無法保證目標在時域中的魯棒特征得到保留,造成目標時域信息部分丟失。同時,模型的可靠性也無法判斷,使用錯誤的模型進行更新容易造成模型漂移。在實際跟蹤過程中目標是處于連續變化的狀態,通過樣本訓練得到的獨立模型可以在時域中指導當前濾波器的學習更新,使其保留目標的魯棒特征。

1.2 基于多模型蒸餾的時間正則化相關濾波

為了提高幀間信息的利用率,利用每一幀樣本獲得的獨立模型作為老師,通過在目標周圍采樣得到負樣本信息,在建立的局部樣本庫中約束當前模型的學習更新,并評估每一名指導老師的可靠性,提升濾波器的魯棒性,所提出的目標模型為

L(,)=()+(,)

(3)

式中：()是基于局部樣本的嶺回歸項；(,)是多模型蒸餾項。

121 基于局部樣本的嶺回歸

基于相關濾波的跟蹤方法是利用以目標為中心提取的正樣本進行訓練,沒考慮目標周圍背景的信息,這使得當目標周圍有相似目標時,容易造成背景干擾無法準確判別目標。因此,在目標周圍進行上下文采樣,構建負樣本,與以目標為中心提取的正樣本一起構建局部樣本庫,如圖1(a)所示。利用當前幀信息構造正樣本與負樣本,將濾波器與每個樣本的特征值進行卷積擬合樣本標簽,濾波器同時學習目標與背景的信息,并加入正則化項,其損失函數為

(4)

式中：是通過當前幀得到的局部樣本數量；∈是第個樣本特征值；是第個樣本的標簽；D是通道數；是正則化系數,防止訓練得到的濾波器過度擬合當前目標。

通過對背景信息的學習,可以有效抑制背景部分的響應,局部樣本庫的建立如圖1(a)所示,負樣本的加入使得濾波器從背景中學習更多的信息,提升對目標的判別能力。

圖1 模型組成分析Fig.1 Model composition analysis

122 多模型蒸餾

通過簡單的線性加權融合方式來更新模型會造成濾波器無法保留對目標的長時記憶,隨著模型的更新會逐漸丟失目標在時域中的魯棒特征。多模型指導學習可以從時域全局中保留目標的魯棒特征,提升濾波器對目標的判別能力,式(3)多模型蒸餾表示為

(5)

式中：是第個指導老師模型；與是正則化系數；是蒸餾因子,衡量指導老師的可靠性與魯棒性評分；是指導老師的先驗權重。

如圖1(b)所示將時域中收集的個濾波器模型作為指導老師約束當前模型的更新。每個老師在時域中對目標的表征能力不同,根據其可靠性賦予不同的蒸餾因子,提高多模型對目標變化的動態適應性。目標在時間軸上是連續變化的,根據先驗信息對衡量模型可靠性的蒸餾因子進行約束,使得濾波器更多關注當前幀附近的模型信息。

式(5)中多模型蒸餾通過范數使得每一名指導老師可以約束當前濾波器的學習,避免過度關注當前目標狀態而丟失目標的魯棒特征。每一名指導老師的建立對提升濾波器的性能非常重要,為確保濾波器的獨特性與純凈性,采取與BACF相同的方法利用當前正樣本提取的特征進行指導老師訓練,其損失函數為

(6)

其中,此處是通過每一個正樣本所提取的特征,不采用線性加權融合的方式進行模型更新,是利用樣本所學習的第個獨立濾波器模型來擬合每一樣本中特定目標。

如圖2所示,通過“密集+稀疏”采樣方式收集獨立模型存儲到模型庫,其中每一名指導老師都是對樣本目標當前狀態的特定表達,如果目標遇到大面積遮擋或形變,被干擾的只有當前模型,其他獨立模型并未受到干擾。因此在整個時域中每名老師對當前目標的表征能力不同,可能存在錯誤模型,需要根據其可靠性賦予不同的蒸餾因子,更為精確指導當前模型更新。

圖2 多模型的可靠性評估Fig.2 Reliability evaluation of multiple models

在時間軸上當前目標的狀態與附近模型相似程度較高,我們希望模型在更新過程中更多關注當前幀附近的模型,在時域中我們加入先驗信息,對距離當前模型較近的指導老師蒸餾因子賦予更大先驗權重,增強對目標變化的抗擾動性,先驗信息被賦值為

(7)

式中：=(-+[(1-)--1])；是學習率。先驗信息的引入作為指導老師可靠性評估的正則化項,使得多模型蒸餾過程中受到當前幀附近指導老師影響較大,以此來適應目標外觀的變化。

1.3 模型優化

多模型蒸餾相關濾波器的優化求解過程主要是對指導老師、在線跟蹤用于檢測目標的濾波器以及蒸餾因子的求解。

131 指導老師的優化求解

首先根據式(5)來求解利用當前正樣本所獲得的獨立濾波器,并儲存到指導老師庫中,用于進行多模型蒸餾學習。由于式(5)具有凸函數特性,引入約束參量,可以將其轉換到頻域中直接進行求解:

(8)

132 濾波器更新優化

將公式(3)轉換到頻域中進行加速求解:

(9)

式(9)是具有凸函數特性,可以通過ADMM算法進行求解。式(9)的增廣拉格朗日方程為

(10)

(1) 子問題

(11)

(12)

(13)

(14)

(15)

(3) 拉格朗日數乘更新

(16)

式中：表示上一迭代求解值；+1表示當前迭代求解值；是通過(+1)=min(,())來進行更新。

133 模型權值優化

在固定的的基礎上,通過對式(3)中蒸餾因子直接求導,令其為0可以求解得到:

(17)

式(17)是屬于二次規劃問題,可以轉化為下列優化問題:

(18)

對式(18)優化是凸二次規劃問題,通過二次編程實現對快速求解。

2 實驗分析

本文提出的方法是在BACF算法基礎上改進而來,在標準的視覺跟蹤數據庫UAV123、UAVDT以及OTB-2015進行評估,對實驗整體情況進行詳細的介紹,通過與其他先進方法進行對比,驗證所提方法的可靠性與穩定性。

2.1 實驗細節

采用深度特征(VGG-16的Conv4-3層)和手工特征(HOG與CN)融合的方式進行目標定位,對于尺度估計利用手工特征(HOG)進行確定,本文提出算法的速度可以達到20FPS(frame per second, FPS)。對模型權值優化中學習率=0028,=50和最大模型數量=60。多模型蒸餾求解參數中,正則化約束系數,和分別設置為01,15和02,=01和步長因子設置為10。實驗測試平臺是Matlab2017a,深度特征使用MatConvNet實現,所有實驗均在配備Intel i7 8700 CPU,32 GB RAM和NVIDIA GTX 1070Ti GPU的計算機上運行。

2.2 定量分析

2.2.1 UAV數據庫

UAV123和UAVDT是基于無人機平臺下拍攝的各類視頻序列。在圖3中展示了所提方法與其他跟蹤器在UAV123和UAVDT數據庫中的對比結果,在UAV123中精確度和成功率分別取得75.5%和51.8%的成績,優于大部分跟蹤器。在UAVDT數據庫上,跟蹤器的性能遠遠超過其他跟蹤器,取得了最優的成績。無人機數據庫上的結果表明通過多模型指導學習,可以使濾波器在模型更新過程中更多關注目標在時域中的魯棒特征,減輕跟蹤過程中模型漂移帶來的問題。

圖3 無人機數據庫中的實驗結果Fig.3 Experimental results in the drone database

在UAV123數據庫中,針對尺度變化(scale variation, SV)、縱橫比變化(aspect ratio change, ARC)、低分辨率(low resolution, LR)、快速運動(fast motion, FM)、完全遮擋(full occlusion, FOC)、部分遮擋(partial occlusion, POC)、視野外(out-of-view, OV)、背景雜波(background clutter, BC)、光照變化(illumination variation, IV)、視角變化(viewpoint change, VC)、相機運動(camera motion, CM)和相似目標(similar object, SOB)12種屬性,將本文提出的算法與其他基于相關濾波的算法進行對比分析,在各個屬性下的成功率如圖4所示。在BC、部分POC以及FM超過大多數基于相關濾波的方法,這表明通過收集時域中的獨立模型作為指導老師約束濾波器更新可以從時域全局整合目標的信息,同時通過對指導老師的可靠性評估可以增強模型對目標的適應性,以此應對目標外觀的動態變化。局部樣本庫的建立使得濾波器在復雜背景中仍可以準確判別目標。

圖4 不同難度屬性結果圖Fig.4 Results of different difficulty attributes

2.2.2 OTB-2015數據庫

在OTB-2015數據庫上,所設計的跟蹤器與其他先進跟蹤器進行了比較分析,包括基于正則化的跟蹤器(GFSDCF、BACF、STRCF以及CSR-DCF)、基于多特征融合的跟蹤器(Staple)、基于多樣本訓練的跟蹤器(SRDCFdecon)、基于神經網絡的跟蹤器(MDNet、CREST和SiamFC)、基于時域多模型融合的跟蹤器(MEEM、TLD)。

圖5展示了在OTB-2015數據庫上的跟蹤結果,本文提出的方法精確度和成功率分別是92.4%和69.3%,超過了大多數基于相關濾波的跟蹤器得分。與基于神經網絡的跟蹤器相比,所提方法在性能上有了顯著提升。與其他基于時域多模型融合的跟蹤器相比,所設計的跟蹤器在性能與速度上更具有優勢。MEEM組成時域多模型專家組來聯合判斷目標位置,防止單個模型判斷錯誤而發生模型漂移,但是這種方法只用到了目標在時域中的有限信息,同時專家組的可靠性也無法做出評估。TLD借助光流來整合目標在時域的信息,通過反饋前向后向誤差來適應目標的外觀變化。

圖5 OTB-2015數據庫跟蹤結果Fig.5 Results in the OTB-2015 database tracking

2.3 消融分析

在UAV123數據庫上對跟蹤器的每個關鍵部分進行消融分析,驗證多模型蒸餾對性能的提升,同時對UAV123中的uav3視頻序列進行模型權重更新的分析。

2.3.1 多模型蒸餾

指導老師在時域中的約束使得濾波器在更新過程中可以關注目標魯棒特征,同時對指導老師進行可靠性評估,提升濾波器對目標變化的適應能力,最后通過在局部樣本庫上同時學習目標與背景信息,增強判別能力。我們分別對這3個模塊進行分析,baseline表示不加入多模型蒸餾與局部樣本庫訓練的基準算法,baseline_sample表示僅使用局部樣本庫進行訓練,不使用多模型蒸餾。在不加入局部樣本庫訓練的條件下,baseline_FWM表示只采用固定先驗權值的多模型蒸餾,baseline_UWM表示對指導老師模型不加先驗權重(式(7)中的)約束蒸餾因子更新的多模型蒸餾,baseline_PUWM表示加入時域先驗權重約束更新的多模型蒸餾,實驗結果如表1所示。

表1 消融分析結果

局部樣本庫的建立使得濾波器可以有效學習背景信息,增強對目標與背景的判別能力。與baseline相比baseline_sample的精確度與成功率分別提升了2.3%和1.2%。多模型的指導學習使濾波器在更新過程中可以保留目標在時域中的魯棒特征,避免模型漂移。采用固定先驗權重的baseline_FWM在精確度與成功率上分別超過baseline 4.2%和2.0%。同時,為了使指導老師模型可以適應目標的變化,需要對指導老師進行可靠性評估,采用時域先驗權重約束蒸餾因子學習的baseline_PUWM在性能上提升了6.5%和2.8%,而不加先驗約束的baseline_UWM性能上只提升了2.8%和1.4%,比baseline_FWM在性能上有所下降。如圖6所示,由于加入時域先驗信息約束學習的baseline_PUWM,濾波器的注意力更多關注在當前幀附近的模型,而未加入時域先驗約束權重學習的baseline_UWM,濾波器學習時更多從整個模型庫學習,在學習過程中丟失了目標在當前幀附近的信息,容易造成模型漂移,導致跟蹤失敗。

圖6 UAV123數據庫中的uav3視頻序列中模型權重分配Fig.6 Model weight distribution of uav3 video sequence in UAV123 database

2.3.2 模型的選擇方式

指導老師的選取對性能的提升非常重要,數量過多使得指導老師信息冗余嚴重,增加了計算量;數量過少無法保留目標在動態變化過程中的魯棒特征,因此提出一種“密集+稀疏”的采樣方式,在UAV123數據庫中對指導老師的選擇方式進行了對比實驗。經過實驗驗證指導教師模型庫最多保留60個時性能最佳,可以同時兼顧跟蹤器的性能與速度。分別選取了3種采樣方式,分別為:連續密集取60個模型(Dense)、每間隔3幀稀疏選取一個模型(Sparse)以及密集取50個當前幀臨近模型,間隔3幀取10個稀疏模型(Dense+Sparse)。

實驗結果如圖7所示,與連續密集采樣方式相比,本文的方法在精確度與成功率上分別提升1.5%和0.7%。而與稀疏選取模型方式相比,性能上分別提升了3.1%和1.7%。結果表明,通過“密集+稀疏”采集模型的方式,既可保留目標在時域的動態變化性,從中學習目標的魯棒特征,降低模型漂移問題,又可減少模型數量避免冗余信息堆積,提升跟蹤速度。

圖7 不同模型選擇方式的性能分析Fig.7 Performance analysis of different model selection methods

2.4 定性分析

圖8表示所設計的跟蹤器與其他跟蹤器(BACF、MEEM、TLD和ECO)的定性比較結果圖,上述視頻序列分別是在UAV123數據庫中的biker1、group1、wakeboard1和car10。

圖8 定性分析結果Fig.8 Qualitative analysis results

biker1中主要難度是長時跟蹤中隨著無人機的移動目標處于動態變化中,這需要算法具有較強的魯棒性與穩定性。BACF僅利用前后兩幀模型進行更新,長時跟蹤容易造成誤差積累,而TLD與MEEM無法持續跟蹤目標。本文提出的方法通過收集跟蹤過程中的模型作為指導老師,濾波器可以關注目標在時域中的魯棒特征,提高對目標外觀變化的抗擾動性。

group1中的目標遮擋是跟蹤任務中的經典問題。在第904幀中,目標被部分遮擋后又重新出現,大部分跟蹤器都已經丟失目標,無法準確判別目標的位置。所設計的跟蹤器在時域中受到指導老師的約束,同時對指導老師進行評估,當目標出現短時遮擋,跟蹤器通過多模型的約束學習可以保留目標在時域中長時記憶,降低因目標遮擋出現的錯誤模型對模型更新產生的影響。

wakeboard1和car10中的目標受到復雜背景的干擾。背景與相似目標的干擾使得大多數跟蹤器無法準確區分目標,最終丟失目標。本文提出的跟蹤器可以一直穩定跟蹤目標,通過建立局部樣本庫的方式,濾波器同時學習目標與背景處的信息,增強對目標的判別能力,使濾波器在復雜背景的干擾下仍可以準確跟蹤目標。

3 結 論

本文根據蒸餾的思想提出一種基于多模型蒸餾的時間正則化相關濾波跟蹤算法,在建立的局部樣本庫中,收集跟蹤過程中的獨立模型作為指導老師約束濾波器更新,使其保留目標在時域中的魯棒特征,避免發生模型漂移;對每一名指導老師進行可靠性評估,提高模型對目標動態變化的適應性,有效應對目標的遮擋以及形變等問題;通過ADMM算法進行加速求解,提升計算效率。實驗結果表明多模型蒸餾可以有效提升跟蹤器的性能。