空間可靠性和相關濾波器聯合學習的跟蹤算法

張 飛，馬時平，張立朝，何林遠，仇祝令，韓永賽

(1.空軍工程大學 航空工程學院，陜西 西安 710038；2.空軍工程大學 研究生院，陜西 西安 710038)

視覺跟蹤的任務為在給定視頻首幀中目標位置的情況下，預測后續幀中目標位置以及尺度的變化。視覺跟蹤領域中，判別式相關濾波器[1-2]由于其在速度上的優勢吸引了各領域(機器人、自動駕駛等)的廣泛關注，得到了迅速發展。而隨著跟蹤算法應用場景復雜度的上升，對跟蹤算法性能需求進一步提升，對相關濾波的研究帶來了極大的挑戰。

HENRIQUES等人[3]提出的KCF算法中，循環矩陣和快速傅里葉變換的運用使算法的實時性沖激式上升，打開了相關濾波快速發展的通道。但循環移位的假設不可避免地帶來了邊界效應，限制了相關濾波跟蹤器的性能。為解決該問題，DANELLJAN等人[4]提出了SRDCF算法，在標準DCF中引入逆高斯形狀的空間正則權重，促使濾波器的學習更加關注目標，有效緩解了邊界效應。GALOOGAHIL等人[5]提出的BACF算法中，由于二值掩膜矩陣的引入，提升了真實負樣本的比例，增強了對背景信息的學習，同時也有效抑制了目標框以外背景信息的干擾；但該方法仍存在以下缺陷：二值矩陣的使用暗含一種假設，即目標框內的所有位置上的信息對濾波器的學習貢獻相同(如圖1上方虛線框所示)，缺乏對不同位置信息(空間)可靠性的描述，可能會導致背景信息主導濾波器的學習，造成濾波器性能衰退。同時，目前的大部分相關濾波算法[5-8]在跟蹤過程中，均使用固定的學習率線性加權得到目標模型，不能感知目標外觀的變化情況，導致了學習到的目標模型次優化，濾波器無法適應目標的變化。

為解決以上問題，筆者提出了一種空間可靠性和濾波器聯合學習的相關濾波跟蹤算法(Joint Spatial Reliability and Discriminative Correlation Filter learning for visual tracking，JSRDCF)。該算法將對空間可靠性的描述融入二值矩陣，使得空間可靠性和濾波器的學習統一起來，可同時對空間可靠性和判別式相關濾波器優化學習(如圖1下方虛線框所示)。空間可靠性描述了不同位置信息的重要程度，增強了濾波器對于訓練樣本的優化利用，從而提升了濾波器魯棒跟蹤的能力。同時，為得到更優化的目標模型，基于感知哈希算法(Perceptual Hashing Algorithm，PHA)[9]改進得到一種自適應目標模型更新方式。該方法可感知目標外觀的變化情況，自適應調整學習率，優化目標模型的學習。值得注意的是，該方法可融入現有大部分基于標準模型更新的相關濾波算法中。為深入評價JSRDCF的性能，在標準視覺跟蹤數據集OTB2013[10]、OTB2015[11]以及無人機視頻數據集UAV123[12]上進行了大量實驗，驗證了該算法的先進性和魯棒性。主要貢獻如下：

(1)提出了學習空間可靠性，并將空間可靠性的學習與濾波器的求解統一于目標函數中，利用交替方向法和交替方向乘子法(ADMM)[13]算法對兩者優化求解；

(2)提出了一種基于感知哈希算法的自適應模型學習方法，可根據目標外觀的變化情況，自適應地最優化目標模型；

(3)在數據集OTB2013、OTB2015和UAV123上對所提算法進行了全面評估，驗證其有效性。

1 問題分析

1.1 基于背景感知的相關濾波跟蹤算法

首先回顧基準算法(Background-Aware Correlation Filter，BACF)。優化后的濾波器w通過最小化下面的目標函數得到，

(1)

其中，xd∈N(d=1，2，…，D)表示輸入圖像的特征，N是特征向量化后的長度，D是通道數，B∈M×N(M<

通過擴大搜索區域和在標準DCF中引入二值矩陣B，BACF不僅有效抑制了目標框外背景區域的影響，同時得到了更多真實負樣本(而不是通過正樣本循環移位得到的負樣本)，增強了濾波器對目標與背景區域的判別能力。雖然上述方法取得了有效的性能提升，但是其存在以下缺點：如圖1所述，固定取值的二值矩陣未考慮空間上的可靠性，使得目標框中所有區域對濾波器的學習貢獻相同。一般情況下，目標并不是規則形狀的，因此目標框中難免會有背景的引入，過多的背景學習使得濾波器的判別力下降，造成跟蹤漂移甚至失敗。

圖1 聯合學習示意圖

1.2 標準的模型更新方式

大部分相關濾波算法采用標準的模型更新：

(2)

(1)對于所有視頻序列使用了恒定的學習率。不同的視頻序列受不同影響因素的影響，如光照變化等，對于學習率的要求是不同的。即使對于同一視頻序列，學習率在不同時刻應根據目標外觀的動態變化自適應更新，以達到最好的學習效果。

(2)逐幀更新模型可能導致跟蹤漂移。在遮擋等樣本被污染的情況下，使用被污染的樣本更新會導致訓練得到的跟蹤器判別能力下降，從而出現模型漂移甚至跟蹤失敗。

(3)使用標準的模型更新策略的相關濾波器無法得到當前模型的最優解，造成訓練所得濾波器判別力的次優化。

2 可靠性和濾波器聯合學習算法

為上述問題，2.1節提出了一種空間可靠性和相關濾波器聯合學習的跟蹤方法，該算法可以同時優化濾波器和空間可靠性，2.2節提出了一種自適應的模型更新方法。

2.1 空間可靠性和相關濾波器聯合學習方法

BACF中所裁剪區域的信息對濾波器的學習貢獻相同，可能會造成對背景信息的過度學習。不同于上述方法，文中的方法引入了空間可靠性權重αi，i∈{1，2，…，N}，表示空間不同位置信息的可靠性。故有

(3)

其中，Rd表示空間可靠性矩陣(不同通道的Rd相同)，Pi∈M×N是用于裁剪空間中不同位置特征信息的二值矩陣，如圖2所示(深色為1，淺色為0)。

圖2 空間可靠性矩陣計算示意圖

將提出的空間可靠性向量引入目標函數(1)中，得到所提出方法的目標函數。該方法可同時優化濾波器和空間可靠性。故有

(4)

其中，上標T表示轉置。

這里，通過最小化目標函數交替迭代求解濾波器和空間可靠性向量α=[α1，α2，…，αN]T。式(4)是一個非凸優化的問題，但是在給定α或w的情況下，上述問題便轉換成一個凸優化的問題。因此，可利用交替方向法來交替優化求解兩個未知量。

2.1.1 優化w

給定空間可靠性向量α=α(j-1)(α(0)為裁剪矩陣B向量化后的值)，w的求解轉換為一個凸優化的求解問題，如式(4)所示。該問題可通過ADMM迭代求解。有

(5)

將上式轉換至頻域，得到：

(6)

為求解上式，使用增廣拉格朗日法(ALM)[13]得到式(5)的ALM方程：

(7)

ADMM算法可將上述問題拆分為以下3個子問題迭代求解：

(8)

(1)求解子問題w*

(9)

(10)

(11)

(12)

(3)更新拉格朗日參數μ

參數更新設置為

μ(i+1)=min(μmax，βμ(i)) ，

(13)

其中，μmax是μ的最大值，β是尺度因子。

2.1.2 優化α

如果給定濾波器w，由于式(3)中的正則項不包含α，空間可靠性向量α可通過求解如下的目標函數得到：

(14)

上式轉化后可寫為

(15)

其中，(Xd)T=[x1T，x2T，…，xNT]T∈N×N，表示第d維通道樣本產生的循環矩陣。

將上式展開，可得

(16)

式(16)是典型的凸二次規劃問題，可以通過標準二次規劃工具(Matlab工具箱)有效解決。

2.2 自適應模型更新

不同于標準的模型更新，筆者提出了一種基于感知哈希算法的自適應模型更新(Adaptive Model Update，AMU)方法。該方法可通過比較上一幀與當前幀目標區域的差異性來感知目標外觀的變化情況，從而達到自適應調整學習率，改變模型更新速度的效果(如圖7所示)。

圖7 自適應模型學習模塊在Tiger1序列上對比結果圖

感知哈希算法中，圖像首先會被轉換成灰度圖，接著利用DCT將其轉換至頻域。灰度圖像中具有高能量密度的低頻區域被保留，定義為A∈W×W。A中的每一個元素Aij(i，j∈W)與A中所有元素的平均值相比較，即可得到圖像哈希矩陣H中對應的每一個元素hij(i，j∈W)，

(17)

當前幀和上一幀目標的差異得分可由當前幀和上一幀目標區域圖像對應的哈希矩陣Hc和Hl得到：

(18)

(19)

相比于固定學習率的更新方式，該方法可感知目標外觀的變化，自適應調整跟蹤過程中的學習率以得到更加優化的目標模型，從而增強濾波器判別能力。

3 實 驗

使用數據集OTB2013、OTB2015以及UAV123評估所提出算法，并將結果與目前最先進的跟蹤方法進行了定量和定性的對比；隨后驗證了所提算法各模塊的有效性，同時就AMU模塊進行了定性分析。

3.1 實驗細節和實驗設置

所有實驗均在MATLAB 2019b上進行，實驗平臺為Intel i7-9750H CPU(2.60 GHz)和32 GB內存，操作系統為Windows 10。所提算法的參數設置如表1所示(η是初始化學習率)。其中，η和γ取值與BACF保持一致，βmin和βmax、τ1和τ2通過實驗調參得到。

表1 實驗參數設置表

為了不失公平性，將使用不同特征的JSRDCF，即JSRDCF_H(只使用了Hog[15]特征)和JSRDCF_HC(同時使用了Hog和CN[16]特征)，在數據集OTB2013、OTB2015和UAV123上與最先進的跟蹤算法進行全面評估比較。這些算法包括：(1)基于Hog特征的跟蹤算法：KCF，SRDCF，BACF；(2)基于Hog和CN特征的算法：STRCF[17]，ECO_HC[18]，CSR-DCF[19]，Staple[20]；(3)基于深度網絡的跟蹤算法：SiamFC[21]，SiamRPN[22]；(4)具有旋轉特性的跟蹤算法：LDES[23]；(5)基于檢測的跟蹤算法：MEEM[24]。

算法性能比較使用一次性通過評估(One Pass Evaluation，OPE)的策略，以成功率曲線下面積(Area Under Curve，AUC)和精確率(Distance Precision，DP)曲線作為評價指標。成功率定義如下：將跟蹤框與標記框的交并比大于固定閾值的視頻幀認為是成功的，則成功幀與視頻總幀數的比值稱為成功率。當閾值取值為0到1之間時，可得到一條曲線，該曲線稱為成功率曲線。而精確率定義為：將跟蹤結果中跟蹤框的中心位置與標記框小于某一閾值的幀數與總幀數的比值稱為精確率。當閾值變化時，即可得到精確率曲線(一般輸出閾值為20的結果)。

3.2 定量分析

(1)OTB數據集

圖3給出了文中所使用不同手工特征的JSRDCF在OTB2013和OTB2015數據集上與其他先進跟蹤算法的性能比較圖。無論是在AUC和DP上，JSRDCF_HC在OTB2013和OTB2015上均取得了第一名的好成績，AUC分別得到68.1%和65.6%，DP分別得到89.3%和87.0%的分數；并且在速度上可以達到28 FPS，滿足了實時性的需求。只使用Hog特征的JSRDCF_H也能在兩個數據集上的AUC和DP均排名第3和第5，在OTB2013上相比于基準算法BACF分別提升了4.2%和5.9%，在OTB2015分別提升了3.6%和4.9%。以上結果的取得說明了空間可靠性與濾波器的共同優化學習提升了濾波器的判別能力，同時自適應的模型更新策略也有益于適應目標外觀的變化，以學到更優的目標模型，進一步提升跟蹤的準確性。

圖3 所提算法在OTB2013和OTB2015上精確率和成功率曲線圖

(2)UAV數據集

UAV123數據集共有123個視頻序列，總幀數超過11萬幀。同時，該數據集最長的視頻序列達 3 085 幀，平均幀數為915幀，遠超OTB數據集。相比于OTB數據集，由于無人機拍攝的緣故，跟蹤目標具有像素值低、移動速度快等特點，對于跟蹤算法的性能提出了更高的要求；圖4為所提算法與其他算法的性能比較圖。JSRDCF_HC在AUC與DP上均排名第2，JSRDCF_H在AUC與DP上分別排名第4和第5。相比于BACF，JSRDCF_H分別提升了1.6%和0.6%，JSRDCF_HC分別提升了3.3%和4.2%。結果表明所提算法在性能提升上的有效性，同時也表明了該算法具有較好的泛化性能。此外，由于該數據集視頻序列大部分均在1 000幀以上，在一定程度上也能說明算法具備一定長時跟蹤的能力。

圖4 所提算法在UAV123上精確率和成功率曲線圖

3.3 定性分析

圖5給出了文中算法JSRDCF與其基準算法BACF的定性比較圖。由于實際跟蹤應用場景的復雜性，因此從OTB2015數據集中選取了3個不同復雜場景下的視頻序列Matrix，Blurow 1和Girl 2進行分析。

從圖5可以看出，Matrix視頻中存在大量光照變化、背景雜波等因素的影響。隨著背景雜波的影響，BACF算法開始出現跟蹤漂移，最終跟蹤失敗。而JSRDCF由于對空間可靠性的學習，能夠實現更為魯棒的跟蹤。Blurowl視頻在跟蹤過程中由于出現了快速運動，導致目標的模糊；如155幀，在這種前光下本文算法依然可以檢測到目標。Girl 2視頻中目標在91至109幀之間發生了遮擋，JSRDCF在目標被完全遮擋重新出現后，仍然跟蹤到了目標，可能的原因在于自適應模型更新的作用。以上分析表明空間可靠性的學習有效提升了跟蹤器魯棒跟蹤的能力，自適應模型更新提升了濾波器的學習效率。

圖5 不同算法在典型視頻序列跟蹤結果圖

3.4 消融對比

為驗證文中所提出的空間可靠性學習和自適應模型更新的有效性，將使用JSRDCF_H(Baseline)在OTB2015上進行消融分析。將去掉自適應模型更新的跟蹤方法用Baseline + SRL表示，將去掉空間可靠性學習的跟蹤方法用Baseline + AMU表示，JSRDCF_H用Baseline + SRL+ AMU表示，實驗結果如圖4所示。從圖中可以看出，相比于Baseline，Baseline + SRL在精確率和成功率上分別提升了2.7%和1.8%，Baseline + AMU在精確率和成功率上分別提升了0.5%和0.9%；而通過引入空間可靠性學習和自適應模型更新的JSRDCF_H最終在精確率和成功率上分別提升了3.0%和2.6%。這表明了空間可靠性學習和自適應模型更新的有效性。

3.5 自適應模型更新分析

本小節旨在通過實例說明AMU對跟蹤效果提升的作用。因此，將基準算法(Baseline)與加上AMU方法的基準算法(Baseline + AMU)進行對比。如圖6所示，Tiger1視頻中存在大量遮擋、光照變化的場景，選取其中的典型場景進行分析：Tiger1中目標從101幀開始出現遮擋，AMU方法可以感知到目標的突變，模型停止更新；而從284幀開始，光照變化影響到了目標，AMU依然可以感受到目標的變化，學習率歸零；盡管從跟蹤的早期結果來看，AMU似乎未起到優化模型、提升濾波器判別能力的作用，但在第346幀，目標出現了部分遮擋(近乎完全遮擋)，Baseline + AMU方法依然可以準確定位目標。這表明AMU對目標模型優化起到了很好的作用，增強了濾波器在復雜場景下的魯棒性。但是AMU只能應對一些突變的時刻，并不能完全感知遮擋、光照變換、快速運動等干擾場景，從而停止對模型的更新。

圖6 所提算法各組件在OTB2015上性能對比結果圖

4 結束語

以現有算法缺乏對不同空間位置信息可靠性的學習為出發點，將對空間可靠性的學習與相關濾波器的學習統一于目標函數中，使得兩個問題轉換為一個統一的問題。通過使用交替方向法，達到了對空間可靠性和濾波器聯合優化學習的目的，增強了濾波器對空間不同位置信息的感知力。此外，針對標準模型更新存在的問題，基于感知哈希算法，提出了一種自適應學習的模型更新方式。OTB2013、OTB2015和UAV123數據集上的結果表明了所提出的算法的先進性、魯棒性和泛化性，同時也說明了空間可靠性學習和自適應模型更新對于濾波器魯棒性提升的有效性。

下一步工作中，將著眼于如何使模型更新的學習率滿足不同視頻序列的要求。