基于相關濾波的視覺目標跟蹤算法新進展

黃月平, 李小鋒, 楊小岡, 齊乃新, 盧瑞濤, 張勝修

(火箭軍工程大學導彈工程學院, 陜西 西安 710025)

0 引 言

視覺目標跟蹤可描述為在跟蹤序列第一幀給定目標初始位置情況下,對后續序列中目標運動軌跡進行估計的過程。作為計算機視覺研究領域中的熱點與難點問題,目標跟蹤是高層計算機視覺處理技術的重要基石,在智能視覺導航[1]、戰場態勢偵察[2]、智能視頻監控[3]、人機交互[4]、三維重建[5]等軍事及民用領域應用廣泛。視覺目標跟蹤的難點在于[6]:① 訓練數據有限。通用目標跟蹤任務中,目標先驗知識缺乏,僅有目標初始位置信息。② 目標不確定性。跟蹤過程中,隨著目標尺寸、形狀以及姿態等變化,其外觀模型存在明顯差異;多目標跟蹤任務中,當目標進出視野或者完全遮擋時,目標數量存在不確定性。③ 場景復雜性。在實際場景中存在光照變化、背景雜亂、遮擋以及圖像分辨率低等挑戰。

視覺目標跟蹤算法主體框架一般可分為運動模型、特征提取、觀測模型、模型更新4個部分[7]。其中,運動模型用于確定目標搜索的候選區域;特征提取用于對目標或背景進行外觀建模;觀測模型根據目標或背景的外觀模型,判斷候選區域是否為目標區域;模型更新用于確定外觀模型和觀測模型的更新策略。

視覺目標跟蹤算法分為生成式跟蹤算法和判別式跟蹤算法[8]。生成式跟蹤算法對目標進行外觀建模,利用跟蹤序列中目標外觀模型的相似性進行目標定位,選擇與目標模板具有最大相似性或最小重建誤差的候選區域作為跟蹤結果,常用方法主要有粒子濾波[9]、光流法[10]、均值移位算法[11]以及高斯混合模型[12]等。判別式跟蹤算法對目標和背景同時進行外觀建模,將跟蹤任務視為目標和背景的分類問題,選擇分類器輸出最大值對應的候選區域作為跟蹤結果,常用方法主要有基于支持向量機[13]、多示例學習[14]、隨機森林[15]、在線Boosting[16]等經典分類器的跟蹤算法以及基于相關濾波的跟蹤算法。相比生成式跟蹤算法,判別式跟蹤算法能有效利用背景信息,魯棒性更好,已成為視覺目標跟蹤領域的主流方向。

2010年,文獻[17]提出最小輸出誤差平方和(minimum output sum of squared error, MOSSE)跟蹤算法,將信號處理領域的相關濾波用于目標跟蹤,利用傅里葉變換在頻域進行加速,算法運行速度高達669 fps。2015年,文獻[18]將循環移位采樣[19]與核函數相結合提出了著名的核相關濾波(kernelized correlation filters, KCF)跟蹤算法。該算法通過循環移位采樣,緩解了訓練數據有限的問題;在僅有寥寥數行主代碼的情況下,其性能優于當時頂尖跟蹤算法,如核結構化輸出跟蹤學習算法[20]和檢測跟蹤學習(tracking learning detect, TLD)算法[21],運行速度高達每秒數百幀。自此,相關濾波跟蹤算法憑借其快速性和精確性,在目標跟蹤領域引起廣泛重視、成為判別式跟蹤算法中的熱門方向,大量改進算法相繼被提出[22-24]。各相關濾波跟蹤算法通常針對某特定問題具有較好的解決方案,復雜場景下實時可靠的通用目標跟蹤算法仍是一個需要長期重點研究的方向。

本文針對單目標跟蹤領域中基于相關濾波的視覺目標跟蹤算法進行討論,對相關濾波跟蹤算法原理、基本框架和問題進行研究總結。重點依據跟蹤框架對相關濾波跟蹤算法各工作階段取得的主要技術新進展及相應改進算法特點進行總結分析;然后,利用數據集OTB-2015[25]對其中具有代表性的改進算法進行測試與分析;最后,探討未來發展方向,為研究者提供有效參考。

1 相關濾波跟蹤算法

相關性研究最早源于信號處理領域,用于描述兩個信號相似性,兩者相似度越高,相關值越大。相關性算法的主要優勢在于,可將時域的相關運算轉化為頻域點乘運算,即

(1)

x⊕h=F-1(XV*)

(2)

式中:x、h為時域中的離散信號;X、V分別為x和h的離散傅里葉逆變換;F-1為離散傅里葉逆變換運算符;⊕為相關操作運算符;*為共軛運算符。

相關濾波跟蹤算法基于相關性理論,構造相關濾波器作為在線分類器,通過在目標搜索區域內對目標和背景進行分類,實現對目標的定位跟蹤,其典型代表有MOSSE算法和KCF算法[26]。

1.1 MOSSE算法

訓練階段,MOSSE算法通過利用最小輸出誤差平方和的方法構造相關濾波器,其目標函數為

(3)

式中：Fk為頻域中第k訓練圖像塊;H為頻域中相關濾波器;Gk為頻域中第k訓練圖像塊的理想目標響應。

求解式(3)可得

(4)

檢測階段,目標候選區域的相關濾波響應為

G=FH*

(5)

目標位置根據最大響應值確定。模型更新階段,相關濾波器更新方式為

(6)

(7)

(8)

式中：η為學習率;t為視頻幀的序號。

MOSSE算法采用灰度特征,根據上一幀目標位置提取目標候選區域,通過構造相關濾波器實現目標跟蹤,并在頻域加速計算。但在初始幀中,僅有8個通過隨機仿射擾動生成的訓練樣本,樣本個數和濾波器系數個數嚴重不平衡。

1.2 KCF算法

訓練階段,KCF算法采用循環移位樣本通過嶺回歸的方法構造相關濾波器,其目標函數為

(9)

式中：xi為第i循環移位樣本;f(xi)=xi⊕w為真實目標響應;yi為第i循環移位樣本的理想目標響應;w為相關濾波器系數;λ為正則化系數,用于抑制過擬合。

借助循環矩陣理論[27],在線性回歸條件下,在頻域中求解式(9)可得

(10)

在非線性回歸條件下,KCF算法借助核嶺回歸方法[28],利用核函數將原空間中的非線性問題轉化為對偶空間中的線性問題。此時濾波器系數為

(11)

α=(K+λI)-1y

(12)

式中：αi為加權系數,可視為對偶空間中的濾波器系數;φ(xi)為樣本xi在對偶空間的映射;α為系數αi構成的向量;K為核矩陣。此時,對相關濾波器系數w的優化求解轉化為對加權系數向量α的優化求解。

為避免矩陣求逆運算,在頻域中將式(12)簡化為

(13)

檢測階段,目標候選區域z的相關濾波響應為

(14)

(15)

(16)

式中：η為學習率;t為視頻幀的序號。

KCF算法在MOSSE算法的基礎上,采用具有多維數據的方向梯度直方圖(histogram of oriented gradient,HOG)特征,利用循環移位采樣構造密集樣本,克服了MOSSE算法訓練樣本過少的問題,加入正則化項,防止相關濾波器過擬合,完成了相關濾波跟蹤算法基本框架的搭建。MOSSE算法和KCF算法等經典算法奠定了相關濾波跟蹤算法的理論基礎,為后續相關濾波跟蹤算法發展提供了強勁動力[29-30]。

1.3 相關濾波跟蹤算法工作流程

雖然各類相關濾波跟蹤算法針對特定問題提出了各自的解決方案,但其基本工作流程可歸納成較為統一的形式,如圖1所示。圖1為相關濾波跟蹤算法基本工作流程,其中,FFT為快速傅里葉變換,IFFT為快速傅里葉逆變換。參照視覺目標跟蹤算法主體框架,總結其流程主要有4個模塊。

圖1 相關濾波跟蹤算法工作流程

(1)候選樣本獲取。在當前幀中,以上一幀目標位置為中心,提取圖像塊作為目標搜索區域,通過循環移位采樣獲得密集候選樣本。

(2)特征提取。利用手工特征或者深度特征,對目標搜索區域進行特征提取,獲得特征圖、建立外觀模型。

(3)目標定位。為提高運算效率,在頻域中利用相關濾波器對特征圖進行相關濾波操作,獲得目標響應圖,根據響應圖確定目標位置;目標位置通常對應于最大響應值位置。擁有尺度估計功能的跟蹤算法,還需對目標尺寸進行估計。

(4)模型更新。該階段主要根據當前目標信息,視情更新相關濾波器和外觀模型。

1.4 經典相關濾波跟蹤算法特性

MOSSE算法和KCF算法主要特性在于:

(1)頻域加速、實時性好，算法根據循環矩陣理論,利用離散傅里葉變換將時域相關運算轉化為頻域點乘運算,能夠快速獲得相關濾波器系數封閉解和搜索區域密集的目標響應值；

(2)數據儲存空間小，密集樣本通過循環移位隱式構造,不需要顯性存儲循環移位產生的樣本,大大減輕了數據儲存負擔；

(3)樣本標注靈活，循環移位樣本采用高斯函數軟標簽進行標注,正負樣本占比可通過改變高斯函數的方差進行快速調整；

(4)在線更新快捷，基于循環移位采樣,算法能夠快速實現在線模型更新,使相關濾波器能夠及時學習目標外觀模型的變化。

經典相關濾波跟蹤算法有其自身特性,也存在亟待研究的幾個方面:

(1)邊界效應，候選樣本獲取階段,由圖像周期性假設引起的邊界效應,嚴重影響算法跟蹤性能；

(2)多特征融合，特征選取階段,選取單一手工特征如灰度特征或HOG特征,未能利用多特征融合的優勢；

(3)尺度估計，目標定位階段,目標框大小固定,未對目標尺度變化進行估計；

(4)模型更新，模型更新階段,更新策略缺乏自適應性,憑經驗設計的加權更新不能良好地捕捉外觀模型變化,特別是在遮擋情況下容易發生跟蹤漂移。

2 相關濾波跟蹤算法主要技術新進展

隨著視覺目標跟蹤算法的廣泛應用,相關濾波跟蹤算法由于其優良的綜合特性吸引了大批研究者深入研究;針對經典相關濾波跟蹤算法的特性和基本問題,重點研究了相關濾波跟蹤框架和與其他算法的結合,提出了一系列改進算法。基于相關濾波跟蹤框架的改進,主要針對邊界效應、特征選擇、尺度估計、模型更新等,通過改善相關濾波跟蹤算法自身的缺陷,提高算法應對目標不確定性、背景復雜性等跟蹤難點的能力;結合其他算法的方法,通過其他算法的優勢彌補相關濾波跟蹤算法的不足,提高算法跟蹤性能。

2.1 邊界效應

邊界效應由樣本的周期性假設引起。該假設使得相關濾波跟蹤算法可以利用FFT在頻域加速運算,但使用循環移位樣本代替真實平移樣本,造成樣本準確性較差,降低了算法跟蹤性能。訓練階段,由于缺乏真實的負樣本,降低了相關濾波器的鑒別能力;在遮擋和雜亂背景情況下,其影響尤為明顯;檢測階段,目標響應圖僅在搜索區域中心附近較為準確,其余響應值受樣本周期性循環影響較大。因此,邊界效應限制了相關濾波跟蹤算法的目標搜索范圍;當搜索區域設置過小時,不利于快速運動目標的跟蹤;過大時,大量背景信息引入正樣本,不利于目標和背景分類。

目前,抑制邊界效應的手段主要有加余弦窗、空間正則化以及掩膜矩陣。

對圖像施加余弦窗是相關濾波跟蹤算法的基本處理方法,能夠對非周期性圖像的邊緣不連續性進行抑制,弱化圖像邊緣。該方法簡單便捷,但作用有限。訓練時,由于加窗后圖像邊緣背景信息被屏蔽,相關濾波器分類能力會有所降低;檢測時,如果目標位于搜索區域邊緣附近,加窗后目標信息會被弱化甚至消除,容易造成跟蹤失敗。

空間正則化方法主要根據空間位置對相關濾波器系數進行懲罰,使相關濾波器主要關注于樣本的中心區域、忽略樣本的邊緣區域,從而抑制邊界效應。文獻[31]提出空間正則化相關濾波(spatially regularized discriminative correlation filters,SRDCF)跟蹤算法,采用較大的目標搜索區域,利用從中心區域到邊緣區域平滑增大的濾波器系數約束權重,對遠離中心區域的濾波器系數進行懲罰。相關濾波跟蹤算法中,循環移位產生的樣本中心區域可靠性較高,邊緣區域可靠性較差。因此,SRDCF算法通過約束濾波器系數實現對邊界效應的抑制,如圖2所示。

圖2 SRDCF算法空間正則化示意圖

該算法的目標函數為

(17)

式中：h為相關濾波器系數;xk為第k訓練圖像塊;αk、yk分別為第k訓練圖像塊的加權系數和理想響應;N為訓練圖像塊個數;W為濾波器系數約束權重。

SRDCF方法的優勢在于:訓練階段,較大的目標搜索范圍顯著增加負樣本數量,且正樣本中未引入過多背景信息;檢測階段,較大的目標搜索范圍有利于對快速運動目標的跟蹤,且位于搜索區域邊緣附近的目標不易被忽視,有效提升了跟蹤性能。算法中濾波器平滑約束權重保證了頻域稀疏性,但此正則項的矩陣結構不具有對角性,使得相關濾波器系數的求解需采用高斯·賽德爾方法進行迭代求解,嚴重降低了算法運行速度。

由于空間正則化方法抑制邊界效應的有效性,該思想隨后被諸多算法[32-33]沿用。針對SRDCF算法采用多幅圖像和空間正則化方法訓練相關濾波器,破壞了循環矩陣結構,造成算法復雜度高、運行速度慢的問題,文獻[34]在單幅圖像空間正則化算法基礎上,提出了基于時空正則化的相關濾波(spatial-temporal regularized correlation filters,STRCF)跟蹤算法,利用時間正則化近似多幅圖像情況,將基于多幅圖像的訓練有效簡化為基于單幅圖像的訓練,使得算法可利用交替方向乘子法對相關濾波器系數進行求解,提高了跟蹤速度。該方法相對SRDCF算法而言,大大降低了計算復雜度,但其仍沿用固定的空間正則化系數,不能根據跟蹤的目標進行靈活調整。

文獻[35]針對固定約束權重的空間正則化方法不能良好適應目標外觀變化,提出了基于自適應空間正則化的相關濾波(adaptive spatially regularized correlation filters, ASRCF)跟蹤算法。該算法聯合訓練濾波器系數和約束權重,使得約束權重能根據目標外觀變化及時進行調整,更有針對性地抑制低可靠性區域的濾波器系數。針對預設空間約束權重先驗性強、不能良好適應未知應用場景的問題,文獻[36]充分利用歷史跟蹤信息,提出了一種在線自動學習的時空正則化約束,通過局部響應圖變化值生成空間約束權重。

W=PTδlg(Π+O)+W0

(18)

式中:P為二進制矩陣;O為元素為1的矩陣；δ為一個常數;Π為局部響應圖變化量;W0為固定空間約束權重,設置同SRDCF算法。該方法利用響應圖變化情況判斷目標是否出現遮擋、劇烈形變等情況,當響應圖變化值較大時,表明當前像素可靠性較差,需加大對濾波器系數的懲罰力度。

總體而言,空間正則化方法能有效抑制邊界效應,但正則項優化復雜度較高、運算耗時較長。同時,為獲得合適的正則權值系數,需要謹慎設置超參數。

掩膜矩陣方法通過將相關濾波器與二進制掩膜矩陣相乘,實現對邊界效應的抑制。文獻[29]提出有限邊界相關濾波(correlation filters with limited boundaries, CFLB)跟蹤算法,采用小尺寸相關濾波器,通過掩膜矩陣對其隱性補零擴充,使相關濾波器能部分忽略循環移位樣本的邊界區域,在一定程度上緩解邊界效應。該方法等同于掩膜矩陣與循環移位樣本相乘,從大尺寸的循環移位樣本中裁剪出較小尺寸的真實樣本,增加了真實樣本數量。以一維樣本為例,如圖3所示,循環移位采樣獲得的樣本中只有1個真實樣本,掩膜矩陣作用后產生了3個真實樣本。

圖3 CFLB算法掩膜矩陣運用示意圖

CFLB算法采用灰度特征,由于其表征能力不足,造成算法跟蹤性能不佳。針對該問題,文獻[37]提出了背景感知相關濾波(background-aware correlation filters, BACF)跟蹤算法,將CFLB算法拓展為單幅圖像和多通道特征情況,使算法既能利用真實負樣本訓練,緩解循環移位樣本帶來的邊界效應,也能受益于多維特征的強表征能力。其目標函數為

(19)

式中：y∈RL為理想目標響應;x[Δτi]為對訓練圖像x進行i步循環移位操作;P為掩膜矩陣;λ為正則化系數。空間正則化方法是對樣本不可靠區域的濾波器系數進行限制,而BACF算法通過增加真實訓練樣本的方法對邊界效應進行抑制,能更本質地解決該問題。

文獻[38]提出基于通道和空間可靠性的相關濾波(discriminative correlation filter with channel and spatial reliability, CSR_DCF)跟蹤算法,利用顏色直方圖信息對圖像的空間可靠性進行判斷,根據空間可靠性生成二進制掩膜矩陣,利用該矩陣對相關濾波器系數進行限制。該方法本質上也是一種空間正則化方法,但由于采用了由0,1組成的約束權重,使其既克服了邊界效應,也隱性打破了目標搜索區域矩形框形狀預設的限制。

2.2 特征選擇

大量研究表明,特征提取對目標跟蹤任務至關重要,合理選擇特征能顯著提高跟蹤算法性能[7]。特征描述越本質,外觀模型可鑒別性越好,越利于目標跟蹤。在視覺目標跟蹤任務中,利用有限的訓練數據充分學習運動目標和背景的外觀模型,是一個相當困難的問題。

MOSSE算法和循環結構核函數跟蹤(circulant structure of tracking-by-detection with kernels tracker, CSK)算法[19]均采用灰度特征,跟蹤速度高達每秒數百幀;但灰度特征過于簡單、描述能力弱,致使算法跟蹤精度較差。隨后,恩里克斯等將顏色名稱(color names,CN)[39]、HOG特征與相關濾波器結合用于目標跟蹤,分別提出了CN算法[40]、KCF算法。HOG特征對目標輪廓和表面紋理具有良好的描述能力,對運動模糊和光照變化魯棒性好;顏色特征能有效利用顏色信息,對目標形變魯棒性好[41]。由于這兩種手工特征具有良好互補性,后續相關濾波跟蹤算法常將其融合使用。

隨著深度學習的發展,越來越多的相關濾波跟蹤算法采用深度特征。文獻[42]率先將深度特征用于相關濾波跟蹤領域,提出了分層卷積特征(hierarchical convolutional features,CF2)跟蹤算法。該算法將深度網絡卷積層視為一個非線性圖像金字塔,利用預先訓練的VGG-Net-19網絡[43]的Conv3-4、Conv4-4和Conv5-4層卷積特征分別訓練相關濾波器,從高層到低層按照由粗到精的方式使用多級相關響應映射來確定目標位置。由于深度特征卓越的表征能力,該算法與同類采用手工特征的跟蹤算法相比,顯著提高了跟蹤的精確性和魯棒性。CF2算法初步探索了深度學習在相關濾波跟蹤算法中的應用,但與深度學習在目標檢測和圖像分類任務中取得的成績相比,并未充分發揮出深度學習的效能。

文獻[44]提出揭示深度神經網絡跟蹤力量的跟蹤算法,對深度特征在視覺目標跟蹤領域未達到預期性能的問題進行了系統研究,發現數據增強能顯著提升深層卷積特征的跟蹤效能,卻惡化了淺層卷積特征的跟蹤效能;大方差的高斯標簽函數有益于深層特征,小方差的高斯標簽函數有益于淺層特征。因此,淺層卷積特征和深層卷積特征應分開用于相關濾波器訓練,淺層卷積特征側重于定位的精確性,而深層卷積特征側重于定位的魯棒性,最后通過響應級融合實現目標定位。該算法為相關濾波跟蹤算法分層利用深度特征提供了良好的指導,克服了CF2算法對淺層卷積特征和深層卷積特征不加區分的使用。

利用預先訓練的深度神經網絡提取的特征更傾向于目標識別和分類任務,其與跟蹤任務的貼合度有待進一步提升。針對該問題,文獻[45]利用相關濾波器理想響應和實際響應的差值作為損失函數,利用隨機梯度下降法訓練卷積深度神經網絡。該網絡提取的特征對相關濾波跟蹤任務適用性強,但是特征通道間缺乏獨立性,且由于網絡中輔助層的存在,使得網絡最后一層的特征質量較差。文獻[46]提出了無監督深度跟蹤算法,利用大規模無標注視頻數據對深度卷積神經網絡進行無監督訓練,使其更貼合跟蹤任務。該算法基于穩健跟蹤器的前向跟蹤和后向跟蹤應同時可靠的預設,在孿生相關濾波網絡基礎上,采用多幀驗證方法和對代價敏感的損失函數訓練網絡,使網絡提取的深度特征更適合目標跟蹤。雖然該文算法跟蹤性能提升有限,但其展示了無監督學習在相關濾波跟蹤領域的巨大潛力。

文獻[47]針對深度特征維數過大、存在大量冗余,提出了群特征選擇相關濾波(group feature selection method for discriminative correlation filters, GFS-DCF)跟蹤算法,根據多通道特征的空間一致性,跨越空間維度和特征通道維度進行群特征選擇,學習具有空間-通道群稀疏性的相關濾波器,實現了從空間維度和特征通道維度對特征進行壓縮。該算法加入時間平滑性約束,將特征選擇和相關濾波器系數進行聯合訓練,在跟蹤過程中動態學習自適應的時間-空間-通道配置,突出關鍵特征,減少了信息冗余。該算法精確性高、魯棒性強,但計算復雜度高、運行速度遠低于實時性要求。

相關濾波跟蹤算法利用預先訓練的深度神經網絡，如VGG(visual geometry group)網絡，在提取深度特性時,計算資源消耗大,難以部署到僅配置單核CPU的移動平臺上。針對上述問題,文獻[48]提出利用知識蒸餾框架對預先訓練的深度神經網絡進行聯合壓縮和轉移,得到一個輕量級的學生網絡作為特征提取器。該算法的蒸餾過程通過離線訓練方式實現,能將原本95 MB的教師網絡壓縮為1.5 MB的學生網絡,從而使算法在單核CPU運行情況下能夠達到實時性需求,但算法的跟蹤精度有所下降。

手工特征相對簡單、數據維數小,采用此類特征的傳統相關濾波跟蹤算法容易滿足實時性要求,但手工特征先驗性強、描述能力有限、抗干擾能力弱。相比之下,深度特征描述更接近本質、魯棒性更好。但深度神經網絡各層提取的特征側重點不同需要合理配置使用,更關鍵之處在于,深度特征數據維度大、運算復雜度高,不利于算法的實時性。總體而言,手工特征和淺層卷積特征分辨率高、目標定位方便,有利于跟蹤的精確性,深層卷積特征包含高級語義信息、不變性強,有利于跟蹤的魯棒性,如何合理融合特征、充分發揮多特征優勢,仍值得進一步研究。

2.3 尺度估計

視覺目標跟蹤過程中,目標的尺度會隨自身運動或攝像機運動發生改變。早期相關濾波跟蹤算法只對目標平移進行估計,不具有目標尺度估計能力。由于目標框大小固定,當目標尺寸變大時,只有局部目標信息被運用,當目標尺寸變小時,大量的背景信息被引入,二者均會造成跟蹤漂移。為實現目標尺度估計,后續相關濾波跟蹤算法主要采用基于尺度池、特征點或者分塊的方法。

基于尺度池的方法,通過構造圖像金字塔或者相關濾波器金字塔,實現對目標尺寸的估計。在跟蹤序列中,相鄰兩幀中目標的尺度變化通常小于平移變化。文獻[49]以此為據,提出尺度空間判別跟蹤(discriminative scale space tracking, DSST)算法,利用二維平移相關濾波器確定目標位置,然后在此基礎上,構造具有33個尺度的圖像金字塔,利用一維尺度相關濾波器進行檢測,根據尺度相關濾波器最大響應值確定目標尺寸。其圖像金字塔構造方式為

(20)

式中：a為尺度因子;H×W為當前目標尺寸;S為尺度數量。

文獻[50]提出多特征自適應尺度跟蹤(scale adaptive with multiple features tracker, SAMF)算法,首先構造具有7個尺度的圖像金字塔,然后利用相關濾波器檢測,根據目標響應最大值,同時確定目標的位置和尺寸。與DSST算法分步估計位置和尺度相比,SAMF算法尺度估計更準確,但其運算量更大,速度相對較慢。

利用圖像尺度池進行目標尺度估計時,存在特征重復提取的問題。為避免該情況,文獻[51]提出一種基于尺度自適應相關濾波器和嶺回歸跟蹤器(scale-adaptive correlation filter and ridge regression-based tracker, SCFR)的跟蹤算法,利用相關濾波器的空間結構處理尺度估計問題,如圖4所示。該算法利用雙三次插值算法近似構造具有多個尺度的相關濾波器金字塔,利用相關濾波器金字塔檢測目標搜索區域,只需提取一次圖像特征,即可輕松實現對目標位置和尺寸的估計,但其仍未解決尺寸比例固定的問題。總體而言,基于尺度池的方法利用相關濾波器對目標尺寸進行估計,運算速度較快,能夠輕松移植到其他算法;但尺度池大小固定、具有一定的局限性。

圖4 SCFR算法多尺度濾波器生成示意圖

基于目標特征點或者分塊的方法,預設當目標大小發生變化時,其內部顯著性特征點或者子模塊之間的距離也會隨之改變,通過衡量這些距離的變化能夠估計目標尺寸。文獻[52]將目標分解為5個局部子目標,對局部子目標分別進行相關濾波跟蹤,根據周邊局部子目標中心點與中間局部子目標中心點之間的相對距離對目標尺度進行估計,相對距離增加表明目標尺寸增大,反之亦然。該算法采用分塊方法,不僅能實現目標尺度估計,還能一定程度上緩解遮擋以及劇烈形變等復雜情況帶來的跟蹤漂移。文獻[53]在相鄰跟蹤序列的目標區域提取特征點,根據特征匹配點相對位置的變化以及特征點的權值確定目標尺寸,特征點的權值由其距離目標中心點的距離確定,離中心點越遠其可靠性越低、權值越小。該類尺度估計方法能自適應目標尺寸變化,克服了尺度池中尺度變化范圍有限的限制,但其尺度估計的精度嚴重依賴于特征點匹配或局部子目標跟蹤的精度,算法復雜度高,難以達到實時性要求。

2.4 模型更新

視覺目標跟蹤過程中,目標和背景外觀模型會隨時間發生改變,為適應其變化,相關濾波器系數和目標外觀模型須及時進行更新,防止跟蹤漂移。在相關濾波跟蹤算法中,模型更新方式可分為固定式模型更新以及自適應模型更新兩大類。

采用固定式模型更新時,跟蹤器每隔一幀或多幀更新一次且學習率固定。如高效卷積算子(efficient convolution operator, ECO)跟蹤算法[33]每6幀更新一次,高速多核相關濾波(multi-kernel correlation filters, MKCFup)跟蹤算法[54]每幀更新一次。該更新方式操作簡單,在遮擋、光照變化以及背景雜亂等復雜情況下,容易造成模型污染。

采用自適應模型更新的相關濾波跟蹤算法,根據目標響應情況決定是否更新和設置學習率。該更新方式將目標外觀模型變化程度和跟蹤結果可靠性納入考慮范圍,使算法在盡量降低更新頻率的基礎上,緩解跟蹤漂移問題。常用目標響應可靠性判別指標如下。

(1)峰值旁瓣比(peak to sidelobe ratio,PSR),可表示為

(21)

式中：Rmax為目標響應最大值;μ為旁瓣均值;σ為旁瓣標準差。PSR指標用來衡量目標響應圖峰值強度,若PSR值大,表明峰值強度高、跟蹤較為可靠,反之跟蹤結果可靠性低。

(2)響應圖平滑約束(smooth constraint of confidence maps,SCCM)[52]，可表示為

(22)

第二主峰與主峰比(ratio between the second and first major mode,RSFM)[38]，可表示為

(23)

式中：Gpeak1為目標響應圖主峰峰值;Gpeak2為目標響應圖第二主峰峰值。RSFM指標用來衡量目標響應圖主峰突出性。理想目標響應圖為二維高斯分布、主峰突出,RSFM值越大,表明主峰越突出、跟蹤可靠性越高,反之表明主峰不突出、跟蹤效果較差,存在相似物干擾、遮擋等情況。

(3)平均峰值相關能量(average peak to correlation energy, APCE)[55]，可表示為

(24)

式中：Rmax，Rmin分別為目標響應最大值和最小值;Ri, j為目標響應圖中第i行、第j列取值。APCE指標主要用于衡量目標響應圖的振蕩情況,值較小時,表明目標響應圖振蕩劇烈、跟蹤結果可靠性低,可能遇到遮擋、運動模糊或者目標丟失等情況;值較大時,表明跟蹤結果較為可靠。

文獻[56]提出多線索相關濾波(multi-cue correlation filters, MCCT)跟蹤算法,根據不同特征組合構成多專家跟蹤系統,通過多專家間分歧大小確定跟蹤結果置信度,分歧小時,表明跟蹤結果可靠性高。在模型更新時,該算法利用跟蹤結果置信度和目標響應圖PSR值自適應確定模型更新學習率,降低了模型被污染的風險以及直接丟棄不可靠樣本導致的信息損失風險。文獻[57]利用目標響應最大值衡量局部置信度,利用APCE值衡量全局置信度,通過局部置信度和全局置信度對目標跟蹤結果進行綜合衡量,當跟蹤結果可靠性超過設定閾值時更新模型。針對手工特征和深度特征對外觀模型魯棒性的差異,文獻[58]對深度特征模型每兩幀更新一次,當APCE值大于閾值時,手工特征模型進行更新。該方法對深度特征模型的更新方式,避免了每幀更新帶來的計算量,但未充分考慮目標外觀模型變化程度和跟蹤結果可靠性。

自適應模型更新策略根據目標外觀模型變化程度和訓練樣本質量,及時調整模型更新的頻率和學習率,對相關濾波跟蹤器的模型自適應與跟蹤漂移進行權衡,有效避免固定式模型更新的盲目性,可緩解目標嚴重形變、遮擋、出視角以及背景雜亂等情況對跟蹤器性能的影響。其難點在于,如何根據實際跟蹤應用環境,選擇合適的目標響應可靠性判別指標,準確判斷目標是否遭遇嚴重形變、遮擋以及雜亂背景等情況。

2.5 融合其他方法

相關濾波跟蹤算法除了改進自身算法框架,還可與其他算法相結合,利用其他算法的優勢來彌補自身局限性。

文獻[59]將基于顏色直方圖的跟蹤模型和基于HOG特征的相關濾波跟蹤模型融合,提出綜合模板和像素級學習器(sum of template and pixel-wise learners, Staple)的跟蹤算法,其目標響應圖計算方法為

f(x)=γcfc(x)+γhfh(x)

(25)

式中：f(x)為算法的目標響應圖;fc(x)，fh(x)分別為相關濾波跟蹤模塊和顏色直方圖跟蹤模塊的目標響應圖;γc，γh為響應圖加權系數,且滿足γc+γh=1。

顏色直方圖跟蹤模型對目標形變魯棒性好,但對光照變化敏感,而相關濾波跟蹤模型特性正好與之相反。Staple算法由于有效利用了上述模型的互補性,故能同時應對光照變化和目標形變等挑戰,獲得可觀的跟蹤性能。

文獻[60]將相關濾波跟蹤算法和支持向量機相結合,將基于支持向量機的跟蹤問題轉化為支持相關濾波器(support correlation filters,SCF)的學習問題。該算法在交替優化過程中引入離散傅里葉變換,可以獲得實時性的全局最優解,實現高效、準確的視覺目標跟蹤;同時,SCF還可以拓展到多通道特征、核函數和尺度自適應情況,進一步提高跟蹤性能。文獻[61]將聯合卡爾曼濾波和運動軌跡平均的運動估計算法與KCF算法相結合,利用運動估計算法對目標運動進行估計,初步確定目標位置;然后,在此位置基礎上,運用KCF算法確定目標精確位置。該算法的優點在于克服了相關濾波跟蹤算法中目標搜索區域以上一幀目標位置為中心的局限,有利于快速運動目標的跟蹤。但該算法無尺度估計能力,可考慮用其他改進的相關濾波跟蹤算法替代KCF算法。

隨著深度學習研究的火熱,相關濾波跟蹤算法與之結合越來越緊密。與深度學習的結合除了用于深度特征提取外,還可用于相關性操作和擔任輔助網絡角色。

文獻[62]提出基于卷積殘差學習的視覺跟蹤(convolutional residual learning for visual tracking, CREST)算法,將相關濾波器轉化為一個深度神經網絡卷積層,通過空間域卷積操作實現相關性運算,避免了樣本周期性假設和循環移位采樣,從根本上消除了邊界效應;相關濾波卷積層完全可微分,通過網絡單向傳播更新相關濾波器,克服了經驗插值更新方式難以在模型自適應和穩定性之間取得良好平衡的問題;利用殘差學習獲取目標的外觀變化,有效緩解了目標顯著外觀變化導致的模型快速退化問題。由于在線更新學習導致跟蹤速度較慢,該算法難以滿足實時需求。

文獻[63]將相關濾波跟蹤算法與SiameseFC算法[64]結合,提出了相關濾波網絡(discriminant correlation filters network, DCFNet)跟蹤算法,如圖5所示。

圖5 DCFNet算法網絡結構示意圖

該算法將相關濾波器視作添加在孿生網絡后的一個特殊網絡層,該層輸出定義為目標位置概率圖,模型更新通過該層反向傳播實現,深度特征提取和相關濾波跟蹤可端到端進行訓練。由于相關濾波網絡層的反向傳播仍然通過頻域中的點乘運算實現,該算法即保留了相關濾波跟蹤算法的高效性,也受益于網絡端到端訓練。

文獻[65]將注意力網絡和具有2種特征、2種核函數、13種尺度、5種延遲更新模式,共260種相關濾波跟蹤模塊的跟蹤網絡相結合,根據目標動態特性,注意力網絡實時選擇適宜的跟蹤模塊用于目標跟蹤。該算法中,各相關濾波跟蹤模塊分別針對跟蹤漂移、運動模糊、遮擋、尺寸變化和靈活縱橫比、延遲更新等情況設計,注意力機制自適應配置其激活狀態,使算法在低負荷計算條件下全面應對上述多種跟蹤挑戰。針對CREST算法等基于深度學習的在線跟蹤算法運行速度較慢的問題,文獻[66]利用離線的元學習方法初始化相應跟蹤算法的深度神經網絡,通過高質量的初始值,減少網絡更新中的迭代次數,從而加快網絡的訓練速度。該方法的元學習組件能根據跟蹤序列中未來幀的誤差信號,獲得魯棒的初始目標模型,但該方法對算法的精確性和魯棒性提升不明顯,未能充分發揮元學習方法的效能。文獻[67]將可微分的空間對準模塊引入相關濾波網絡,提出了基于空間對齊的相關濾波網絡(spatially aligned correlation filters network,SACFNet)。該算法利用空間對準模塊的空間對齊功能,將目標從邊界區域轉換到具有標準化縱橫比的區域中心,縮小目標搜索空間,有效應對邊界效應和目標縱橫比變化。文獻[68]將區域建議網絡(region proposal network,RPN)[69]和相關濾波跟蹤算法相結合,利用RPN生成目標候選區域,在目標候選區域利用相關濾波跟蹤算法完成目標跟蹤。該算法克服了相關濾波跟蹤算法依賴運動平滑假設確定目標搜索區域的局限性,提高了算法對不確定性運動目標的跟蹤能力,但RPN網絡生成多個候選區域,需要進行多次相關濾波操作,運算量較大、跟蹤速度較慢。文獻[70]將長短時記憶(long short term memory, LSTM)網絡[71]和相關濾波跟蹤算法相結合,采用三層卷積特征分別訓練一個相關濾波器,然后利用LSTM網絡確定3個目標響應圖的融合權值和模型更新方式。LSTM網絡可以充分編碼目標的歷史信息,對外觀模型的變化程度更敏銳,學習出的融合權值可以更好地衡量各目標響應圖的可靠性。

2.6 小結

現階段,各類改進的相關濾波跟蹤算法針對早期算法在跟蹤各階段存在的問題,從邊界效應、特征提取、尺度估計以及模型更新方面入手,改善自身框架或結合其他算法,使得跟蹤性能得到了大幅提升。這些算法在顯著改善相應問題的同時,也帶來一些新情況,如算法復雜度增大、運行速度下降等,要綜合解決這些問題仍需研究者不懈奮斗。

3 實驗結果與分析

本文利用數據集OTB-2015對20種典型相關濾波跟蹤算法進行測試與分析。

3.1 數據集及評估指標

數據集OTB-2015在視覺目標跟蹤領域應用廣泛,為單目標跟蹤算法發展做出了突出貢獻[72],其含有彩色序列74個、灰度序列26個,共58 897幀圖像。該數據集包含光照變化、尺度變化、形變、遮擋、快速運動、運動模糊、平面外旋轉、平面內旋轉、出視野、背景雜亂以及低分辨率共11種跟蹤挑戰,有效覆蓋了目標不確定性和背景復雜性。

本文采用精確度、成功率曲線下面積(area under curve,AUC)和運行速度作為跟蹤算法的性能評估指標。精確度為跟蹤序列中目標中心定位誤差(center location error,CLE)小于給定閾值的幀數占比,能有效評估跟蹤算法的目標定位精度。CLE定義為標注目標框中心點P0和跟蹤目標框中心點P1之間的歐式距離,如圖6所示。

圖6 評價指標示意圖

成功率為跟蹤序列中標注目標框和跟蹤目標框重疊得分大于給定閾值的幀數占比,閾值通常為0.5。重疊得分定義為

(26)

式中:B0為標注目標框;B1為跟蹤目標框;∩為交集運算符;∪為并集運算符;||為區域中像素個數。

當閾值從0到1變化,可以繪制出成功率曲線,AUC為成功率曲線下面積,能有效評估跟蹤算法的目標定位和尺度估計能力。

運行速度為算法每秒跟蹤的圖像幀數,單位為fps。

3.2 實驗結果與分析

本文實驗硬件平臺為配置Intel(R)Core(TM)i5-8300H CPU@2.30HZ和NVIDIA GeForce GTX1060的計算機,軟件平臺為MATLAB R2018a。實驗采用一次通過評估(one-pass evaluation, OPE)方法,測試的相關濾波跟蹤算法包括:CSK算法[19]、CN算法[40]、DSST算法[48]、KCF算法[18]、SAMF算法[50]、CF2算法[42]、CFLB算法[29]、SRDCF算法[31]、連續卷積算子跟蹤(continuous convolution operator tracker,CCOT)算法[32]、Staple算法[61]、CREST算法[62]、BACF算法[37]、CSR_DCF算法[38]、DCFNet算法[63]、ECO算法[33]、MKCFup算法[54]、MCCT算法[56]、STRCF算法[34]、ASRCF算法[35]和GFS_DCF算法[47]。

圖7為上述20種跟蹤算法在數據集OTB-2015上的整體性能表現,其中精確度曲線圖反映了各跟蹤算法精確度隨閾值變化的情況,成功率曲線圖反映了各跟蹤算法成功率隨閾值變化的情況。從圖7可以看出,整體性能排名后5位的算法為KCF算法、DSST算法、CN算法、CSK算法和CFLB算法,其余算法性能較這些早期算法均有顯著提升。

圖7 20種相關濾波跟蹤算法在數據集OTB-2015上的整體性能

表1為上述20種相關濾波跟蹤算法的性能對比表,給出各算法在數據集OTB-2015上的平均精確度、AUC、平均運行速度和特征類型。其中,ECO_HC和MCCT_H分別為使用手工特征的ECO算法和MCCT算法;Gray為灰度特征;CN為顏色空間;IC為強度通道特征;CH為顏色直方圖;CNN為卷積特征。加粗數據為最優結果,下劃線數據為次優結果,斜體數據為第3名結果。從表1可知,精確度排名前3的算法為GFS_DCF算法、ASRCF算法和MCCT算法,AUC排名前3的算法為GFS_DCF算法、ASRCF算法和ECO算法,運行速度排名前3的算法為CSK算法、CFLB算法和KCF算法。結合圖7和表1可知,精確度和AUC排名前3的算法均采用CNN特征、排名后五位的算法均采用手工特征;除DCFNet算法外,其余運行速度達實時性要求的算法均采用手工特征。相比手工特征,CNN特征描述能力更強、數據維度更大,故基于CNN特征的相關濾波跟蹤算法通常精確度和成功率更高、運行速度更慢,難以滿足實時性要求;基于手工特征的相關濾波跟蹤算法精確度和成功率通常較低,但運行速度更具優勢,更易滿足實際應用場景對跟蹤算法的綜合性能要求。如采用手工特征的MCCT_H算法、ECO_HC算法與采用深度特征的MCCT算法、ECO算法相比,精確度分別降低了7.52%和7.59%;AUC分別降低了6.74%和8.15%;運行速度卻分別提高了3.71倍和3.11倍,既滿足了實時性要求,也具有可觀的精確度和成功率。

表1 20種相關濾波跟蹤算法基于數據集OTB-2015的性能對比

圖8給出了20種相關濾波跟蹤算法在數據集OTB-2015的11類跟蹤挑戰下的成功率曲線圖。

圖8 20種相關濾波跟蹤算法在OTB-2015 11類屬性的成功率曲線圖

從圖8可以看出,總體而言,各跟蹤算法在遮擋、低分辨率、形變、尺度變化、出視野的挑戰下性能均有顯著下降。在具有遮擋挑戰的視頻序列中,采用固定模型更新的算法比自適應模型更新的算法跟蹤性能下降更明顯,如KCF算法的AUC從0.477減少到0.445。在具有尺度變化挑戰的視頻序列中,具有尺度估計能力的算法(如DSST、SAMF算法)與采用固定目標框的算法(如CSK、CN算法)相比,其AUC至少高出7個百分點。在具有快速運動挑戰的視頻序列中,SRDCF算法、ECO算法、CFLB算法、CSR_DCF算法等利用空間正則化方法或者掩膜矩陣方法處理邊界效應的算法,由于采用更大的目標搜索范圍,可良好應對目標快速運動的挑戰。

4 結 論

現階段相關濾波跟蹤算法在經典算法基本框架的基礎上,針對邊界效應、特征選擇、尺度估計、模型更新以及算法融合等方面,進行了卓有成效的改進,取得了顯著性成果。雖然改進的相關濾波跟蹤算法在各自應用場景下取得了較大進步,但在復雜環境下實時穩健地完成目標跟蹤任務還需進一步研究。特征選擇、樣本選擇、長時目標跟蹤、網絡結構優化等,作為相關濾波跟蹤算法研究的發展方向,已引起廣大研究者的重視和聚焦。

(1)特征選擇。單一特征難以對目標和背景可靠建模,多特征融合使用已成為相關濾波跟蹤算法的基本操作。特征融合時,既要考慮特征的互補性還需盡量避免特征冗余。深度特征表征能力強,但特征提取耗時過多,預訓練神經網絡提取的深度特征與跟蹤任務貼合度不高,如何快速獲取適合跟蹤任務的深度特征仍是一個研究熱點。

(2)樣本選擇。相關濾波器本質上是一個分類器,訓練樣本的質量對相關濾波器性能起著決定性作用。相關濾波器系數數量與訓練樣本數量不平衡、正負樣本數質量不平衡等,容易造成相關濾波器鑒別能力下降,在結合深度學習的相關濾波跟蹤算法中,其影響更為突出。隨著深度學習中無監督學習的火熱,相關濾波跟蹤算法可進一步采用無監督或弱監督學習解決訓練樣本缺乏問題,同時利用注意力機制增強訓練樣本質量。

(3)長時目標跟蹤。目前相關濾波跟蹤算法主要立足于短時目標跟蹤,在目標發生遮擋、短暫出視野以及圖像低分辨率等實際場景下,如何實現長時目標跟蹤值得深入研究,極具應用價值。

(4)網絡結構優化。基于深度學習的相關濾波跟蹤算法發展迅猛、成果頗豐,如何進一步優化網絡結構,使其更利于目標跟蹤,是跟蹤領域重點研究方向之一。例如,開發基于輕量級網絡結構的相關濾波跟蹤算法,使其能在移動設備上流暢運行;有針對性地優化具有端到端網絡結構的相關濾波跟蹤算法,如與孿生網絡結合,使其兼具精確性、魯棒性和實時性,以滿足實際工程應用。