顏色自適應與相關濾波互補目標跟蹤

吳迪云 吳正平

(三峽大學 電氣與新能源學院， 湖北 宜昌 443002)

顏色自適應與相關濾波互補目標跟蹤

吳迪云 吳正平

(三峽大學 電氣與新能源學院， 湖北 宜昌 443002)

針對相關濾波(Correlation Filter, CF)算法在目標跟蹤中嚴重依賴目標及背景的顏色在空間中布局，對目標變形極其敏感，且因背景顏色分布的變化導致目標中心計算不準確問題，提出了顏色自適應(Color Adaptive，CA)與相關濾波互補的跟蹤策略．跟蹤過程中，首先根據前面幀學習的濾波模板和顏色模板，通過兩種算法分別計算目標中心坐標；其次，由相關濾波產生的響應圖中目標區域數值的占比，分配兩種算法計算的中心坐標相應權值，得到最終的跟蹤坐標．跟蹤實驗表明，本文方法(CACF)應對跟蹤過程中各種干擾問題具有更強的魯棒性，優于近幾年一些主流的跟蹤算法，且跟蹤速度可達到實時性．

顏色自適應； 相關濾波； 互補跟蹤； 目標跟蹤； 跟蹤算法

0 引 言

近些年，相關濾波算法在基于視覺的目標跟蹤中引起了廣泛的關注，2010年Bolme DS等[1]首次將相關濾波用于目標跟蹤領域，提出誤差最小平方和濾波(MOSSE)算法，后來大量優秀的目標跟蹤算法也是基于此算法改進．例如，CSK算法[2]，選取目標及其周圍的一定矩形區域，利用循環移位方法進行碎片采樣作為訓練樣本，結合FFT快速進行分類器的訓練，跟蹤的過程就是計算下一幀窗口內相關濾波的響應．KCF算法[3]，是CSK算法作者進一步對CSK算法的改進，從單通道特征換成了Hog多通道特征，使訓練所得的分類器檢測目標的分辨力更強．STC算法是Zhang等[4]提出的高效跟蹤算法，通過貝葉斯框架對要跟蹤的目標和它類器的訓練，跟蹤的過程就是計算下一幀窗口內相關濾波的響應．KCF算法[3]，是CSK算法作者的進一步對CSK算法的改進，從單通道特征換成了Hog多通道特征，使訓練所得的分類器檢測目標的分辨力更強．STC算法是Zhang等[4]提出的高效跟蹤算法，通過貝葉斯框架對要跟蹤的目標和它的局部上下文區域的時空關系進行建模，得到目標和其周圍區域低級特征統計相關性．利用目標周圍局部上下文的環境輔助進行目標的定位，取得了良好的效果．

上述列舉的跟蹤算法均基于相關濾波思想，相關濾波算法是利用目標區域的顏色分布，該算法對目標的變形極其敏感，背景移動也會影響目標中心的計算．常見的處理目標變形跟蹤魯棒性較強的算法有：直方圖匹配法[5-7]，特征匹配算法[8-9]．

本文提出了顏色自適應算法，該算法不受背景顏色布局和目標變形的影響，改進了相關濾波算法在目標變形和背景移動下目標中心位置計算不穩定問題．

顏色自適應算法是通過計算目標及其周圍區域像素的RGB顏色向量，然后濾去背景顏色，最后提取目標的主要顏色向量進行跟蹤．由于目標顏色的分布位置不影響目標顏色的識別，所以對于目標的變形問題有很強的抗干擾能力，且不依賴于背景顏色的布局，但在遮擋或目標顏色發生快速變化時，目標中心位置計算較差．

圖1 互補跟蹤

如圖1(a)，目標嚴重遮擋后，目標顏色缺失導致無法跟蹤．相關濾波算法充分利用了目標周圍區域的顏色布局，對目標遮擋和光線變化有較強的跟蹤魯棒性．因此，兩種算法在跟蹤過程中形成互補關系，在相關濾波計算目標中心位置可信度較低時，由顏色自適應的計算結果進行補充．如圖1(b)所示，可樂罐產生較大位移和旋轉變形后，相關濾波計算的響應圖對應的最大值點位置與實際目標中心點位置有偏差，而顏色自適應在目標變形情況下能準確提取目標顏色并計算中心位置．

1 相關濾波算法

本文的相關濾波跟蹤算法以STC算法[4]為基礎，跟蹤的核心是使用濾波模板L與當前幀跟蹤區域圖像Xt做卷積計算，得到跟蹤區域的相關性響應圖R，目標的中心位置即為響應圖的最大值處，然后更新濾波模板用于下一幀目標跟蹤計算．本文設置目標跟蹤區域為以目標及其周圍區域，大小為目標框的2倍．

若當前幀跟蹤區域為Xt，上一幀目標位置為Pt-1，當前幀濾波模板為L(Xt)，則當前幀目標位置Pt計算為：

(1)

其中，函數W的作用是以上一幀目標中心為圓心，裁剪跟蹤區域圖像，然后進行加窗處理，將離目標近的像素值賦較大權值，減少跟蹤區域的邊緣影響．加窗是把跟蹤區域的圖像灰度值I(x)投影到高斯核函數上，公式為：

(2)

其中，b為高斯函數的歸一化常數；σ為尺度參數；d為跟蹤區域的對角線長度．

跟蹤過程中目標的尺度是變化的，由于本文的相關濾波是基于高斯核函數，目標位置處在核函數的中心，目標的顏色分配較大的權值，當目標變大后，響應圖R的最大值也會變大，基于此特性設計尺度計算如下：

(3)

其中，max(Rt)為第t幀響應圖的最大值，ρ為尺度變化抑制常數，適當的取值有利于尺度穩定的變化．

核函數相關性響應圖R是以目標中心位置為中心的二維高斯函數，即為

(4)

其中，a為歸一化常數．

目標濾波模板L(Xt)是通過訓練得來，假設當前幀的濾波模板已知，則響應圖R的計算為：

(5)

其中，?是卷積計算．眾所周知，圖像卷積之后再進行傅里葉變換等價于先進行傅里葉變換，然后再進行對應像素的乘積，則上式可記為

(6)

其中，F代表快速傅里葉變換，⊙表示對應像素相乘．可以推導出濾波模板L為：

(7)

其中，F-1為傅里葉反變換．濾波模板是由每幀訓練更新得到，記為：

(8)

其中，α為濾波模板訓練速率．

2 顏色自適應算法

目標跟蹤過程中，最顯著的特征就是目標顏色，本文顏色自適應跟蹤算法就是在目標運動過程中，從變化的背景顏色和目標顏色中自適應提取目標的顏色，進而計算目標的中心位置．

假設目標區域圖像為Xm×n，跟蹤區域為目標及其周圍區域，大小為目標框2倍的區域，記為：T2m×2n．將跟蹤區域圖像RGB顏色矩陣數值分別映射到{1，…，16}整數區域，則顏色直方圖由16×16×16=4 096種顏色向量組成，計算為：

(9)

目標顏色和背景顏色分離是以當前幀目標顏色模板的顏色向量比重為計算依據，比重較大的顏色向量為跟蹤目標中較為突出的顏色．首先，統計跟蹤區域和目標區域周圍的背景區域RGB顏色向量直方圖；然后，用對數法計算當前幀目標顏色的主要成分，詳見公式(10)．顏色模板C16(Xt)的更新是提取每一幀目標主要顏色進行線性疊加，記為公式(11)：

(10)

(11)

其中，Ht和Hb分別是跟蹤區域顏色直方圖和背景區域的顏色直方圖；δ為目標顏色提取閾值常數，取值范圍為(0，1)，取值的大小決定了提取目標主要顏色向量的數量，λ為顏色模板更新速率，設置合適的更新速率抑制背景色在目標顏色模板中占據的比重．

將目標顏色模板C16中大于閾值τ的RGB顏色向量在跟蹤區域中用二值模式標注，目標顏色標注為1，背景顏色標注為0，記為：

(12)

目標中心位置計算采用均值漂移法[10]，設上一幀目標中心位置為Pt-1，當前幀跟蹤區域二值矩陣Mt．首先，中心點初值設為Pt-1．然后，把Mt投影到高斯核函數上，減少離中心點遠的坐標影響權重．最后，逐步迭代尋找下一個中心點位置，直到兩次中心點間距離小于一定閾值，公式如下：

(13)

其中，g為歸一化常數，⊙為二維矩陣的對應點相乘，式中與二值矩陣M相乘作用是將背景色權值都歸零．xj為M中每一點的坐標，n為M中像素的個數．

3 互補跟蹤實現

相關濾波與顏色自適應是由權值變量β來實現互補，β是根據相關濾波得到的高斯核函數響應圖R中數值計算得來．當跟蹤區域的背景色和目標顏色布局變化較小，跟蹤區域與濾波模板進行卷積產生的響應圖如圖2(a)所示，近似于高斯二維分布；若背景和目標顏色布局與濾波模板存儲的布局有較大差異，則響應圖和圖2(b)類似，分布雜亂沒有規則．

圖2 互補實現

以響應圖最大值點處為矩形框中心，矩形框大小為目標框的尺寸(如圖2(b)所示)，將響應圖內小于零的邊緣值置零，然后將數值進行歸一化，計算框內數值的和與響應圖數值和的比值V.若當前幀為第t幀，則β的計算公式見式(14)，實驗表明β取值主要介于0.6～0.9，β數值較小則相關濾波計算的目標中心位置可信度較低．通過顏色自適應計算的目標中心位置進行糾正，大大地降低了由于相關濾波算法的不足引起的中心位置漂移甚至跟丟．設顏色自適應計算目標中心位置為PCA，相關濾波計算目標中心位置為PCF，則最終位置P的計算見式(15)，直觀描述如圖2(c)所示．

(14)

(15)

4 實驗與結果分析

4.1 參數設置

為驗證本文跟蹤算法的有效性，進行了大量的跟蹤實驗．使用IntelPentiumB960CPU，主頻為2.2GHz，4GB內存配置電腦，在Matlab2009上運行，平均跟蹤速度達116 幀/秒．實驗過程中，算法的各個參數設置如下：式(2)中尺度參數初值設置為σ=1，式(3)中尺度變化抑制常數ρ=0.25，式(8)中濾波模板訓練速率α=0.1，式(10)目標顏色提取閾值δ=0.4，式(11)顏色模板學習速率λ=0.2，式(12)閾值τ=0.6．

為了充分說明本文算法在處理目標非剛性變形、背景干擾、局部遮擋及光照變化等方面的優勢，本文有針對性地選取了8段具有挑戰性的測試視頻．8段視頻及目標真實位置均來自www.visual-tracking.com． 挑選了近些年8種跟蹤算法及算法公開的跟蹤數據結果進行對比，算法分別是：CT[11]、DFT[12]、LSK[13]、LOT[14]、CXT[15]、BSBT[16]、VTD[17]、STC[4]．

4.2 定性對比

選擇的8段公開測試視頻片段中有遮擋(Coke，Girl，FaceOcc1和Walking)，光照變化(Coke，Trellis和MotorRolling)，旋轉(Girl和MotorRolling)，快速運動及模糊(Boy，MotorRolling和Deer)等問題，見圖3跟蹤截圖．對部分目標尺度較小的視頻，圖3中將顏色自適應算法提取的目標顏色顯示在圖的左上角．本文提出的CACF算法在這些視頻上均達到了較好的跟蹤效果，與8種對比算法跟蹤情況比較，說明該算法具有更強的跟蹤魯棒性．

圖3 跟蹤截圖

4.3 定量對比

從圖4中不同跟蹤算法重疊率計算對比可以看出，CACF算法在8段視頻的平均重疊率均處于較高水平，在FaceOcc1、Coke序列具有明顯跟蹤重疊率優勢，分析原因是CACF算法在目標顏色與背景顏色區別較大時跟蹤性能更突出．由表1目標跟蹤中心位置誤差可以看出，CACF算法中心位置計算平均上較其余8種跟蹤算法更為準確．

圖4 不同跟蹤算法重疊率對比

序列CTDFTLSKLOTCXTBSBTVTDSTCCACFBoy42.845.31180.6272.354.07209.368.1215.784.90Coke45.6256.1139.95144.2125.33379.7758.9414.449.68Girl17.7023.168.7322.926.7746.5111.388.244.56Deer243.55265.28177.0879.7023.99241.20212.8219.983.94Walking5.6682.314.233.47212.61361.155.4414.056.47Trellis41.2216.866.0352.3035.9777.0735.3926.219.20FaceOcc139.9527.2532.6234.2227.4562.2326.2818.2912.44MotorRolling161.89179.67171.12112.74141.62294.89162.6423.5220.69平均值73.6881.9977.5565.2459.73209.0265.1317.568.99

5 結 論

本文提出了顏色自適應與相關濾波兩種算法互補的目標跟蹤策略，彌補了相關濾波算法對跟蹤區域的顏色布局嚴重依賴的不足，能更好地應對目標變形和目標快速運動時背景色導致目標中心位置計算不穩定等問題．相關濾波對跟蹤區域背景顏色布局的利用能夠很好地處理遮擋問題和目標的顏色或光線變化問題，彌補了顏色自適應在這方面的不足．兩種算法利用相關濾波計算后的響應圖數值特征進行銜接，通過定性和定量的方式對本文方法進行驗證，本文方法平均跟蹤性能優于其他算法，在應對光照變化、遮擋、旋轉、快速運動及模糊等問題具有較強的魯棒性，而且跟蹤速度達到了實時性要求；同時發現，本文方法在處理光照變化和變形同時發生時效果不佳，兩種算法此時中心點位置計算都誤差較大，下一步擬通過對跟蹤區域提取紋理特征來改進本文算法的不足．

[1] Bolme D S, Beveridge J R, Draper B, et al. Visual Object Tracking Using Adaptive Correlation Filters[C]．Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 2544-2550．

[2] Henriques J F, Caseiro R, Martins P, et al. Exploiting the Circulant Structure of Tracking-by-detection with Kernels[M]．Computer Vision-ECCV 2012. Springer Berlin Heidelberg, 2012: 702-715．

[3] Henriques J F, Caseiro R, Martins P, et al. High-speed Tracking with Kernelized Correlation Filters[J]． Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2015, 37(3): 583-596．

[4] Zhang K, Zhang L, Liu Q, et al. Fast Visual Tracking Via Dense Spatio-temporal Context Learning[M]．Computer Vision-ECCV 2014. Springer International Publishing, 2014: 127-141．

[5] 余旺盛, 侯志強, 田孝華. 基于旋轉不變直方圖的快速匹配窮搜索[J]． 電子學報, 2012, 40(11):2177-2182．

[6] 馬 麗, 常發亮, 郭立智. 基于顏色直方圖匹配的非剛性目標跟蹤算法[J]． 青島理工大學學報, 2005, 26(5):79-83．

[7] 劉惟錦, 章毓晉. 基于Kalman濾波和邊緣直方圖的實時目標跟蹤[J]． 清華大學學報:自然科學版, 2008, 48(7):1104-1107．

[8] 薛 明. 基于稀疏表示的在線目標跟蹤研究[D]．上海：上海交通大學, 2014．

[9] 宋曉琳, 王文濤, 張偉偉. 基于LBP紋理和改進Camshift算子的車輛檢測與跟蹤[J]． 湖南大學學報:自然科學版, 2013, 40(8):52-57．

[10] 杜 凱. 基于均值偏移算法的運動目標跟蹤算法的研究[D]．西安：長安大學, 2012．

[11] Zhang K, Zhang L, Yang M H. Real-time Compressive Tracking[M]．Computer Vision-ECCV 2012. Springer Berlin Heidelberg, 2012: 864-877．

[12] Sevilla-Lara L, Learned-Miller E. Distribution Fields for Tracking[C]．Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 1910-1917．

[13] Liu B, Huang J, Yang L, et al. Robust Tracking Using Local Sparse Appearance Model and k-selection[C]．Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. IEEE, 2011: 1313-1320．

[14] Oron S, Bar-Hillel A, Levi D, et al. Locally Orderless Tracking[C]．Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 1940-1947．

[15] Dinh T B, Vo N, Medioni G. Context Tracker: Exploring Supporters and Distracters in Unconstrained Environments[C]．Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. IEEE, 2011: 1177-1184．

[16] Stalder S, Grabner H, Van Gool L. Beyond Semi-supervised Tracking: Tracking Should be as Simple as Detection, But Not Simpler than Recognition[C]．Computer Vision Workshops (ICCV Workshops), 2009 IEEE 12th International Conference on. IEEE, 2009: 1409-1416．

[17] Kwon J, Lee K M. Visual Tracking Decomposition[C]．Computer Vision and Pattern Recognition (CVPR), 2010 IEEE Conference on. IEEE, 2010: 1269-1276．

[責任編輯 張 莉]

Complementary Object Tracking with Color Adaptive and Correlation Filter

Wu Diyun Wu Zhengping

(College of Electrical Engineering & Renewable Energy, China Three Gorges Univ., Yichang 443002, China)

In light of that the problem of correlation filter algorithm depends strongly on the spatial color layout of the target and background in object tracking, also that are extremely sensitive to deformation, moreover,target central location calculation inaccurate due to background color layout changes, a combining color adaptive with correlation filter(CACF) complementary object tracking strategy is proposed. In tracking process,firstly,according to the pre-frame learned filter model and color model to get the central location from the two algorithms, and then to assign them weights according to the numeral proportion in responses map which is produced by correlation filter, finally, the tracking coordinate is obtained. Tracking experiments show that this paper proposed algorithm (CACF) has great robustness to various challenging situation, outperforms the recent years state-of-the-art algorithms, also has high tracking efficiency.

color adaptive； correlation filter； complementary tracking； object tracking； tracking algorithm

2016-11-22

國家自然科學基金項目(61272237)；湖北省教育廳科學技術研究計劃重點項目(D20151204)；湖北省創新群體項目(2015CFA025)

吳迪云(1989-)，男，碩士研究生，研究方向為模式識別、圖像處理．E-mail：wudiyun2009@qq.com

10.13393/j.cnki.issn.1672-948X.2017.03.021

TP391.41

A

1672-948X(2017)03-0093-06