采用高效卷積算子的長期目標追蹤算法

李國友，張鳳煦，紀執安

(燕山大學 工業計算機控制工程河北省重點實驗室，河北 秦皇島 066004) E-mail：1097089954@qq.com

1 引 言

目標跟蹤是計算機視覺的重要組成部分之一，它在視頻監控、導彈制導、智能交通、智能視覺導航等領域都有著廣泛的應用前景[1].目標跟蹤是使用視頻序列初始幀給定的目標位置和尺寸，通過一定算法，判斷每一幀視頻序列中的目標位置和尺寸.影響追蹤的精度的主要因素有遮擋、形變、快速移動、光照變化、以及相似目標干擾等[2].因此，建立一個穩定有效的跟蹤系統才能應對這些問題.

目標跟蹤算法大體分為三個步驟：目標的外觀模型的建立、搜索機制和模型的更新策略[3].外觀模型的建立就是利用特征描述目標的過程，搜索機制是對候選區域的搜索，模型的更新策略是在當前幀確定目標之后，對目標的外觀做出調整，以適應新的環境.2010年以前，目標跟蹤領域主要使用一些經典的跟蹤方法，如Meanshift[4]和Kalman Filter[5]等.2010年，Bolme D S等人[6]首次將相關濾波器引入追蹤領域.近年來視覺目標跟蹤技術取得了很大的進步，涌現出更多優秀的跟蹤算法.Henriques等人[7]在KCF(Kernelized Correlation Filters)算法中，利用循環矩陣在傅里葉空間可對角化的性質，將矩陣的運算轉化為向量的點積，大大地提高了運算速度.Danelljan M等人[8]利用訓練樣本集的插值模型，提出了一種在連續空間域學習卷積的新方法(Learning Continuous Convolution Operators for Visual Tracking，C-COT)，將DCF(Discriminative Correlation Filters)[9]中的單分辨率特征映射轉換為多分辨率特征映射，使不同分辨率的卷積層完美融合.之后Danelljan M等人[10]提出的ECO(Efficient Convolution Operators for Tracking)算法在特征提取上將C-COT做了簡化，使運算效率明顯提高.并簡化了訓練集和模型更新策略，防止目標在更新過程中發生過擬合.

近年來追蹤算法有了各種改進方法[11]，但對于目標嚴重遮擋、丟失及出視野的情況處理方法依然不理想.當目標不在檢測區域時繼續按照正常情況時的方法進行追蹤，勢必會對目標模型造成污染.因此當目標再次出現時，難以用模型對目標進行匹配.長期跟蹤算法TLD(Tracking Learning Detection)[12]采用對視頻序列的每幀圖像都執行重檢測的策略，能進行長期跟蹤，但運算效率低下.

針對以上問題，本文在ECO算法基礎上，引用一種檢測機制，當檢測到目標遮擋時停止對目標尺度的更新，檢測到丟失時停止對目標模型的更新.利用最佳伙伴相似度(Best-Buddies Similarity for Robust Template Matching，BBS)[13]設計出在線重定位模塊，當目標遮擋或丟失后，重新定位目標位置.本文采用OTB-2015數據集[14]評估改進后算法的性能，改進后算法的精確度和成功率分別為0.879和0.799，相比傳統的ECO算法分別提高4.1%和3.6%.

2 ECO追蹤算法

ECO算法提出了因式分解卷積操作，減少DCF的參數，提高了運算效率.ECO采用高斯混合模型來生成不同的模型組件，防止目標出現過擬合.同時降低模型更新頻率，節約了時間，避免了模型的漂移問題.

2.1 多分辨率特征

(1)

式中，bd是一個周期為T>0的插值核，結果Jd{xd}是一個插值特征層，為連續周期函數.當J{x}(t)∈RD時，使用J{x}表示整個插值特性映射.

訓練一個連續的T周期多通道卷積濾波器f=(f1…fD)，用來預測檢測分數Sf{x}(t)：

(2)

(3)

2.2 映像卷積算子

=f*PTJ{x}

(4)

(5)

式中，加入P的弗羅比尼烏斯(Frobenius)范數作為正則化，權重λ為正則化系數.

(6)

將一階近似式(6)代入(5)中，得到迭代i處的高斯-牛頓子問題，

(7)

2.3 生成樣本空間模型

基于樣本特征映射x的聯合概率分布p(x，y)和相應的期望輸出分數y.在給定p(x，y)的情況下，直觀的目標是找到使期望的相關誤差最小化的濾波器，

(8)

使用Declercq和Piater對在線算法進行簡化.給定一個新樣本xj，初始化一個新的組件πm=γ和μm=xj.當組件的數量超過極限L時，如果存在權重πl低于閾值的組件，則丟棄這個組件.否則，將兩個最接近的分量k和l合并成一個共同的分量n.

(9)

所需的距離比較‖μk-μl‖有效地計算在傅里葉域中使用Parseval公式.最后，期望損失函數(8)近似為：

(10)

式中，樣本數量從M減少到L.用投影樣本PTJx代替樣本x.矩陣P在第一幀之后是常數.

3 ECO長期跟蹤算法

ECO主要是解決模型過大的問題，簡化了訓練集，同時改變了模型更新策略，防止模型出現過擬合.然而，傳統的ECO算法沒有遮擋檢測機制，當目標遮擋丟失后，繼續對目標進行追蹤和尺度的更新.這樣使分類器模型誤差累計，導致當目標再次出現時難以確定目標的位置.本文引用一種遮擋檢測機制，當檢測到目標受遮擋時停止對模型和目標尺度的更新.當目標丟失后，通過融合空間權重、目標檢測得分和最佳伙伴相似性得分來估計候選目標位置，解決遮擋或丟失情況下的目標重定位問題.

3.1 遮擋檢測算法

遮擋檢測是判斷目標是否遮擋，是對遮擋目標模型更新和尺度變化進行調整的基礎，根據濾波響應得分Sf{μ}的分布，本文提出遮擋檢測算法.假設目標受遮擋的過程是在原來的目標區域之上疊加了一個服從高斯分布的噪聲[15]，由于受到遮擋的區域與未遮擋區域同樣進行特征提取操作，遮擋區域特征在與濾波器模型參數作卷積時，響應得分Sf{μ}在極大值周圍點有所提升，使響應分布方差變大.因此，當目標無遮擋時Sf{μ}的響應分布比較均勻，能夠明確確定最大相應的位置，如圖1所示.目標受遮擋時響應分布比較雜亂，最大響應位置不明顯，如圖2所示.

圖1 遮擋時響應得分圖Fig.1 Response score when occlusion圖2 未遮擋時響應得分Fig.2 Response score when occlusion

對于M×N的目標檢測區域，根據遮擋時的響應得分函數中的較大響應，引入遮擋閾值λ1和面積因子λ2.求出所有滿足Sfij>λ1Sfmax的位置坐標posij，根據posij和posmax的歐氏距離得出，

(11)

式中，Sfij/Sfmax是對‖posij-posmax‖的距離加權.響應得分值越大的位置對目標位置確定的影響越大，故權值越大.

由此得出遮擋判別準則為，

(12)

圖3 遮擋檢測算法流程Fig.3 Occlusion detection algorithm process

其中C=1表示目標受遮擋，C=0表示未遮擋.具體算法流程如圖3所示.

3.2 最佳伙伴相似度的模板匹配

(13)

式中，NN(ti，O)=argminoj∈Od(ti，oj)表示點集O中ti的最近鄰.

BBS是兩個集合之間最佳伙伴對的占比，定義為，

(14)

式中，H和J分別為點集T和O的大小，BBS(T，O)是目標模板在搜索區域的目標最佳伙伴似然概率圖，BBS(T，O)越大，目標在搜索區域相似性越高，候選目標區域O屬于目標區域的可能性越大.

3.3 追蹤目標可靠性與重定位

當追蹤到當前幀目標的位置和尺寸時，通過目標置信度判斷跟蹤目標的可靠性，其目標置信度判別為：

Pt=e-η‖xt-xt-τ‖2

(15)

式中，Pt為目標外觀模型置信度，η表示懲罰權重，xt為當前幀外觀模型，當追蹤到第NS幀前xt-τ為目標的首幀目標外觀模型，追蹤到第N幀后，xt-τ前NS幀可靠目標中外觀置信度最大幀的目標外觀模型.由此得出目標的追蹤可靠性為，

(16)

其中，γ=1表示目標可靠，γ=0表示目標不可靠，θ為外觀模型置信度閾值.

(17)

3.4 模型和尺度的更新

ECO使用稀疏更新方案[10]，而不是每一幀都以連續的方式更新模型，參數NS決定了過濾器更新的頻率.當追蹤目標位置不可靠時，如果繼續對模型進行更新，勢必會降低模型的準確性.故本文采用可靠性校正的稀疏更新方案，對不可靠的目標不計入更新模型數目中，即當經過NS幀可靠目標后，才會對模型進行更新.

圖4 算法流程圖Fig.4 Algorithm flow chart

當目標遮擋和出視野時，尺度上的變化無法估計，因此，當檢測到遮擋或出視野時，將停止對跟蹤目標在尺度空間上的估計.

4 實驗結果與分析

本實驗的硬件環境為：內存為8GB，Inter(R)Core(TM) i5-44600(3.20Hhz)的CPU，Windows10專業版64位操作系統的臺式機，使用了Matlab2016b作為軟件平臺.本文算法的實驗參數為：遮擋閾值λ1=0.38、面積因子λ2=0.05、模型更新參數NS=5，丟失判斷不可靠目標數Nt=10，懲罰因子η為0.05，外觀模型置信度閾值θ為0.5，候選目標個數k大小設置為10，搜索目標區域為正方形區域，其他參數與ECO原文保持一致.

4.1 定量分析

本實驗采用了OTB-2015[14]中的精確度圖(Precision Plot)和成功率圖(Success Plot)兩種評價方法作為定量評價指標.精確度圖為跟蹤目標中心位置誤差CLE小于20個像素的幀數占總跟蹤幀數的百分比；成功率圖為重疊率OR大于給定閾值R0=0.5的幀數占跟蹤序列總幀數的百分比.中心位置誤差和重疊率的定義分別為，

(18)

(19)

本實驗采用精確度圖和成功率圖的一次通過評估(One-PassEvaluation，OPE)方法評估改進后算法性能.利用OTB-2015數據集提供的29種算法和KCF[7]、ECO[10]、TLD[12]、DSST(DiscriminativeScaleSpaceTracking)、fDSST(FastDiscriminativeScaleSpaceTracker)[17]、CN(ColorNames)[18]、Staple(SumofTemplateAndPixel-wiseLEarners)[19]、LCT(Long-termCorrelationTracking)[20]等37個跟蹤算法進行性能比較.為便于觀察，本文僅在精度圖和成功率圖上顯示前10種跟蹤算法的結果.

圖5 OPE精確度圖和成功率圖Fig.5 Precision and Success plot of OPE

圖5是10種排名靠前的算法在100組視頻上的總精確度圖和成功率圖，從圖5中看出改進的算法的精確度和成功率分別為87.9%和79.9%，相對于ECO的83.8%和76.3%分別提高了4.1%和3.6%，改進的ECO算法在37種算中精確度和成功率排名第一.

表1 9種算法平均重疊率、中心位置誤差和速度Table 1 OR，CLE and fps of 9 tracking algorithms

表1列出了本文算法與排名靠前的9種算法的平均重疊率、中心位置誤差和速度比較結果.通過和原始ECO算法對比，速度下降了3.9fps，平均重疊率和中心位置誤差分別提高了3%和7.6pix.改進的ECO算法在100組視頻序列中平均速度為46.5fps，滿足算法實時性要求.因此，本文算法引入的遮擋檢測機制和重檢測模塊能很好的解決目標遮擋和出視野情況下造成的跟蹤失敗問題，提高了目標跟蹤精度，使目標跟蹤算法具有更高的魯棒性.

4.2 定性分析

圖6展示了8種不同算法在測試集上的跟蹤結果，其中包含的挑戰因素有遮擋、出視野、尺度變化、快速移動、運動模糊等挑戰因素.本節定性地對比分析算法在不同場景中的跟蹤效果.

4.2.1 抗遮擋能力

jogging-2序列顯示了改進后算法的抗遮擋能力，目標在跟蹤過程中被遮擋，基于相關濾波技術的KCF等算法在第65幀左右發生漂移，DSST算法追蹤精度有所下降.ECO算法跟蹤效果較好，只有本文算在給出目標位置估計的同時對目標尺寸進行自適應更新.

4.2.2 出視野重定位

長期跟蹤算法在具有超出視野因素的數據集上代表性跟蹤結果.在數據集Bird1中，目標經歷了完全遮擋并在視野中消失超出視野(128-186幀)、且外觀變化嚴重，ECO算法在第128幀之后就一直跟蹤失敗.在第186幀目標重新回到視野中，由于加入重定位組件，能夠重新確定目標的位置，繼續進行追蹤.由于ECO算法沒有重定位模塊，當目標超出視野一段時間后再次返回視野時，無法重新定位目標的位置而跟蹤失敗.

圖6 8種算法不同測試視頻上的部分跟蹤結果Fig.6 Partial tracking results on video of 8 different algorithms

4.2.3 其他挑戰因素下的魯棒性

由于本文算法改變了外觀模型和尺度模型更新策略，在尺度變化、快速移動、運動模糊等挑戰因素下的魯棒性均有所提高.以Trellis序列為例，第20幀以前各算法均有較高魯棒性，87幀以后KCF和DSST算法尺度精度下降，393幀以后隨著目標人物臉的角度發生變化，Struct和TLD發生漂移，403幀以后，只有本文算法與Staple算法能正確追蹤目標位置，其中本文算法追蹤精度最大.

5 結 論

針對ECO算法不能處理目標追蹤過程中的嚴重遮擋及目標出視野問題，本文首先利用檢測得分函數和高斯噪聲的特點通過簡單有效的計算獲取目標遮擋狀態，解決了遮擋判別問題，然后利用外觀模型置信度判斷目標的可靠性，減少了不確定目標對模型的污染.當目標長期遮擋或者丟失時，利用融合空間權重、濾波響應得分和最佳伙伴相似性得分來重定位目標位置，實現長期追蹤.在OTB-2015數據集上評估本文算法的性能，通過定性和定量的分析，本文算法性能相對于傳統ECO算法有了明顯的提高.因此改進的算法能有效地解決目標遮擋和出視野情況下的目標跟蹤問題，實現長期跟蹤.