基于直方圖得分和模板更新得分的實時目標跟蹤

李 靜 肖春華

1(重慶工程學院科技處 重慶 400056)2(重慶市數字影視與新媒體工程技術研究中心 重慶 400056)3(重慶大學計算機學院 重慶 400044)

0 引 言

目標跟蹤是機器視覺領域熱門的基礎性研究課題[1]。在安防、軍事偵察、無人機等眾多高新領域應用廣泛。目前，目標跟蹤的難點和挑戰是如何較好地解決目標的形態變化、不準確預測造成的飄移現象、低分辨率的目標識別、多目標的遮擋和身份切換等問題[2-3]。

在已有的研究成果中，跟蹤算法按照不同策略，可以分為基于學習的算法、基于濾波的算法和多跟蹤器模式。基于學習的算法是一種自適應方法，即在線學習模式。如Struck[4]是一個性能較好、結構簡單的在線目標檢測與跟蹤算法，該算法旨在將目標定位的結構化輸出最小化，但較高的計算量限制了特征和訓練樣本的數量。文獻[5]提出基于HOG在線多實例學習的目標跟蹤算法，該算法采用HOG特征值提取方式，結合在線多實例學習技術，其適合于目標平移、旋轉和遮擋等情況下的跟蹤。

TLD(Tracking Learning Detection)算法[6]采用NP學習方法對訓練出現的正負樣本進行分類和糾錯，通過修改訓練策略提高預測的準確性，減少了目標漂移的可能性。文獻[7]將協同訓練應用到跟蹤中，對兩個獨立的、使用了不同特征的支持向量機進行學習，隨后從合并的分數中得出硬性否定。

基于濾波的跟蹤大多會局限于對一個剛性模板的學習[8]。當目標發生形狀變化時，跟蹤會變得很困難，解決思路是采用一個對形狀變化不敏感的表征形式，如KCF方法[9]。一般可以將直方圖與相關濾波器正交，但僅靠直方圖通常無法有效表征目標，為此，文獻[10]對來自每個像素的投票進行累加，使用投票后得分最高的位置像素來估計目標的范圍。但是，這類方法并不具有普遍適用性，假設條件較多。

對于一些特殊形式的運動方式，需要對跟蹤形式進行改進。例如針對低秩假設的粒子濾波跟蹤器難以跟蹤突然運動目標的局限性，文獻[11]提出時間受限的反向低秩視覺跟蹤算法，利用反向低秩模型表示目標模板和背景模板，并利用混合范數進行局部約束，以保證目標外觀的局部一致性，以及相鄰幀之間的突然變化。

為了降低預測不準確性，一般可以結合多個估計手段，使跟蹤器的弱點得到補償。如文獻[12]提出一種低復雜度交互式多模型濾波器，該跟蹤算法組合了一些交互式濾波器，并且利用了整個濾波器組的卡爾曼濾波增益矩陣。文獻[13]使用隱馬爾科夫模型HMM(Hidden Markov Model)對目標軌跡以及不同時刻的跟蹤器可靠性進行建模。但這類方法缺點是各跟蹤器的復雜度和兼容性需要統籌考慮。

本文主要創新之處是所提跟蹤器結合了兩方面的得分：目標模板得分和直方圖得分，建立線性組合模型。這兩方面具備一些重要屬性，即：得分在量值上具有相似性，可靠性較高，且目標的位置預測由置信度更高的一方所主導。這樣使得跟蹤器對互補性要素具有敏感性，對局部變化不敏感，所學習的模型對顏色變化和形變均具有一定的魯棒性。另外，為保持實時的處理速度，本文還利用了每個圖像塊表示內在結構，并將其作為兩個獨立的嶺回歸框架[14]進行求解。實驗結果驗證了所提方法的優越性。

1 模型說明

本文目標跟蹤采用了基于檢測的跟蹤范式，即：在幀t中，從集合St選出目標在圖像xt中矩形跟蹤框的位置得分pt：

pt=arg maxp∈Stf(T(xt,p);θt-1)

(1)

θt=arg minθ∈Q{L(θ;Xt)+λR(θ)}

(2)

式中：Q為參數θ的空間表示，本文使用正則化項R(θ)限制模型的復雜度，以防止過擬合。

式(1)中得分函數f(x)定義為模板(tmp)和直方圖(hist)得分的一個線性組合：

f(x)=γtmp1ftmp1(x)+γhistfhist(x)

(3)

為了在滑動窗口的搜索中，高效計算得分函數，窗口圖像特征共享重疊窗口，模板得分使用卷積快速計算，直方圖得分通過單積分圖計算獲得。

在理想情況下，每幀圖像訓練損失函數的形式為：

(x,p,θ)=d(p,arg maxq∈Sf(T(x,q);θ))

(4)

式中:d(p,q)定義為：當正確矩形框為p時選擇矩形框q的代價。雖然該函數是一個非凸性函數，但可使用結構化輸出學習對目標的界限進行優化。然而，該優化的缺點在于計算成本很高，限制了可用特征和訓練樣本的數量。相比之下，相關濾波器采用了簡單的最小二乘原理，可通過將特征圖像的循環位移作為樣本，使用較高維特征表示，從一個相對數量較大的訓練樣本中學習。該方法在跟蹤中效果較好，同時保持了較高的運行速率。

因此，為了保持相關濾波器的速度和有效性，同時不忽略直方圖得分所捕獲到的信息，本文通過求解兩個獨立的嶺回歸問題學習所提模型，即：

(5)

式中:參數h可以使用相關性濾波公式快速得出。最后，選取兩個模型得分的凸組合，設γtmp1=1-α，γhist=α，其中因子α是在驗證集上選擇的參數。以上兩個模型得分函數的參數都將得到優化，目標的分數分配為1，其他窗口的分數分配為0。所提模型的總體示意圖如圖1所示。

圖1 所提模型的總體示意圖

2 優化與學習過程

2.1 在線最小二乘優化

本文采用最小二乘和二次正則算子有兩個好處：1) 在閉合形式中得到解；2) 內存要求不會隨樣本數量的增加而增加。如果L(θ;X)是得分f(x;θ)的一個凸二次函數，而f(x;θ)在模型參數θ中是線性的(以保持凸性)，那么則會存在著一個矩陣At和一個向量bt，使得：

(6)

而無論Xt的大小如何，都足以確定解θt=(At+λt)-1bt。

如果采用一個遞歸定義的損失函數：

L(θ;X)=(1-η)L(θ;Xt-1)+η(xt,pt,θ)

(7)

式中:η為自適應率，則可維持：

(8)

(9)

2.2 對模板得分進行學習

在最小二乘相關濾波中，每幀圖像損失為：

(10)

(11)

在實踐中，本文沒有對式(11)進行計算，而是采用了尺度估計的相關濾波器[15]進行近似。

模板在線更新表示為：

(12)

2.3 對直方圖得分進行學習

理想情況下，直方圖得分應該學習來自于每個圖像的一個樣本集合，其中包括作為一個正例的正確位置。設W表示矩形窗q和與之相對應的回歸目標y∈的一個成對集合(q,y)，包括正例(p,1)。則每幀圖像的損失為：

(13)

通過對一個M×M的方程組進行求解，得出M-通道特征變換ψ的解，求解該方程組的內存需求為O(M2)，時間需求為O(M3)。如果特征的數量較大，則上述方法不可行。雖然存在著其他的迭代方法對矩陣進行分解[10]，例如坐標下降法、共軛梯度和雙坐標下降，但是僅靠這些方法依然難以實現較高的幀速率。

本文提出了形式的特征為ψ[u]=ek[u]，式中的向量e在下標為i時等于1，其他情況下則等于0。考慮的特征為量化的RGB顏色特征，直方圖得分可被視為一個平均投票。因此，為了提高效率，本文建議將線性回歸獨立的應用到目標O和背景區域B∈2的每個特征像素，使用每幀圖像目標:

(14)

式中:ψ為ψT(x,p)的簡寫。引入one-hot假設，目標分解為每特征維數獨立項：

(15)

式中：Nj(A)=|{u∈A:k[u]=j|是?T(x,p)的區域A中的像素數量，特征j為非零k[u]=j。則相關聯的嶺回歸問題的解為：

(16)

對于每個特征維數j=1,2,…,M，其中ρj(A)=Nj(A)/|A|為一個區域中j為非零的像素比例。本文對模型參數進行更新:

(17)

式中:ρt(A)是ρjt(A)的向量，j=1,2,…,M。

3 實驗與分析

本文在視頻集VOT-14[2]和OTB-100[16]上對所提跟蹤器和其他方法進行了比較，實驗中所使用的重要參數如表1所示。

表1 本文實驗中所采用的參數列表

3.1 VOT-14視頻集

從VOT-14視頻集的394個視頻中選擇25個序列，以代表相機運動、遮擋、光照變化、尺寸和運動，并在選出的序列上對跟蹤器進行性能比較，該部分列舉了有代表性8個視頻的跟蹤結果。比較的跟蹤有文獻[4]提出的Struck跟蹤器，文獻[5]提出的多實例學習的HOG跟蹤方法，經典的TLD跟蹤器[6]，以及改進的KCF跟蹤器[9]。

使用的評價指標如下所示：

3) 跟蹤器的魯棒性為其在視頻中失敗的次數。當St變成零時，則判定出現了一次跟蹤失敗。由于該基準著眼于短時間跟蹤，一個跟蹤器在出現跟蹤失敗后，會在5幀之后被自動重新初始化到地面位置。

各跟蹤器對各視頻序列的平均每幀重疊結果如表2所示，平均重疊值越大，其對應的跟蹤器越優，每一行的最優結果加粗顯示。可以看出本文方法在大多數情況下，其重疊均達到最大。即使在次優情況下，也與最優相差不多。在地鐵視頻中表現不佳，可能是由于矩形包圍框的中心位置造成的。不同跟蹤器對包圍柜中心誤差的比較如表3所示。可以看出，本文方法的中心誤差最低，跟蹤的中心位置把握得更準確。25個視頻的綜合評價結果如表4所示。可以看出，本文方法的平均重疊更大，跟蹤失敗次數更少，綜合評價得分最高。

表2 各跟蹤器對視頻序列的重疊值

表3 各跟蹤器對視頻序列的中心誤差

表4 25個視頻序列中的綜合排名結果

為了研究形變對跟蹤器的影響，選擇一些形體不停發生變換的視頻，如做復雜動作的運動員視頻，如圖2所示。其中第一行是多實例HOG方法的跟蹤結果，第二行是改進KCF方法的跟蹤結果，第三行是本文方法的結果。可以看出，本文方法在運動員的運動過程均得到了良好的跟蹤。多實例HOG方法和KCF方法受到背景顏色的嚴重干擾，同時由于形變造成模板特征發生了較大變化，而本文方法充分利用目標模板和直方圖得分的互補性對形變和背景具有較好魯棒性。

圖2 運動員視頻中外觀變化實驗

為了研究光照變化對跟蹤器的影響，選取了David視頻中明暗變化的序列部分，該部分伴有較小形變過程，如圖3所示。比較的方法與圖2外觀變化實驗相同。可以看出多實例HOG和改進KCF方法由于更新誤差積累導致了目標漂移，而本文方法對光照變化具有較好的魯棒性。一般來說，基于相關濾波的跟蹤器在應對運動、光照和尺度等變化時具有一定的魯棒性，但局限于剛性模板的學習，當目標在一個視頻序列中發生形變時，該類跟蹤器會表現不佳。在所用特征中，顏色直方圖會丟棄每個像素的位置信息，對形狀變化具備魯棒性，但不能很好地應對光照變化，且當顏色辨識度不高時通常無法有效地從背景中辨識。鑒于直方圖和模板所具備的互補性，本文結合兩個圖像分塊表示，對形狀和顏色均具備魯棒性。

圖3 David視頻序列中光照變化實驗

3.2 OTB-100視頻集

與VOT-14基準一樣，OTB-100[16]的理念是在準確度和失敗的魯棒性兩方面對跟蹤器的性能進行評價，OTB-100視頻集已經成為目標跟蹤數據集的一個標準。準確度通過預測跟蹤器的矩形包圍框和實際情況的交集與并集之比進行度量。但用到了一個閾值to，當該比值高于閾值to時，則檢測到一次成功的跟蹤。為了不將該閾值設為一個特定數值，在成功率曲線下方處于不同數值的to區域作為一次最后得分，采用空間魯棒性評價和時序魯棒性評價評估跟蹤器[16]。

本文使用了與VOT-14中相同的代碼和參數進行測試，結果如圖4和圖5所示，可以看出，本文方法在成功率方面更優，總體上優于其他方法。其中，多實例學習的HOG整體比較差，鑒于該方法使用相關濾波器學習一個顏色模板，因此，本文方法的優越性表明，通過結合模板和直方圖得分所實現的性能改善，不能單一地歸功于對顏色的引入。

圖4 時序魯棒性評價

圖5 空間魯棒性評價

3.3 效 率

本文采用MATLAB和C混合編程，在配置了Intel Core i5-4790K @8.0 GHz的臺式計算機上以每秒大約80幀的速率運行。但是，通過對模型計算出的分塊尺寸進行調節，可以犧牲較小的性能，以實現一個較高的幀速率。例如使用HOG的單元格尺寸為2×2，失敗次數的增加較少，而速率則超過了每秒100幀。

3.4 學習率實驗

本文分別將學習率ηtmp1和ηhist用于模板和直方圖模型更新，以確定從之前幀中得到的舊證據替換為當前幀中得到的新證據。一般情況下，學習率越低，則從先前幀中學習到的模型實例相關性越高。實驗結果表明，ηtmp1和ηhist均大約為0.01，可以達到最大程度的魯棒性。

3.5 因子α的影響

本文方法的準確度(平均重疊值)受因子α的影響較大，其具體情形如圖6所示，而式(3)中的γtmp1和γhist由α控制：在α=0.3附近，本文方法的性能最優。魯棒性遵循類似的趨勢。另外，圖6還說明了對兩個嶺回歸問題的密集響應進行合并的策略所達到的性能顯著優于僅對最終估計進行插值的策略，即：具有相容且互補的密集響應模型能夠獲得較優的結果。

圖6 平均重疊值與因子α的關系

4 結 語

本文在嶺回歸框架下，對模板和直方圖得分進行獨立學習，并將兩者進行線性組合，以實現在實時跟蹤的基礎上對顏色、形變和光照變化的魯棒性。實驗結果表明提出的跟蹤器性能優于其他跟蹤器，且計算量需求較低。

未來將考慮多個獨立跟蹤器進行多目標跟蹤，同時也會考慮多目標跟蹤中的挑戰性問題，如身份切換和目標函數收斂等問題。