結合多尺度改進顏色特征應對遮擋的跟蹤算法

李健寧，曹文君，劉曉利

(南京理工大學 瞬態物理重點實驗室， 南京 210094)

一直以來，基于相關濾波的跟蹤算法憑借其魯棒性強、計算量小、跟蹤速度快等特點，獲得了廣泛的關注及應用，在歷年來的視覺目標跟蹤挑戰賽中有著非常好的表現。

MOSSE算法[2]是最早將相關濾波算法應用于目標跟蹤中，提取圖像的灰度特征進行相關濾波等一系列操作，實現目標跟蹤，速度高達669 fps，在同期算法中遙遙領先，但是精度很低。CSK算法[3]是在MOSSE算法基礎上引用循環矩陣假設和核函數的思想，在同樣提取灰度特征的前提下，跟蹤效果卻有了顯著提高。KCF[4]在CSK的特征提取方面做了調整，提取圖像的HOG特征使得單通道的圖像特征擴展為多通道圖像特征，有利于跟蹤效果的提升。而CN[5]算法則是采用顏色特征代替灰度特征，結果顯示顏色特征可以為跟蹤算法帶來卓越的性能，但是應對目標遮擋時表現效果不佳。此外，以上算法均沒有解決目標尺度變化的問題，而DSST算法[6]在解決目標尺度變化問題時，采用的是將位置估計和尺度估計分開進行，先求最佳的位置，再求最佳的尺度，需要分兩步計算。

由于特征對于一個跟蹤系統來說至關重要，好的特征可以提高跟蹤系統的準確率，因此本文提出了融合圖像的顏色、HOG及灰度等多特征信息得到更具表現力的特征，增強跟蹤器的精度。其次，但目標出現部分遮擋，甚至完全遮擋時，CN算法的表現效果極為不佳，本文提出引入尺度金字塔的方法[7]，在目標被遮擋后再出現時可以多尺度搜索目標，同時做到尺度自適應。與DSST的區別在于，取得最大值的點對應的圖像即是位置最佳也是尺度最佳，實現尺度自適應跟蹤。通過多特征的融合和尺度池的引用來改進CN算法應對目標遮擋問題。通過在數據集OTB-13[8]上進行跟蹤實驗，實驗結果表明與一些傳統的跟蹤算法相比較，本文提出的改進算法在目標出現遮擋情況時跟蹤精度有明顯的提升。

1 CN相關濾波算法簡介

CN是基于顏色特征拓展的CSK分類器，結合光照信息和復雜的顏色特征可以提供非常好的表現。本文工作是基于CN基礎上，下面首先簡要介紹該算法。

1.1 CSK分類器

CN算法以CSK分類器為基礎，CSK是在一個單獨的圖像碎片中從目標中得到核心的最小方形分類器。CN算法使用了一個結構風險最小化的函數：

(1)

從式(1)可以看出，函數分為兩部分，第1部分是一個損失函數，損失函數里的f(x)就是最后要求的判別函數；而第2部分是一個結構化的懲罰因子。CN算法采用核函數的最小二乘法求解方程，公式如下：

(2)

1.2 低維度自適應顏色屬性

CN算法提出一種自適應維度減少的方法，能夠在存儲有用信息的同時大大減少顏色維數，從而有效提升算法的運行速度。降維方法使用的是PCA(主成分分析)中降維的思想，將11維特征降為2維。通過最小化代價函數，為當前幀p找到一個合適的降維映射，計算公式如下：

(3)

(4)

(5)

為獲得魯棒性好的映射矩陣，在式(3)中添加了平滑項如下：

(6)

2 多特征融合及尺度自適應的相關濾波跟蹤算法

以CN算法的不足和缺點做出以下改進。

2.1 多特征融合

CN跟蹤器在CSK跟蹤器基礎上聯合顏色特征(Color Name)[5]和灰度特征來描述目標，大量的實驗結果表明在背景復雜、目標旋轉、非剛性形變等情況下，顏色特征在視覺跟蹤中有著卓越的性能，但是當出現光照變化、目標遮擋或快速運動時，單獨的CN很難有效地判別出目標，跟蹤效果表現不佳。而HOG特征[9-10]恰恰彌補了CN的這個缺點，兩者互補，從不同方面對圖像進行表達。本文的多特征融合采用了一種簡單的矢量疊加方式，核相關公式如下：

(7)

(8)

式(7)中x是傳統算法中提取的單獨特征，而式(8)中xC是三種特征的融合，?表示卷積操作。

2.2 特征壓縮

特征的質量是影響跟蹤器效果的關鍵因素，而特征信息的大小對跟蹤器的速度也有著重要的影響。CN顏色特征與HOG梯度直方圖特征的融合雖在很大程度上改善了跟蹤器的性能，但是由于CN特征和HOG特征的維度過大，影響跟蹤算法的計算速度。因此需要對特征信息進行一定的壓縮降維操作。

本文采用PCA降維技術，通過線性變換將原始數據變為各維度都線性無關的表示，用于提取數據的主要特征成分。具體計算公式如1.2節中式(3)～式(6)。

2.3 尺度自適應

此外，CN算法無法應對目標出現遮擋和發生尺度變化，本文在目標搜索策略中引入尺度金字塔方法，使用雙線性插值擴展圖像的表示空間。在目標(ST=(Sx,Sy))附近多個尺度下提取候選區域的圖像特征，在比較的階段對當前候選區域的目標采樣了k個尺度(S={t1,t2,…,tk})的計算，與上一幀的目標進行比較，將響應圖中的最大值作為當前幀中的目標，以適應目標的尺度變化，計算方式如下：

(9)

其中，zti是tist尺度下的樣本。

濾波器更新方式如下：

(10)

2.4 算法流程

本文提出的算法流程具體描述如下：

1) 循環采樣k個尺度下目標樣本調整尺度以適應響應計算，根據公式(8)計算響應值；

2) 在7個尺度下選取最大響應值對應的目標最終位置和尺寸；

3) 根據最終的位置和尺寸得到最新的目標模板，計算濾波器模型；

4) 根據式(10)更新濾波器模型；

5) 使用更新后的濾波器模型進行下一幀的跟蹤。

輸出：目標的位置和尺度，濾波器模型。

3 實驗驗證與結果分析

本文提出的結合多尺度測量改進顏色特征應對目標遮擋的跟蹤算法根據權威評價指標在OTB標準數據集上驗證了算法的性能，OTB-13包含51個被標注的視頻序列，這些視頻序列又包含了11種不同挑戰因素。本文參考文獻中的OPE評價方法，對改進算法的各方面性能進行分析。

3.1 實驗環境及算法參數設置

本文改進的算法是在Matlab&Mex混合編譯環境下實現的，計算機的配置為Intel Core i5-4200U CPU@1.60 GHz。算法中融合了灰度特征，降維處理后的顏色特征和HOG特征，尺度池采用了7個尺度。改進算法中的主要參數設置如表1所示。

3.2 多特征融合及多尺度比較性能分析

為探究特征的融合及尺度的多樣性對跟蹤器性能的影響，實驗分析結果如表1所示。

表1 主要參數設置

如圖1所示，單獨使用灰度特征、單獨使用CN特征、結合CN特征和HOG特征、在多尺度下只結合灰度特征和CN特征以及本文提出方法的特征，結果表明本文提出的在多尺度下結合3種特征的方法，無論是綜合結果還是遮擋、旋轉、尺度變化和快速運動等情況，跟蹤效果都是最佳。

3.3 與CN跟蹤器的對比分析

選取7組視頻序列分別用改進的算法和CN算法進行跟蹤測試，影響因素及跟蹤效果如圖2所示。

通過下述7組視頻序列對改進算法進行定性分析，如圖2所示，Jogging-1_1序列受全部遮擋影響，發生完全遮擋時，兩個算法均停留在目標消失的位置，當目標再次出現時，CN算法仍停留在原處，而改進算法可以準確檢測到目標，繼續跟蹤。Trellis_1序列發生面外旋轉時，CN算法同時受復雜背景的影響，跟蹤漂移，而改進算法可以很好應對這些影響繼續跟蹤。Car4_1序列中，在跟蹤汽車行駛過程中，汽車存在尺度的變化，CN算法無法做到尺度的自適應且跟蹤偏離目標中心，改進算法能夠輕松適應尺度變化跟蹤目標。Woman_1序列存在部分超出視野，CN算法定位在視野邊緣，跟蹤失敗，改進算法可以有效跟蹤。Faceocc2_1序列中目標出現面內旋轉和遮擋，CN算法均偏移目標中心，改進算法能夠始終準確定位跟蹤。Fish_1序列中由于出現光照變化，CN算法發生漂移，改進算法卻很好的鎖定目標。Girl_1序列中包含面外旋轉和語義遮擋干擾，發生面外旋轉時，CN算法逐漸偏移目標中心，當出現語義遮擋時，CN算法無法捕捉目標，跟隨干擾目標偏移，而改進的算法自始至終能夠很好的捕捉跟蹤正確目標。

表2是分別對CN和改進算法的跟蹤結果。從表2實驗數據可以看出：無論是從中心距離精度、中心位置誤差還是重疊率的結果來看，改進算法都有著更高的性能。

3.4 與各主流跟蹤器的比較

本文使用統一的評價指標與其他5種主流的跟蹤算法進行了對比評價，算法中都使用了傳統的手工提取特征，這些算法包括CN、CSK、KCF、DSST、CT。

如圖3所示，在上述所有6種算法中，本文改進的算法NEW在數據集OTB-13上具有最好的性能。對OTB-13數據集中出現的遮擋、超出視野、快速運動轉等3種挑戰因素進行分析，可以看出：改進的算法NEW均能較好的應對，相比CN算法跟蹤效果有顯著提升。

圖1 OTB-13數據集跟蹤結果和4種挑戰環境下的結果

中心距離精度/%CN改進算法重疊率/%CN改進算法中心位置誤差(像素)CN改進算法Jogging-1_124.497.422.596.7100.07.25Trellis_179.4100.066.899.324.25.06Car4_120.6100.022.898.835.67.73Woman_125.093.824.388.8266.012.30Faceocc2_161.175.462.283.425.512.00Fish_139.9100.039.9100.037.66.66Girl_186.2100.052.898.411.64.13

圖3 OTB-13數據集跟蹤結果和3種挑戰環境下的結果比較

4 結論

本文在CN框架下，提出了一種結合尺度金字塔改進顏色特征應對目標遮擋的跟蹤算法。融合CN顏色特征，灰度特征和HOG梯度直方圖特征，結合尺度金字塔，探究特征和多尺度比較對跟蹤器在目標遮擋情況下的性能影響。多特征的融合可以更好地描述目標圖像信息，提高跟蹤器的精度和魯棒性，而多尺度比較可以實現在發生目標遮擋后在一定范圍內搜索目標，保證跟蹤效果。上述的實驗結果也表明，本文提出的算法在目標遮擋，超出視野，語義遮擋，面內旋轉，面外旋轉，尺度變化以及形變等情況下，都保持較高的性能和良好的魯棒性，具有重要的理論和應用研究價值。