融合背景圖像信息和多特征壓縮的相關濾波跟蹤算法

謝雨霏，楊新民，劉曉利，王勝紅

（1.南京理工大學瞬態物理國家重點實驗室，南京210094；2.淮海工業集團有限公司，長治046000）

0 引言

相關濾波類算法因兼具魯棒性好、計算量少的特點，在被廣泛關注的同時，也在歷屆視覺目標跟蹤（Visual Object Tracking，VOT）挑戰賽［1］中有著令人驚艷的表現。

最早將相關濾波用于目標跟蹤的是MOSSE算法［2］，該算法采用灰度特征，跟蹤速度高達669fps，遠遠超出了其他算法。CSK［3］在MOSSE的基礎上引入了循環矩陣和核函數的概念，該算法雖然也使用灰度特征，但跟蹤效果比MOSSE更勝一籌。KCF［4］采用HOG特征，將CSK算法的圖像特征通道從單通道擴展為多通道。CN［5］在CSK算法的基礎上使用顏色特征替換了灰度特征，并改進了CSK算法的更新機制。DSST［6］主要解決了目標在跟蹤過程中的尺度變化問題，可使算法較好地應對目標尺度變化。LCT［7］借鑒了TLD算法中的隨機厥分類器，增加了置信度濾波器，能夠較好地解決目標遮擋問題。

但是，目前已提出的大部分基于相關濾波的跟蹤算法大多忽略了背景圖像信息，而背景圖像信息在先驗知識的獲取、跟蹤精度的提高等方面均起著十分重要的作用。為充分利用目標背景圖像信息，本文在DSST跟蹤器的基礎上，提出了一種融合背景圖像信息的多特征壓縮跟蹤算法。在數據集 OTB?13［8］上進行的跟蹤實驗結果表明，相對于一些傳統跟蹤算法，本文提出的改進算法在跟蹤精度上有了較大的提高。

1 DSST相關濾波算法簡介

DSST是一種可以進行自適應尺度變換的相關濾波類算法，其包括位置濾波器算法和尺度濾波器算法。由于本文工作主要建立在DSST基礎之上，因此首先對該算法做出簡要介紹。

1.1 位置濾波器

多通道特征的相關濾波器將t幀提取的圖像塊a0設為d維特征向量，al代表第l維特征，l∈｛1，…，d｝。通過建立最小化代價函數構造最優相關濾波器ht，每個特征維度包含1個濾波器hl。

式（1）可根據 Parseval定理推導得出。其中，?代表循環運算；hl、al、g均為M×N的矩陣，g為訓練樣本a的期望輸出；λ1為正則項系數，用來消除樣本頻譜中零頻分量的影響，避免式（1）的解出現零分子。

使用式（5）計算（t+1）幀的矩形圖像塊z的響應得分y，目標位置p可以通過求解相關濾波器的最大響應值得到

1.2 尺度濾波器

DSST算法建立了一維獨立的相關濾波器，作為尺度搜索和目標估計的方法。首先以目標位置p為中心，在周圍M×N的矩形區域計算一個特征金字塔，然后使用式（3）、式（4）更新尺度空間跟蹤過濾器st。濾波器的大小為M×N×S，M和N分別代表濾波器的高度和寬度，S代表尺度變換的數量。

2 融合背景圖像信息和多特征壓縮的相關濾波跟蹤算法

在此簡述DSST算法的不足和相應的改進方法。

2.1 背景圖像信息融合

相關濾波類跟蹤算法背景圖像信息利用率低，主要是由兩方面因素導致的，為避免跟蹤結果出現漂移，搜索范圍只有上一幀目標大小的2倍，能利用的背景圖像信息很少。為了抑制邊界效應而添加的余弦窗，使得背景圖像信息再度減少。因此，在面對目標快速運動、遮擋或背景模糊等復雜情況時，相關濾波類算法的跟蹤效果并不理想。為了更充分地利用背景圖像信息，提高跟蹤精度，本文借鑒上下文感知相關濾波器的跟蹤算法［9］，以目標為中心，將周圍的背景圖像信息融入位置濾波器。通過在位置濾波器中添加背景圖像信息，可以削弱背景圖像信息對濾波器的干擾，進而提高跟蹤精度。

在t幀時刻，提取目標a0∈Rn周圍的背景圖像塊ai∈Rn。 此時，新的位置濾波器需滿足式（7）

式（8）中，A0∈Rn×n和Ai∈Rn×n分別為a0、ai循環矩陣的形式，k為加入的背景圖像塊的個數，λ2為對所有背景塊加以約束使其歸零的正則項。其余部分（如目標檢測）與原DSST跟蹤求解的過程一致，具體公式推導詳見文獻［9］。

2.2 自適應融合

本文選擇了判別能力強的2種特征對目標的外觀進行描述，分別是 CN 特征［5］與 HOG 特征［10?11］。

雖然CN特征和HOG特征都能有效提升相關濾波類跟蹤器的跟蹤性能，但是當背景光照發生劇烈變化時，單獨采用CN特征的跟蹤器很難有效地從背景中判別出目標。事實上，CN特征與HOG特征是互補的，它們分別為圖像的0階和1階特征，可以從不同方面對圖像進行表達。為了充分發揮2種特征的優勢，達到提升跟蹤性能的目的，本文在特征融合前首先進行了特征置信度分析。

跟蹤結果置信度通常由Fmax判定，定義為

式中，yt為t幀時刻的響應得分圖，Fmax為其中最大的響應值。這種指標中的每一幀僅使用了響應得分圖中的一個值，缺乏足夠的可靠性。為了能夠更好地衡量結果的置信度，需引入APCE判據［12］對置信度進行評價，定義為

2.3 特征壓縮

特征是影響相關濾波類跟蹤算法速度的關鍵因素。CN特征與HOG特征的結合雖然能在一定程度上提高跟蹤精度，但勢必會影響算法速度。為了能夠在不降低跟蹤性能的前提下，在一定程度上提升算法速度，需對位置濾波器和尺度濾波器的特征信息進行降維壓縮，將CN特征和HOG特征分別從10維/31維降為4維/18維。

本文還對尺度濾波器進行了壓縮，使用壓縮尺度濾波器［13］進行了對目標尺度的檢測，其基本思路是在計算過程中將尺度層數從DSST算法中的33層降低為17層。在得到壓縮尺度濾波器響應結果的Fourier域之后，通過插值方法，將尺度數量從17插值到33，以獲得更精確的尺度定位。

2.4 算法流程

本文提出的算法流程具體如下：

輸入：圖像xt，上一幀目標位置pt-1和尺度βt-1，濾波模型ht-1，尺度模型st-1。

1）在圖像xt中，對尺度為βt-1、位置為pt-1的通過循環移位得到的所有候選樣本提?。℉OG+CN）特征A0（xt，pt-1）；

3）根據式（11）得到響應圖yt，更新目標位置pt。

式中，Fmax和Fmin分別代表t幀響應圖中的最大值和最小值，Fm，n為響應圖中第m行、第n列的響應值，mean表示求取平均值。

當且僅當2項指標，即Fmax和APCE都大于其歷史平均值的一定比例β1、β2時，認為當前特征可靠，允許進行特征融合。

4）在圖像xt中，對尺度為βt-1、位置為pt的各尺度層所有候選樣本提取HOG特征；

輸出：目標的位置pt和尺度βt，更新濾波模型ht，尺度模型st。

3 實驗結果與分析

本文在提出了融合背景圖像信息的多特征壓縮跟蹤算法的基礎上，根據有關評價指標在OTB標準數據集上驗證了該算法的性能。OTB?13由51個被標注的視頻序列組成，數據集中的序列主要由11種不同挑戰性的影響因素構成。本文利用文獻［8］中的OPE評價方法，對改進算法的各方面性能進行了分析。

3.1 實驗環境及算法參數設置

本文改進算法是在Matlab＆Mex混合編譯環境下實現的，計算機的配置為Intel Core i5?4300U CPU＠1.90GHz，內存為2.50GB。在算法中，位移濾波器所使用的特征為HOG+CN特征組，尺度層數采用17層。在改進算法中增加的參數如表1所示，位置估計中的其他參數參考DSST算法［6］。

3.2 背景圖像信息融合性能分析

選取Subway序列中被遮擋的片段進行背景圖像信息融合性能分析，對比如圖1所示。從第38幀開始，跟蹤目標被遮擋，由于遮擋面積較小，對DSST和改進算法的影響不大，響應圖是單峰的。在第39幀時，目標大部分區域被遮擋。如圖1（b）所示，DSST的響應圖不再是單峰。改進算法加入了背景圖像信息，雖然比38幀最大響應值略微降低，但圖1（c）中的響應圖仍有較高的可信度。當跟蹤進行到第40幀時，目標區域完全被遮擋，DSST的響應圖持續震蕩，Subway序列跟蹤失敗。改進算法的最大響應值雖然低于38幀峰值，但單峰響應圖表明當前跟蹤結果可信，圖1（a）可以保持穩定跟蹤。

圖1 背景圖像信息融合性能分析Fig.1 Fusion performance analysis of background image information

3.3 與DSST跟蹤器的對比分析

對所選取的6組視頻序列分別用DSST和改進算法進行了跟蹤測試，跟蹤效果對比如圖2所示。

對改進算法進行定性分析，如圖2所示。Bas?ketball序列包含目標形變和背景干擾，DSST在跟蹤過程中逐漸偏移目標中心，轉而跟蹤目標局部，而改進算法能夠很好地應對這種情況，確保跟蹤精度。Couple序列在19幀附近受到目標形變和快速運動的影響，改進算法同樣能夠有效應對。Freeman1和Panda序列主要出現了尺寸變化、目標平面內和平面外旋轉等情況，DSST在Freeman1序列的169幀和Panda序列的400幀附近分別跟丟目標，而改進算法能夠有效地持續跟蹤。Tiger2和Subway序列主要發生了目標形變和目標遮擋的問題，由于DSST只有HOG特征，沒有背景圖像信息，所以其分別在108幀和43幀跟蹤失敗，改進算法可以有效地持續跟蹤。

分別對DSST和改進算法的目標跟蹤數據做出定量計算，結果如表2所示。

以上6組視頻序列表明，中心距離精度平均提高了52.8%，重疊率平均提高了49.3%，中心位置誤差最小降低至4.04，Basketball和Subway序列均基本實現了準確跟蹤。實驗數據表明，改進算法在各方面的性能均更優越。

3.4 與各主流跟蹤器的比較

本文采用統一的評價指標將算法與其他7種主流的跟蹤算法進行了評價，并在算法中使用了傳統的手工提取特征，這些算法包括了CT、TLD、KCF、Struck、DSST 和 fDSST。

如圖3所示，在所有參與比較的8種跟蹤算法中，本文提出的改進算法在數據集OTB?13上的表現最為出色，跟蹤精度總體較DSST算法提高了5.3%。對OTB?13數據集中涵蓋的多種挑戰因素進行分析，發現當目標發生平面外旋轉、尺度變化或遮擋時，改進算法能夠較好地應對，跟蹤精度分別提高了5.3%、3.3%和7.8%，相比DSST算法效果提升較明顯。

4 結論

本文在DSST框架下，提出了一種融合背景圖像信息的多特征壓縮跟蹤算法。為了提高目標跟蹤的精度和魯棒性，將背景圖像信息融入位置濾波器。合并CN顏色特征和HOG特征，通過2種特征分別的位置濾波器響應圖最大值及APCE指標實現了自適應的響應融合，提高了模型融合的效率。為提升運行速度，對位置濾波器和尺度濾波器的特征信息進行降維壓縮。實驗對比分析表明，改進算法提高了跟蹤的精度與成功率，在遮擋、形變、尺度變化等情況下均具有較高的魯棒性，具有重要的理論和應用研究價值。