結合背景空間信息的相關濾波目標跟蹤算法研究

孫 欣 何 寧

(北京聯合大學智慧城市學院 北京 100101)

0 引 言

相關濾波器[1-8]跟蹤成功的主要原因是通過循環位移來近似密集采樣，訓練樣本在傅里葉域中更新相關濾波器使得計算效率提高。其前提是背景均勻，物體移動位移較小。但是這些假設并不適用于所有情況，一個主要缺點是由于循環假設存在的邊界效應。此外，目標搜索區域為保持計算成本低，僅包含一個小的局部鄰域來限制漂移。邊界效應通常通過余弦窗口來抑制，導致減少了搜索區域。因此，相關濾波跟蹤器通常關于其背景的信息是非常有限的，并且在快速運動、遮擋或背景有雜物的情況下容易漂移。為了解決這一局限性，本文將目標周圍的背景信息考慮進去，并將其集成到學習的濾波器中，最終作為一個框架輸出。該框架可以與大部分相關濾波跟蹤器集成來提高其性能，且擁有較高的幀速率。

1 相關濾波器

1.1 循環矩陣的性質

相關濾波是一種簡單且高效的濾波器，是數字信號處理領域的一種重要算法，通常用于信號在時域與頻域之間的轉換。在跟蹤領域，其相關性可以用來衡量目標的外觀模型和其運動模型產生的候選的相似程度。結合循環矩陣的良好性質，相關濾波器在目標檢測跟蹤領域發揮了很大的作用。

相關濾波器允許在目標周圍進行密集采樣，通過固定大小的搜索窗口將目標所有可能的平移位置建模為循環位移并形成循環矩陣A0。由于循環矩陣的行列均是平移變換得到的，所以循環矩陣具有很好的性質，如：任意的循環矩陣能夠被離散傅里葉變換矩陣對角化；循環矩陣的和、乘積、逆運算都是循環行列式。如下所示：

(1)

1.2 目標函數

采用循環矩陣在傅里葉域中的嶺回歸問題來作為相關濾波器的目標函數,并利用循環矩陣的性質解決了在傅里葉域的嶺回歸問題，使得計算更高效，避免了復雜運算。嶺回歸問題如下：

(2)

式中：向量w表示學習到的相關濾波器；矩陣Α0表示圖像塊a0平移變換的循環矩陣；目標函數y是二維高斯圖像矢量。

(3)

式中：*表示共軛。

檢測時，學習更新的濾波器w在下一幀與搜索窗口z進行卷積操作，Z表示塊循環矩陣。響應值最大的位置即為搜索窗口中下一幀目標的預測位置p，即rp(w,Z)=Zw，在傅里葉域轉換為:

(4)

2 基于背景空間信息跟蹤算法

由于目標處于大量豐富的背景信息中，背景信息大部分都是連續變化或基本不變的，當目標突然快速運動或周圍環境發生變化時，如果將其相鄰的部分背景圖像塊也考慮進檢測識別系統，則能夠從連續的背景信息的變化或不變來反向確定目標圖像塊，從而相應地提高目標檢測的識別率和準確性。

2.1 整體框架

算法整體框架如圖1所示。在相關濾波器的基礎上，對目標鄰近的背景圖像塊采集信息并以圖像矩陣的形式添加到濾波器中。為保證背景信息對目標塊檢測的支持，避免干擾，在式(2)中，添加參數來控制背景信息的程度，使得濾波器的速率基本不受到太大的影響并提高了特定場景(遮擋、光照變化、快速運動等)中跟蹤的成功率。

圖1 算法整體框架

2.2 采樣策略

采樣策略的復雜性和負樣本采樣數量對跟蹤性能有較大的影響，所以采樣策略是決定算法性能的關鍵。如圖2所示，背景采樣信息來自目標圖像塊相鄰的4個負樣本區域[Α1，Α2，Α3，Α4]，這些背景區域圖像塊與背景圖像塊有小范圍的區域是重疊的。負樣本的作用是保證在檢測過程中目標塊識別率更高，不被相鄰背景區域干擾發生漂移。為此，需要在目標函數中引入參數使得背景區域響應值接近于零但不等于零。所以，在目標函數中，通過設置參數使得背景區域響應值與目標塊響應值相差較大，從而保證了添加背景信息后也不會對目標塊響應值造成干擾。

圖2 采樣策略

2.3 預測目標位置

感興趣的目標區域塊a0對應的循環矩陣為Α0，周圍k個負采樣區域ai經過循環移位得到對應的循環矩陣Αi。其中，ai∈Rn，Αi∈Rn*n。我們需要學習到一個濾波器w∈Rn在目標區域響應值遠高于背景區域。通過在式(2)中添加背景圖像塊并進一步加入參數λ2控制背景區域的響應強度，使得背景區域的響應值遠低于目標區域的響應值，最后給出新的目標凸函數：

(5)

3 實驗結果與分析

將本文基于背景信息的算法添加到多個基于經典相關濾波器的跟蹤算法SAMF[9]、STAPLE[10]、MOSSE[11]中，采用本文方法改進后的相關濾波器分別記作BS-SAMF、BS-STAPLE、BS-MOSSE等。并在數據集標準OTB-50/OTB-100[12-13]上與Struck、SCM、TLD、DFT、CXT、LSK、OAB等算法進行對比實驗并評估結果。所有算法跟蹤器均使用MATLAB在同一操作平臺(Inter(R) Core(TM) i7-4790 CPU @ 3.60 GHz)上運行。

3.1 評估標準和參數設置

評估方法根據OTB-50/OTB-100中定義的成功率和精度值來評價。精度評估是根據跟蹤目標的邊界框與標定框中心位置的誤差值來計算的。一般設定閾值為20個像素點。成功率評估主要測量的是跟蹤框與標注框的重疊率。跟蹤成功的幀數占總幀數的百分比即為成功率。一般給定重疊閾值為0.5。使用成功率圖中曲線下的面積(AUC)來給跟蹤算法排序。魯棒性的評估主要分為時間(TRE)上和空間(SRE)上的評估測量。OPE 是指從視頻序列第一幀開始跟蹤直到視頻序列結束，根據一次跟蹤的結果進行評價，是 Benchmark 標準跟蹤測試數據集一次性評估的結果。

為了公平比較，將基于背景空間信息的相關濾波器設置為相同參數。負采樣區域(背景)個數k設置為4，因為當k大于4時，算法框架運行時間明顯增加，但效果改善不明顯。改進后的BS-SAMF、BS-STAPLE、BS-MOSSE算法，設置其學習率為0.005、0.015、0.025，參數λ2分別設置為0.4、0.5、20。

3.2 評估不同相關濾波器結果比較

圖3中，接近跟蹤目標區域的兩個框分別為BS-SAMF、BS-STAPLE算法結果，遠離跟蹤目標區域，甚至跟蹤失敗的框分別是SCM、TLD算法結果。可以看出，在剛開始的跟蹤過程中，各個方法基本上都可以實現目標的跟蹤，但隨著目標的運動和背景的變化，一些方法受到光照變化、目標旋轉等復雜環境的影響，出現了漂移的現象，導致跟蹤失敗，并且在跟蹤失敗后無法重新檢測目標進行調整。所以，結合了背景空間信息的相關濾波方法可以克服在光照變化、快速運動、低分辨率以及背景混雜等復雜背景下運動目標的檢測跟蹤。并且在不影響跟蹤速率的情況下能夠以高精度和高準確性實現目標跟蹤檢測，不容易出現漂移的問題，能夠實現目標全程實時跟蹤。

圖3 運行結果

圖4展示了特定場景中的成功率。在光照變化、尺度變化、背景雜物、遮擋、快速運動等情況下，SRE成功率有明顯的提高。特別是如果在連續幾幀里，目標外觀(遮擋)或者周邊背景(背景雜物)發生急劇變化，基于背景空間信息的更大搜索匹配區域使得實驗效果優于其他框架。同樣，圖5反映了其他場景下的TRE的精度結果。

(a) 光照變化 (b) 尺度變化

(c) 背景雜物 (d) 遮擋

(e) 快速運動 (f) 運動模糊圖4 SRE的成功率結果圖(AUC)

(a) 形變 (b) 低分辨率

總體質量評估如圖6所示，可以看出，當根據實際跟蹤速度調整幀速率時，大部分跟蹤器的速度變慢，導致跟蹤效果變差，性能顯著下降。相比之下，基于背景信息的相關濾波器框架的性能只是略微降低。這更說明了本文改進的算法框架具有一定的優勢，能夠在保證跟蹤速度的基礎上，提高在復雜場景中的跟蹤性能。

(a) OPE總體精度 (b) OPE總體成功率圖6 OPE總體質量評估

綜上所述，當根據實際跟蹤速度調整幀速率時，大部分跟蹤器的速度變慢，導致跟蹤效果不好，性能顯著下降。相比之下，基于背景信息的相關濾波器框架的性能只是略微降低，基于背景空間的相關濾波框架較其他框架的跟蹤器更有優勢，在保證跟蹤速度的基礎上，提高了在復雜場景中的跟蹤性能。

4 結 語

本文通過對目標周圍的局部背景信息采樣來改進相關濾波器，在計算成本較低的同時實現了很好的跟蹤效果，對一些復雜場景，如光照變化、遮擋、尺度變化、背景雜物、快速運動等發生時，表現尤其突出，能夠準確地檢測到目標并跟蹤，避免了跟蹤過程中出現漂移。實驗表明，引入負樣本信息的相關濾波器跟蹤性能得到了提高，并且與不是相關濾波框架的算法比較也有較大的優勢。