基于時空上下文的視覺跟蹤自適應超特征融合*

馮明輝

（福建中煙工業有限責任公司 廈門 362000）

1 引言

視覺跟蹤是計算機視覺領域的一個熱門研究問題，有著廣泛的應用，例如智能視頻監控［1］，自動駕駛［2］，醫療診斷［3］，虛擬現實［4］。視覺跟蹤的主要任務是估計后續幀中目標的未知狀態，只有第一幀中目標的初始狀態（例如，通常是位置或比例）可用。目前，主流的跟蹤算法一般分為兩類，一類是基于相關濾波框架的跟蹤算法，另一類是基于深度卷積神經網絡的跟蹤算法。這兩種方法各有優缺點。

基于相關濾波器的方法［11～22，27～31］已于2010年引入視覺跟蹤社區，并取得了令人印象深刻的跟蹤性能。由于計算量低，基于CF 的跟蹤器可以通過快速傅立葉變換（FFT）將時域中復雜的卷積計算轉換成頻域中簡單的元素乘法運算。這種方法通常使用手工制作的特征（如 HOG［5］，Corlor Names［6］）來處理跟蹤過程中各種目標和背景外觀的變化。

特征級融合方法［6～8］已經被廣泛應用，并且已經做出了相當大的努力來提高跟蹤性能，但是仍然有很大的改進空間。方法［7］有效地結合了多種手工制作的特征，如HOG 和顏色名稱，其中HOG 特征對光照變化敏感，顏色名稱對變形和運動模糊具有魯棒性。HCFTstar［8～10］有效地結合了多層深層層次卷積特征，在跟蹤過程中，目標對象經常會遇到各種復雜的外觀場景挑戰。不正確的更新方法很容易導致跟蹤漂移，并會對后續幀的跟蹤性能產生負面影響。目前，大多數跟蹤算法［12，19～20，27］逐幀更新他們的模型，這些方法沒有考慮跟蹤是否準確。

2 相關工作

2.1 基于相關濾波器的跟蹤算法

近年來，相關濾波器在視覺跟蹤算法中非常成功，因為它可以通過使用快速傅立葉變換來提高計算效率，并且可以有效緩解樣本模糊問題。MOSSE追蹤器［11］首次將相關濾波器理論引入視覺跟蹤，通過基于灰度圖像學習最小誤差平方和濾波器。隨后提出了大量基于相關濾波器的跟蹤算法。已經做出了相當大的努力來改進跟蹤性能，改進包括核化相關濾波器［12～13］、模型優化方法［14］。

2.2 跟蹤算法的深度學習

為了增強跟蹤的魯棒性并實現最先進的跟蹤性能，基于深度學習的方法已經廣泛應用于視覺跟蹤領域，并且精度已經取得了顯著的進步。例如，Danelljan 等［32］采用了基于區別性相關濾波器框架的深層卷積特征，而不是傳統手工制作的特征。馬等［33］利用不同層次卷積特征的性能特征進行視覺跟蹤，通過推斷每一層的最大置信度來實現從粗到細的翻譯估計。宋等［34］提出了一種魯棒的卷積殘差學習跟蹤方法，該方法將特征提取、響應圖生成和模型更新集成到一層卷積神經網絡。李等［35］在暹羅網絡框架上引入了RPN（地區提案網絡），通過離線的端到端訓練網絡實現實時和最先進的跟蹤性能。

3 自適應超特征融合算法

3.1 時空上下文跟蹤框架

大多數跟蹤算法通常使用余弦窗口來減輕邊界效應，這限制了搜索窗口的區域并抑制了目標周圍的上下文信息。CACF框架的主要目標是獲得一個最佳濾波器w，用于所有由帶有滑動窗口的循環移位產生的訓練樣本D0，并且傅立葉域中循環矩陣的性質可以用于最小化以下回歸公式：

其中數據矩陣D0表示矢量化圖像塊d0的所有循環移位，w 是學習的相關濾波器。回歸目標y是2D 高斯的矢量化圖像，λ1表示正則化權重參數。

上下文感知框架想要訓練一個對目標圖像塊具有高響應，對上下文圖像塊接近零響應的濾波器，通過將上下文塊作為正則項添加到標準公式中來實現（參見式（1））。

這里，λ1，λ2是正則化權重因子，參數λ2用于控制上下文補丁回歸為零。

3.2 尺度判別相關濾波

在視覺跟蹤過程中，目標物體經常容易遇到尺度變化。在本文的工作中，為了有效地處理尺度變化，本文引入了一種精確的尺度估計方法，基于檢測跟蹤框架上的區分相關濾波器。這是通過在比例金字塔上訓練一個比例鑒別相關濾波器，然后根據最佳置信度框架估計比例來實現的。以目標為中心用于比例估計的圖像塊大小為

其中P 和R 分別表示當前幀中的寬度和高度，ɑ 表示比例因子，S 表示比例濾波器的大小。目標是獲得最佳尺度相關濾波器h。這是通過最小化以下目標函數來實現的：

其中g 表示期望的相關輸出，l 表示特征的維數，λ是規則系數。上述頻域解決方案由以下公式給出：

其中G 和F 代表復雜的共軛。為了獲得準確的結果，式（8）中H1的分母分別更新如下：

3.3 算法模型

3.3.1 自適應特征融合方法

本文從目標對象中提取了一些特征，如手工制作的特征，如（HOG、顏色直方圖），分層卷積特征，如（VGGNet中的conv5-4和conv4-4層）。首先，本文線性加權每個層次卷積特征：

Response_deep1 和 response_deep2 分 別 是對應于conv5-4 和conv4-4的響應值。

其中fuse_r1 和fuse_r2 分別是深度特征和手工特征的權重。由于深度特征具有比手工特征更高的辨別性能，因此深度特征的權重更高，手工特征的權重相對更低。

3.3.2 自適應模型更新方法

當目標遇到復雜的外觀變化時，如遮擋、光照變化和視線之外。這些長期積累的信息將直接影響后續序列的跟蹤質量，然后影響整個跟蹤模型并導致跟蹤漂移。為此本文提出了一種有效的模型更新機制。PSR定義如下：

其中G（x）是計算的響應圖。Gmax（x）是響應圖G（x）的峰值。s1是峰值周圍的峰值旁瓣區域，這是本文中響應圖面積的15%，μs1和σs1是旁瓣面積的平均值和標準偏差。

圖1 顯示了PSR 平均值的跟蹤結果，本文知道目標對象經歷了顯著的外觀變化，峰值越尖銳，模型噪聲越少，滿足更新條件，其中平均PSR 值大于響應峰值，應該考慮模型更新。

圖1 PSR平均值分布

4 實驗分析

4.1 OTB基準數據集的整體跟蹤性能

本文算法與14 種最先進的追蹤器進行比較，包括使用手工制作的特征（即LMCF［14］、SRDCF［27］、START _ CA［26］、START［7］和 ECO-HC［31］以及使用深度特征（即 UCT［37］、CREST［34］、DeepSRDCF［32］、DeepLMCF［14］流行的跟蹤基準數據集［20～21］。該數據集由50 個視頻和100 個帶有11 種不同屬性的視頻全注釋視頻序列組成，以便于分別進行跟蹤分析和評估。本文使用［20］中提供的三個指標評估OTB-50 和 OTB-100 上的 13 個跟蹤器，并使用距離精度（DP）和重疊成功率（OS）報告跟蹤結果。距離精度（DP），顯示其估計中心位置在地面真相給定閾值距離內的幀的百分比；重疊成功圖。圖2 說明了所提出的算法在OTB-50 基準數據集上的距離精度（DP）、重疊成功圖（OS）方面比13 種最先進的方法表現得好得多。所提出的跟蹤器性能良好，DP 為82.7%，OS為59.5%，其中平均DP 為82.7，超過了最近的最新跟蹤器，結果證明了利用所提出的方法從強大的超特征中訓練更多的辨別性跟蹤器的重要性。圖3 說明了所提出的算法在OTB-100 基準數據集上的距離精度（DP）、重疊成功圖（OS）方面比13 種最先進的方法表現得好得多。所提出的跟蹤器性能良好，DP 為86.6%，OS 為64.2%，其中平均DP為86.6。這些跟蹤結果進一步證明了所提出方法的有效性。

圖2 本文算法與其他算法比較1

4.2 基于屬性的跟蹤評估

在本節中，本文使用OTB-2015 數據集上的11個帶注釋的不同屬性，進一步評估了建議跟蹤器的跟蹤性能：光照變化（IV）、比例變化（SV）、遮擋（OCC）、變形（DEF）、運動模糊（MB）、快速運動（FM）、面內旋轉（IPR）、面外旋轉（OPR）、視野外旋轉（OV）、背景雜波（BC）、低分辨率（LR）。由于頁面有限，本文只報告7 個屬性結果的重疊成功圖，借助于自適應模型更新方法，該算法對快速運動、運動模糊、視野外、平面內旋轉和旋轉外的場景表現出更強的魯棒性，并且超特征融合對目標外觀變化保持了強大的辨別能力。

圖3 本文算法與其他算法比較2

5 結語

本文提出了一種有效的自適應超特征融合方法，用于魯棒視覺跟蹤。本文在響應級別線性融合了多個強大的特征，如HOG、顏色直方圖和層次卷積特征。本文框架通過提出的自適應融合方法充分利用了不同特征的優勢，實現了精確的平移估計。引入輸出約束傳遞方法來控制響應圖遵循高斯分布，以處理目標外觀變化。為了減輕噪聲更新引起的模型漂移，提出了一種有效的自適應模型更新方法，以確?？煽康母?。