基于高效卷積算子的異常抑制目標跟蹤算法

蘇超群，朱正為，郭玉英

（西南科技大學信息工程學院，四川綿陽621010）

0 概述

目標跟蹤是機器視覺領域的重點研究內容之一，其廣泛應用于智能監控、智能交通控制、飛行器跟蹤等眾多領域［1-3］。在目標跟蹤過程中，目標通常會受到光照變化、尺度變化、背景干擾、目標形狀旋轉、遮擋等干擾的影響，因此，如何快速精準地進行目標跟蹤成為國內外研究者們關注的熱點問題。

近年來，相關濾波算法越來越多地被應用于目標跟蹤，這不僅催生出許多改進的相關濾波算法，也促使目標跟蹤技術取得突破性進展。文獻［4］設計出MOOSE 相關濾波器，利用輸出誤差平方和損失函數訓練濾波器來實現目標跟蹤。文獻［5-6］在MOSSE 相關濾波器的基礎上引入循環矩陣和核函數，解決了稀疏采樣造成的樣本冗余問題。文獻［7］將多通道的顏色屬性引入CSK 算法中，使其具有對彩色視頻的跟蹤能力。文獻［8］提出一種DSST 算法，分別利用位移相關濾波器和尺度相關濾波器實現目標的尺度自適應跟蹤。文獻［9-10］將單一特征擴展為多種特征，針對多特征尺度自適應濾波器，利用尺度池的方法實現目標自適應跟蹤。文獻［11］采用連續卷積方法將不同空間分辨率的特征圖進行整合，可更準確地實現目標跟蹤。文獻［12］利用分解卷積算子和樣本的緊湊生成模型解決計算復雜及過度擬合問題，提高了計算速度和算法魯棒性。文獻［13］采用多通道圖像表示特征組合的選擇方法提高DCF跟蹤器性能。

由于相關濾波算法利用循環矩陣在頻域中進行計算會產生邊界效應，從而影響到目標跟蹤性能，因此研究人員采用多種方法來克服邊界效應。文獻［14］引入空間權重函數增強目標樣本對濾波器的影響，進而弱化邊界效應的作用。文獻［15-16］將目標背景信息作為負樣本擴大搜索區域，從而降低邊界效應的影響。文獻［17］將空間正則化和時間正則化引入DCF 框架中，不僅減少了邊界效應影響，還提升了算法的成功率。文獻［18］通過為正樣本采樣訓練相關濾波器和引入空間懲罰來抵消由過多背景信息引入的噪聲，從而消除邊界效應對目標跟蹤結果的影響。此外，針對跟蹤過程中因目標旋轉、遮擋、光照變化等導致的響應圖突變問題，文獻［19］提出一種基于循環特征圖的跟蹤方法，通過在訓練階段驗證響應圖質量來判斷是否更新濾波器，在一定程度上消除了響應圖突變的影響。文獻［20］將多個相關濾波器集成為一個網絡，為每一幀響應圖訓練神經網絡，并在下一幀響應圖中選擇合適的相關濾波器，以避免響應圖突變的問題。文獻［21］在背景感知濾波器的基礎上加入響應圖變化率，有效減少了響應圖異常問題。文獻［22］引入局部響應圖變化情況使更多正樣本用于訓練濾波器，并基于整體響應圖變化情況來判斷是否更新濾波器。上述方法雖然針對響應圖突變進行了改進，但其在抑制響應圖的異常上作用有限。

為解決邊界效應和響應圖突變問題，本文提出一種基于高效卷積算子（Efficient Convolution Operator，ECO）的目標跟蹤算法。在訓練相關濾波器時引入空間懲罰和響應圖變化率，使其在更大的搜索區域消除邊界效應的影響，同時抑制響應圖突變，并將本文算法與多種算法在OTB100 數據集上的目標跟蹤性能進行對比和分析。

1 ECO 目標跟蹤算法

ECO 目標跟蹤算法（以下稱為ECO 算法）是在C-COT 跟蹤算法的基礎上，利用因式分解卷積方法減少訓練模型的參數量，以提高濾波器訓練速度，并采用高斯混合模型生成緊湊且多樣化的樣本，改變了模型更新策略，從而降低過度擬合的風險和計算復雜度，提高了算法的魯棒性。

1.1 多分辨率插值處理

ECO 算法基于M個訓練樣本來訓練卷積濾波器。每個特征層有獨立的分辨率Nd。通過引入運算符Jd得到的插值模型，將特征圖轉移到連續空間域t∈[0,T)，相關表達式如下：

其中：bd是周期T＞0 的插值內核，Jd{xd}是周期為T的周期函數，也是一個插值特征層。

通過訓練一個連續的T周期多通道卷積濾波器f=(f1,f2，…,fD)來計算目標的響應值Sf{x}(t)，其表達式為：

其中：J{x}表示整個插值特征圖。

1.2 樣本空間模型生成

ECO 算法使用高斯混合模型（Gaussian Mixed Model，GMM）的不同分量來代替樣本，每個分量對應一組相似樣本，不同分量之間差異性較大。

通過樣本特征圖x及其相應響應輸出值y的聯合概率分布p(x,y)，確定使期望相關誤差最小的濾波器，表達式如下：

其中：期望E在聯合樣本概率分布p(x,y)上取值，ω為解決邊界效應的懲罰因子（定義在連續空間上）。樣本分布為訓練樣本(xj,yj)的狄拉克脈沖函數。

假設目標在圖像區域的中心位置且所有y=y0均相同，則樣本分布可分解如下：p(x,y)=p(x)δy0(y)。采用高斯混合模型使，I為單位矩陣，L為高斯分量的數量，πl為高斯分量的權重，μl為高斯分量的平均值。

當更新模型時，針對每個新樣本xj，初始化一個新分量m，其中，πm=υ，μm=xj，υ為學習速率。如果模型數量超過限制L，則丟棄權重πl小于閾值的模型；否則將兩個最近的分量k和l合并為一個公共分量n，表達式如下：

因此，最小化目標函數表達式可轉化為：

其中：樣本數量從M減少到。

1.3 因式分解卷積算子

ECO 算法采用分解卷積的方法減少模型參數量，通過因式卷積操作后，得到目標響應值如下：

其中：P為D×C的矩陣，PT為線性降維算子，pd,c為濾波器的學習系數，是由特征層d的濾波器和pd,c構成的線性組合。

2 本文算法

本文算法是將抑制異常與相關濾波器的訓練相結合，為了抑制異常，首先對異常進行識別。引入歐幾里得范數定義兩個響應圖M1和M2的差分水平如下：

其中，p和q分別為二維空間兩個響應圖中峰值的位置差，[φp,q]表示使兩個峰值彼此重合進行的移位操作。當發生異常時，兩個響應圖相似度會突然下降，式（7）的值會變大，因此可通過判斷式（7）的值來判斷是否發生異常。

為抑制訓練過程中的偏差，對訓練目標進行優化使目標函數最小化，表達式如下：

其中：k和k-1分別表示視頻序列的第k幀和第k-1幀；式（8）等號右側第3 項是限制響應圖異常的正則化項；引入參數γ作為異常懲罰，將γ設置為0.7。變換和優化部分通過式（8）轉換到頻域內進行，以便在訓練相關濾波器時進行異常抑制。

式（8）通過ECO 算法保留矩陣P并降低模型數量，使模型從D維降低到C維，同時保留懲罰因子ω以減少邊界效應的影響。

2.1 優化算法

為訓練濾波器f，需最小化傅里葉域中函數（見式（8））。由傅里葉分析結果可以看出，由和z=J{x}可得到插值后特征圖的傅里葉系數，通過xd利用離散傅里葉變換的線性和卷積性質獲得Xd[k]，進而得到輸出響應函數（見式（2））的傅里葉系數，將其代入式（8）得到：

本文采用高斯-牛頓法進行迭代，并使用共軛梯度法優化二次子問題。高斯-牛頓法是通過展開一階泰勒級數來實現式（9）中殘差線性化。當前估計值周圍的雙線性項?可近似表示為：

迭代i的高斯-牛頓子問題是通過將式（10）的一階近似值代入式（9）而得到，表達式如下：

式（11）是線性最小二乘問題，采用共軛梯度法對每個高斯-牛頓子問題進行優化以獲得新濾波器和矩陣增量ΔP*，將濾波器和矩陣估計值分別更新為和Pi+1=Pi+ΔP*。由于濾波器的適應性，僅從第一幀就可得到矩陣P，且矩陣P在第一幀之后是恒定的。

2.2 模型和尺度的更新

為避免連續更新模型導致計算量增大，本文算法采用和ECO 算法類似的稀疏更新方案，僅當目標發生一定程度的變化時才更新模型，而并非在每一幀圖像都以連續方式更新模型。通過每個第N幀圖像來更新濾波器，參數NS為濾波器的更新頻率，在每個第NS幀圖像中，執行固定數量的NCG共軛梯度迭代次數來改進模型，該稀疏更新模型可使每幀CG 迭代的平均數量減少到，本文中NS=6，以減少更新濾波器增大的計算量，降低計算復雜度，從而有效實現算法加速。

2.3 算法流程

本文提出的抑制響應圖突變的跟蹤算法流程如圖1所示，具體步驟如下：

圖1 本文算法流程Fig.1 Procedure of the proposed algorithm

1）輸入視頻序列，獲取目標的位置信息和尺度。

2）從視頻序列第一幀圖像中提取目標并提取其特征，計算搜索區域和初始化比例因子，初始化相關濾波器，形成目標區域的初始樣本集。

3）對初始樣本集進行高斯混合模型處理以獲取樣本的緊湊模型。

4）對相關濾波器進行卷積分解，獲取基本濾波器的緊湊集合。

5）獲取新一幀多分辨率特征圖，分別與濾波器卷積后將所有響應圖加權得到最終響應圖。

6）通過所得響應圖的值M2與前一幀響應圖的值M1計算出變化率φp,q。

7）將響應圖的值最高的區域作為當前幀中的目標位置，并用跟蹤框標記。

8）將步驟7 中目標位置所在區域作為樣本集并用式（8）訓練下一幀圖像的濾波器。

9）循環執行步驟3～步驟8 直到視頻序列的最后一幀圖像結束。

3 實驗與結果分析

本文使用MATLAB R2018b 軟件進行仿真實驗，采用Inter Core i5-8400 計算機，主頻為2.80 GHz，操作系統為windows10。實驗使用VGG-m網絡中第一個卷積層（Conv-1）和最后一個卷積層（Conv-5）的特征組合。測試集使用目標跟蹤算法評估的數據集OTB100，該數據集包含光照變化、尺度變化、遮擋或半遮擋、快速運動等多種復雜情況。

本文采用一次測試的實驗結果，通過距離精度曲線和成功率曲線對算法性能進行評估。距離精度曲線計算中心位置誤差低于某個閾值的幀數占所有幀數的百分比，本文設定像素閾值為25。成功率曲線用于計算跟蹤重疊率大于某個閾值的幀數占所有幀數的百分比，其中跟蹤重疊率指目標跟蹤框與真實目標框的重疊面積與后者總面積的比值，本文設定跟蹤重疊率閾值為0.5。以每秒平均幀數表示算法的跟蹤速度。

3.1 不同算法性能對比

將本文算法和KCF 算法、SRDCF 算法、BACF算法、ECO 算法、ARCF 算法、GFSDCF 算法在OTB100 數據集上的目標跟蹤性能進行對比和分析。

上述7種算法在100組視頻序列上的成功率曲線和距離精度曲線如圖2所示。由圖2可知，本文算法的成功率和距離精度在7種算法中均為最高，分別是80.2%和86.4%，較GFSDCF算法分別高1.0個百分點和0.2個百分點，較ECO算法分別高3.1個百分點和1.9個百分點，較BACF算法分別高4.0個百分點和5.5個百分點，較ARCF算法分別高5.9個百分點和7.4個百分點，較SRDCF算法分別高8.5個百分點和8.6個百分點，較KCF算法分別高25.7個百分點和17.6個百分點。由此可見，增加抑制響應圖突變后的ECO 算法優于改進前的ECO 算法。

圖2 7 種算法在OTB100 數據集上的成功率曲線和距離精度曲線Fig.2 Success rate curve and distance accuracy curve of seven algorithms on OTB100 dataset

上述7 種算法在6 組視頻序列中的跟蹤速度如表1所示。由表1 可見，KCF 算法的平均跟蹤速度最高，達到80.4 frame/s，其次是ECO 算法，平均跟蹤速度為33.63 frame/s，本文算法平均跟蹤速度為22.98 frame/s，較ECO 算法少10.65 frame/s，但成功率和距離精度卻優于ECO 算法。成功率和距離精度排第二位的GFSDCF算法平均跟蹤速度較慢，僅為7.96 frame/s。

表1 7 種算法在不同視頻序列中的跟蹤速度Table 1 Tracking speed of seven algorithms in different video sequences （frame·s-1）

圖3～圖6 為上述7 種算法分別在human3、lemming、shaking 和bird1 視頻序列中的定性測評結果（彩色效果參見《計算機工程》官網HTML 版）。在human3 視頻序列中（見圖3），當存在與目標非常相似的干擾物（見圖3（a））和遮擋（見圖3（b）～圖3（e））時，只有本文算法和ECO 算法能準確跟蹤目標，其他算法均無法準確跟蹤目標。從第88 幀圖像開始，除了本文算法和ECO 算法，其他算法均跟蹤失敗。本文算法由于引入響應圖異常抑制框架，因此能準確跟蹤目標。在lemming 視頻序列中（見圖4），當目標被遮擋（見圖4（a）和圖4（b））時，SRDCF 算法、ARCF 算法和KCF 算法跟蹤失敗，當目標存在運動模糊、旋轉、超出視野外（見圖4（c）和圖4（d））時，ECO 算法、GFSDCF 算法和BACF 算法跟蹤效果較差，不能完全跟蹤目標，本文算法在上述情況下均能準確跟蹤目標。在shaking 視頻序列中（見圖5），當目標受到光照變換、背景雜波的影響（見圖5（a）和圖5（b））時，SRDCF 算法、ARCF 算法和KCF 算法目標跟蹤失敗，而目標發生旋轉（見圖5（c）和圖5（d））后，其他算法跟蹤效果均較差，僅本文算法跟蹤效果較準確。在bird1 視頻序列中（見圖6）：當目標出現快速移動和形變（見圖6（a））時，SRDCF 算法和KCF 算法目標跟蹤失敗，其他算法跟蹤效果良好；當目標存在運動模糊和超出視野范圍（見圖6（b）和圖6（c））時，只有GFSDCF 算法和本文算法能繼續進行目標跟蹤，其他算法均目標跟蹤失敗；從圖6（d）可明顯看出本文算法的跟蹤效果較GFSDCF 算法更好。

圖3 7 種算法在視頻序列human3 中的測評結果Fig.3 Evaluation results of seven algorithms in video sequence human3

圖4 7 種算法在視頻序列lemming 中的測評結果Fig.4 Evaluation results of seven algorithms in video sequence lemming

圖5 7 種算法在視頻序列shaking 中的測評結果Fig.5 Evaluation results of seven algorithms in video sequence shaking

圖6 7 種算法在視頻序列bird1 中的測評結果Fig.6 Evaluation results of seven algorithms in video sequence bird1

7 種算法在不同干擾因素下的目標跟蹤成功率如表2所示。由表2 可見，在相似背景、快速運動、尺度變化、形態變化、遮擋、運動模糊的情況下，本文算法的目標跟蹤成功率均最高，在其他情況下目標跟蹤成功率僅較表現最好的算法略低。在光照變化、平面外旋轉、平面內旋轉、視野外、低分辨率的情況下本文算法的目標跟蹤成功率分別比表現最好的算法GFSDCF 低0.3 個百分點、3.7 個百分點、1.4 個百分點、7.7 個百分點和6.8 個百分點。在所有干擾因素中，本文算法的目標跟蹤成功率僅在低分辨率情況下低于ECO 算法，在多種環境下本文算法較ECO算法具有更高的目標跟蹤成功率。

表2 7 種算法在不同干擾因素下的目標跟蹤成功率Table 2 Target tracking success rates of seven algorithms under different interference factors

3.2 本文算法與ECO 算法對比

將本文算法和ECO 算法對human3 和lemming兩組視頻序列的跟蹤結果進行對比，通過比較前一幀響應圖和當前響應圖之間的差值來判斷跟蹤效果，響應圖差值越小表明跟蹤效果越好，結果如圖7所示。圖7（a）是視頻序列human3 前200 幀響應圖的差值曲線，從整體上來看，本文算法的響應圖差值較ECO算法更小。當第53幀～第67幀、第118幀～第130幀圖像中目標被遮擋時，ECO 算法的響應圖差值顯著變大，而本文算法的響應圖差值明顯更小，目標跟蹤效果更好。圖7（b）是視頻序列lemming 第1 000 幀～第1 300 幀響應圖的差值曲線，可以看出第1 020 幀響應圖中目標在平面內旋轉、快速移動和運動模糊時，ECO 算法的響應圖差值變化較大，而本文算法的響應圖差值遠比ECO 算法的響應圖差值更小，目標跟蹤效果更好。

圖7 2 種算法對2 種視頻序列的響應圖差值曲線Fig.7 Response graph difference curves of two algorithms for two video sequences

4 結束語

本文提出一種改進的ECO 異常抑制目標跟蹤算法。在ECO 目標跟蹤算法的基礎上，將異常抑制與訓練相關濾波器相結合，通過引入前一幀響應圖變化率來限制響應圖異常變化，以防止跟蹤過程中目標發生漂移。在OTB100 數據集上的實驗結果表明，在光照變化、尺度變化、平面內旋轉、平面外旋轉、背景雜波等干擾下，本文算法較其他相關濾波算法成功率更高。后續將對不同目標特征進行融合，進一步優化算法的跟蹤性能。