畸變感知相關(guān)濾波目標(biāo)跟蹤算法

姜文濤，任金瑞

1.遼寧工程技術(shù)大學(xué) 軟件學(xué)院，遼寧 葫蘆島 125105

2.遼寧工程技術(shù)大學(xué) 研究生院，遼寧 葫蘆島 125105

目標(biāo)跟蹤作為計算機(jī)視覺領(lǐng)域的研究熱點之一，其憑借人工智能、圖像處理、模式識別等諸多前沿理論，在自動駕駛、虛擬現(xiàn)實等應(yīng)用方向具有廣闊而光明的發(fā)展前景[1-3]。但在跟蹤期間，由于旋轉(zhuǎn)、形變、運(yùn)動模糊等內(nèi)部因素和背景雜亂、遮擋、光照變化等外部因素的影響，目標(biāo)會產(chǎn)生畸變，如何在多因素干擾的復(fù)雜環(huán)境中實現(xiàn)高效、精準(zhǔn)且魯棒的目標(biāo)跟蹤仍面臨著巨大挑戰(zhàn)。

根據(jù)建模思路的不同，已有的目標(biāo)跟蹤方法主要劃分為生成式方法和鑒別式方法兩類[4]。生成式方法提取目標(biāo)特征建模，在后續(xù)幀中以搜索特征相似性誤差最小為基準(zhǔn)，實現(xiàn)目標(biāo)定位。多數(shù)跟蹤場景都是非線性、非高斯的，而粒子濾波算法具有代表性，其通過逼近目標(biāo)狀態(tài)的概率密度函數(shù)，實現(xiàn)對下一階段內(nèi)目標(biāo)位置的預(yù)測[5]。但該算法計算量大、實時性差，而且在長時跟蹤中，由于粒子退化使其難以保證結(jié)果有效性。

近年來，憑借較高的跟蹤精度和良好的實時性能，鑒別式相關(guān)濾波（discriminative correlation filter，DCF）算法在主流目標(biāo)跟蹤算法中備受青睞[6]。Henriques 等[7]對選用單通道灰度特征的相關(guān)濾波算法[8]進(jìn)行革新，提出核相關(guān)濾波（kernelized correlation filters，KCF）算法，采用能夠更好地刻畫目標(biāo)的紋理、邊緣信息的多通道方向梯度直方圖（histogram of oriented gradient，HOG）特征描述目標(biāo)，提高算法跟蹤精度。考慮到跟蹤時目標(biāo)或攝像機(jī)運(yùn)動而引起的尺度變化問題，多特征尺度適應(yīng)性跟蹤器（scale adaptive with multiple features tracker，SAMF）算法[9]和判別性尺度空間跟蹤器（discriminative scale space tracker，DSST）算法[10]被提出，這兩種算法均采用尺度窮舉法來估計目標(biāo)尺度，緩解尺度變化引起的跟蹤漂移情況。

當(dāng)通過循環(huán)移位獲取訓(xùn)練樣本時，圖像滿足周期性擴(kuò)展假設(shè)會產(chǎn)生邊界效應(yīng)。上述大多數(shù)算法僅通過對圖像施加余弦窗，以減弱邊界效應(yīng)的影響。但加余弦窗后圖像背景信息被屏蔽，降低了模型的判別力。Danelljan 等[11]在相關(guān)濾波框架中引入空間正則項，提出空間正則化判別相關(guān)濾波（spatially regularized discriminative correlation filters，SRDCF）算法，通過空間正則化權(quán)值約束濾波器系數(shù)，權(quán)值從目標(biāo)中心區(qū)域到邊緣區(qū)域平滑增加，緩解邊界效應(yīng)。但該權(quán)值未與目標(biāo)變化相關(guān)聯(lián)，當(dāng)目標(biāo)處于頻繁、長時遮擋或較大程度形變等跟蹤場景中時，將大幅度降低濾波器的魯棒性。Dai等[12]提出自適應(yīng)空間正則化相關(guān)濾波（adaptive spatially regularized correlation filters，ASRCF）算法，根據(jù)幀間目標(biāo)變化調(diào)節(jié)空間正則化權(quán)值。但該算法忽略濾波器時序上的變化，在復(fù)雜跟蹤場景下易使濾波器退化。Li 等[13]在SRDCF 的基礎(chǔ)上引入時間正則項，提出時間正則化相關(guān)濾波（spatial-temporal regularized correlation filters，STRCF）算法，保證模型在時間上的連續(xù)性，有效地解決了濾波器退化的問題，然而該算法并未考慮目標(biāo)畸變時的自適應(yīng)性，當(dāng)畸變程度較為明顯時，跟蹤誤差較大。

不同的跟蹤算法有其獨有優(yōu)勢，近期有學(xué)者在多種算法集成上進(jìn)行了合理的嘗試，以達(dá)到更好的跟蹤效果[14-15]。蒲磊等[16]在深度學(xué)習(xí)框架下對不同VGG 網(wǎng)絡(luò)（visual geometry group network，VGGNet）的深、淺層特征進(jìn)行提取，將相關(guān)濾波器和深度特征融合在一起以完成目標(biāo)定位和模型訓(xùn)練，改善跟蹤性能，但實時性不強(qiáng)。Feng等[17]在相關(guān)濾波框架中加入卡爾曼濾波器，將每幀相關(guān)濾波器的輸出狀態(tài)提供給卡爾曼濾波器作為其輸入狀態(tài)，矯正相關(guān)濾波器的目標(biāo)定位誤差，克服目標(biāo)快速運(yùn)動導(dǎo)致的目標(biāo)丟失問題。但該算法無論相關(guān)濾波器定位結(jié)果是否可靠都啟用卡爾曼濾波器進(jìn)行修正，提高計算復(fù)雜度。

上述算法研究表明，引入空間、時間正則項可以有效地克服目標(biāo)跟蹤過程中邊界效應(yīng)和濾波器退化帶來的影響，但仍有改進(jìn)空間。此外，濾波器采用固定學(xué)習(xí)率更新模型，易導(dǎo)致誤差累積跟蹤失敗，且對現(xiàn)實復(fù)雜場景中目標(biāo)畸變的應(yīng)對能力不足。針對上述問題，本文在STRCF 基礎(chǔ)上融合相關(guān)濾波器和粒子濾波算法，提出畸變感知相關(guān)濾波目標(biāo)跟蹤算法。本文工作可歸納如下：

（1）利用粒子濾波在起始幀內(nèi)構(gòu)建強(qiáng)化目標(biāo)信息的空間參考權(quán)值，并在后續(xù)跟蹤過程中獲得與目標(biāo)相關(guān)的粒子強(qiáng)化空間正則項，增強(qiáng)模型的判別力。

（2）在STRCF 基礎(chǔ)上加入粒子強(qiáng)化空間正則項來構(gòu)建本文算法的目標(biāo)函數(shù)，并采用交替方向乘子法（alternating direction method of multipliers，ADMM）以較少的迭代次數(shù)實現(xiàn)對目標(biāo)函數(shù)的優(yōu)化求解，降低計算復(fù)雜度，提高濾波器效率。

（3）提出一種基于異常決策函數(shù)的目標(biāo)畸變感知策略，采用粒子濾波對目標(biāo)進(jìn)行選擇性的重檢測，自適應(yīng)地更新樣本模型和相關(guān)濾波器，減少背景信息對模型的污染，增強(qiáng)跟蹤穩(wěn)健性。

（4）本文算法在OTB50、OTB100 和DTB70 公開數(shù)據(jù)集上進(jìn)行性能測試，取得較優(yōu)跟蹤效果，可以滿足實時性的要求。

1 時間正則化相關(guān)濾波算法

為了緩解濾波器退化，避免跟蹤漂移，Li等受在線被動攻擊（online passive-aggressive，PA）算法[18]的啟發(fā)，在SRDCF的基礎(chǔ)上引入時間正則項，約束濾波器在時序上的變化。STRCF整合空間和時間正則項后，僅使用當(dāng)前幀的樣本和上一幀學(xué)習(xí)到的濾波器訓(xùn)練當(dāng)前幀的濾波器，可近似于具有多個訓(xùn)練樣本的SRDCF。

STRCF目標(biāo)函數(shù)如下：

STRCF是近年來跟蹤精度及準(zhǔn)確率皆較優(yōu)的相關(guān)濾波算法，但在復(fù)雜跟蹤場景下，其跟蹤性能會明顯下降。這是由于傳統(tǒng)的相關(guān)濾波算法忽略當(dāng)前幀定位結(jié)果的可靠性，以固定學(xué)習(xí)率更新濾波器模型，當(dāng)定位存在誤差，則逐幀累積背景中的噪聲信息，導(dǎo)致目標(biāo)丟失，且難以再次追回，這時需要人工重新捕捉目標(biāo)，從而極大地影響了算法的整體成功率，很難將其應(yīng)用到實際工程中。

2 畸變感知相關(guān)濾波目標(biāo)跟蹤算法

2.1 空間適應(yīng)和時序平滑的濾波器模型

在缺乏目標(biāo)先驗信息時，引入空間正則項可以有效地保留更多的目標(biāo)真實信息，提高模型易識別性。但STRCF的空間正則化權(quán)值始終作為一個固定參數(shù)獨立于目標(biāo)函數(shù)，并未隨著濾波器同步更新，當(dāng)目標(biāo)產(chǎn)生畸變時，可能導(dǎo)致所求濾波器并非當(dāng)前最佳。

在實際應(yīng)用場景中，目標(biāo)的無序運(yùn)動與系統(tǒng)模型并不滿足線性關(guān)系，無法直接獲取目標(biāo)真實值。此外，系統(tǒng)在跟蹤時會受到隨機(jī)噪聲的干擾，如成像設(shè)備本身具有的測量噪聲、系統(tǒng)隨時間變化而產(chǎn)生的過程噪聲等。而無論系統(tǒng)線性與否，噪聲是否服從高斯分布，粒子濾波均可以較好地估計目標(biāo)當(dāng)前狀態(tài)[19]。為此，本文采取粒子濾波算法在每幀內(nèi)構(gòu)建空間參考權(quán)值，獲得與目標(biāo)相關(guān)的自適應(yīng)空間正則項，當(dāng)目標(biāo)產(chǎn)生畸變時，仍可以使濾波器專注于學(xué)習(xí)目標(biāo)的可信賴部分。

通過粒子濾波在最近一次目標(biāo)可靠位置周圍采樣生成一組粒子，利用最新時刻觀測值更新粒子權(quán)值，并對權(quán)值歸一化，得到該組每個粒子的權(quán)值位置信息W(x,y)，即W(x,y)∈[0,1]。在目標(biāo)范圍區(qū)域內(nèi)，與目標(biāo)越相似的粒子權(quán)值越大，周圍非目標(biāo)區(qū)域W(x,y)接近為0。由此，建立粒子強(qiáng)化參考權(quán)值wr表達(dá)式為：

式中，W為STRCF 中固定的空間正則化權(quán)值；σ為固定參數(shù)。令λ1、λ2為空間正則項系數(shù)，得到粒子強(qiáng)化空間正則項，即：

在得到粒子強(qiáng)化參考權(quán)值wr后，通過SAdapt獲取與目標(biāo)存在聯(lián)系的空間正則化權(quán)值w。該權(quán)值可以根據(jù)每幀內(nèi)目標(biāo)畸變情況對背景信息加以懲罰約束。當(dāng)粒子權(quán)值越小時，說明該像素點為背景雜亂信息，對該像素點的約束越大。反之，當(dāng)粒子權(quán)值越大時，對該像素點的懲罰約束越小，增強(qiáng)濾波器空間懲罰系數(shù)的可靠性，使濾波器加強(qiáng)學(xué)習(xí)目標(biāo)真實信息。

在式（1）中融合式（4），本文算法構(gòu)建的目標(biāo)函數(shù)為：

2.2 濾波器模型的優(yōu)化求解

式（5）是一個最小二乘正則化的凸函數(shù)問題，引入松弛變量g，將其轉(zhuǎn)變?yōu)楹屑s束條件的目標(biāo)函數(shù)最優(yōu)化問題，即：

利用增廣拉格朗日乘子法，令s和γ分別為拉格朗日乘子和步進(jìn)參數(shù)，構(gòu)造增廣拉格朗日函數(shù)為：

由于式（8）無閉式解，增廣拉格朗日函數(shù)可以通過ADMM 優(yōu)化算法迭代求解，更快收斂到最優(yōu)目標(biāo)函數(shù)值。通過交替求解f、g、w、h子問題來實現(xiàn)本文算法目標(biāo)函數(shù)的求解：

（1）子問題f。為簡化計算步驟，根據(jù)帕塞瓦爾定理，將其轉(zhuǎn)化至傅里葉域，即：

觀察式（10）可知，理想的高斯型目標(biāo)響應(yīng)輸出的第j個元素只依賴于整體通道中相關(guān)濾波器和特征樣本的第j個元素。為此，將式（10）向量化處理并令其導(dǎo)數(shù)為0，進(jìn)一步化簡求解為：

式中，Vj(?)為所有通道中第j個元素的向量化；I為單位矩陣。式（11）中含有矩陣的逆運(yùn)算且()?Vj()的秩為1，根據(jù)Sherman-Morrison 公式可將其簡化為：

（2）子問題g。子問題g內(nèi)并不包含時域中的卷積運(yùn)算，可直接求導(dǎo)并令導(dǎo)數(shù)為0，得其閉式解為：

式中，W為空間正則化權(quán)重對角化后的矩陣。

（3）步進(jìn)參數(shù)γ更新：

式中，γmax為γ的最大取值，α1為固定參數(shù)。

2.3 空間正則化權(quán)值的優(yōu)化求解

求得子問題g后，可求解式（9）中的第3 個子問題w。對自適應(yīng)空間正則化權(quán)重w求解滿足ADMM 優(yōu)化算法的前置條件，可以將其劃分為3 個子問題，通過迭代兩個變量求閉式解。引入輔助變量w=q，令m和φ分別為拉格朗日乘子和步進(jìn)參數(shù)，構(gòu)造增廣拉格朗日函數(shù)為：

將式（15）分為如下3個子問題，求解得到最終的自適應(yīng)空間正則化權(quán)重：

（1）子問題W。假設(shè)q、g已知，W解為：

（2）子問題q。假設(shè)w和m已知，可求出：

（3）步進(jìn)參數(shù)φ更新：

式中，φmax為φ的最大取值，α2為固定參數(shù)。

2.4 目標(biāo)畸變感知策略

傳統(tǒng)的相關(guān)濾波算法在跟蹤時，對每幀圖像都更新樣本模型，并沒有判別跟蹤結(jié)果的可靠性。以STRCF 為例，圖1 分別展示了目標(biāo)在無畸變、輕微畸變和劇烈畸變狀態(tài)下的響應(yīng)圖。正常情況下，目標(biāo)的響應(yīng)分布曲線類似于高斯型的單峰分布。當(dāng)目標(biāo)產(chǎn)生畸變時，理想響應(yīng)映射偏離單峰分布，圖1（b）中的視頻序列Girl2 在115 幀左右，目標(biāo)由于短時遮擋造成劇烈畸變，在120 幀左右目標(biāo)再次出現(xiàn)時，響應(yīng)圖出現(xiàn)偽峰，這時STRCF 判定左上方響應(yīng)峰值點為跟蹤目標(biāo)中心，判斷失誤。與未畸變目標(biāo)的響應(yīng)峰值相比，目標(biāo)產(chǎn)生畸變時的響應(yīng)峰值較小，且該峰值和平均值十分接近，算法利用式（2）進(jìn)行目標(biāo)定位時很難分清前景和背景，從而造成跟蹤漂移，甚至丟失目標(biāo)，此時直接進(jìn)行更新會污染學(xué)習(xí)到的樣本模型，累積誤差將導(dǎo)致相關(guān)濾波器跟蹤失敗。為此，本文提出一種基于異常決策函數(shù)的目標(biāo)畸變感知策略，該策略將影響算法跟蹤結(jié)果的多種干擾因素合并處理，通過衡量目標(biāo)受干擾因素影響的畸變程度，判別當(dāng)前跟蹤結(jié)果是否可靠，對目標(biāo)進(jìn)行選擇性的重檢測，以防在跟蹤結(jié)果置信度低的情況下錯誤更新濾波器模型，導(dǎo)致跟蹤失敗。

圖1 不同畸變程度下的目標(biāo)響應(yīng)圖Fig.1 Response maps with different levels of distortion

2.4.1 異常決策函數(shù)

響應(yīng)圖的峰值波動從某種意義上反映出當(dāng)前跟蹤結(jié)果的置信水平。Wang等[20]提出平均峰值相關(guān)能量（average peak correlation energy，APCE），通過響應(yīng)圖峰值分布情況判別濾波器跟蹤狀態(tài)，即：

其中，F(xiàn)max、Fmin、Fx,y分別表示響應(yīng)最高、響應(yīng)最低和(x,y)位置上的響應(yīng)值。當(dāng)目標(biāo)變化緩慢，跟蹤正常時，其APCE值和Fmax值以一定比例大于歷史均值；在目標(biāo)被遮擋、丟失等情況下，其APCE值會驟減，視為無效跟蹤。

APCE反映響應(yīng)圖的震蕩程度，但無法判斷檢測目標(biāo)置信度低時目標(biāo)的畸變程度。此外，由于APCE的確切閾值不能確定，容易將某些跟蹤結(jié)果可靠的場景誤判為無效，反而降低跟蹤精度。

相關(guān)濾波器在目標(biāo)正常狀態(tài)下訓(xùn)練得到的響應(yīng)圖峰值起伏平緩，通過衡量響應(yīng)圖峰值在時序上的變化程度，可有效評估目標(biāo)當(dāng)前狀態(tài)。據(jù)此，本文提出響應(yīng)圖峰值時序約束（response map peak temporal constrain，RPTC），計算當(dāng)前幀的響應(yīng)圖峰值與歷史響應(yīng)圖峰值的變化程度，即：

以O(shè)TB100 數(shù)據(jù)集中Girl2 視頻序列為例，繪制APCE 和RPTC 隨幀變化情況，如圖2 所示。在Girl2序列中，目標(biāo)受到兩段較為明顯的完全遮擋，由圖可看出，當(dāng)目標(biāo)劇烈畸變時，APCE 值驟降，RPTC 值驟升。

圖2 Girl2序列的APCE和RPTC逐幀變化Fig.2 Frame-by-frame variation curves of APCE and RPTC for Girl2 sequence

表1 為APCE、RPTC 和Ot的意義及其取值范圍。由此表可看出，APCE 和RPTC 取值范圍相差較大，二者采用指數(shù)組合方式相較于線性組合方式更能擴(kuò)大不同目標(biāo)畸變程度的評分差幅。

表1 APCE、RPTC和Ot 的取值分析Table 1 Value analysis of APCE、RPTC and Ot

因此，本文在式（20）的基礎(chǔ)上以指數(shù)形式加入式（21），構(gòu)建異常決策函數(shù)Ot，即：

為便于比較，以O(shè)TB100中Jogging1視頻序列為例，繪制跟蹤過程中目標(biāo)響應(yīng)圖峰值、APCE 值及Ot值的隨幀變化情況，如圖3 和圖4 所示。從圖3 可以看出，APCE值對目標(biāo)畸變的敏感性較低，用APCE值判斷當(dāng)前跟蹤結(jié)果置信度無法滿足對跟蹤穩(wěn)健性的精確描述。由圖4可以看出：當(dāng)目標(biāo)被遮擋而產(chǎn)生劇烈畸變時，目標(biāo)響應(yīng)圖峰值驟降，而Ot數(shù)值明顯增大；當(dāng)目標(biāo)處于平穩(wěn)狀態(tài)時，Ot數(shù)值穩(wěn)定，可以較好地描述當(dāng)前目標(biāo)的畸變程度。

圖3 Jogging1序列的最大響應(yīng)值和APCE值逐幀變化Fig.3 Maximum response value and APCE of Jogging1 sequence change frame-by-frame

圖4 Jogging1序列的最大響應(yīng)值和Ot 值逐幀變化Fig.4 Maximum response value and Ot of Jogging1 sequence change frame-by-frame

本文算法設(shè)置兩個重要閾值，分別為劇烈畸變判斷閾值?和快速運(yùn)動判斷閾值ρ。由于異常決策評分在[2,20]區(qū)間中波動程度劇烈，通過逐次實驗對比發(fā)現(xiàn)，當(dāng)?=10、ρ=3.5 時，可以較好地區(qū)分不同目標(biāo)畸變狀態(tài)。對跟蹤過程中判別目標(biāo)畸變程度進(jìn)行可視化處理，如圖5所示。當(dāng)Ot大于?時，異常決策評分判定跟蹤目標(biāo)受多因素干擾影響顯著，目標(biāo)產(chǎn)生劇烈畸變，跟蹤結(jié)果置信度低，進(jìn)行目標(biāo)重檢測；反之，當(dāng)Ot小于ρ時，跟蹤目標(biāo)不受干擾因素影響或受較小影響，未發(fā)生畸變或產(chǎn)生輕微畸變。

圖5 跟蹤過程中各因素導(dǎo)致目標(biāo)畸變的判別示意圖Fig.5 Various factors lead to distorting diagram of target during tracking process

2.4.2 目標(biāo)重檢測

2.4.1 小節(jié)中所介紹方法可有效評估當(dāng)前目標(biāo)畸變程度，當(dāng)目標(biāo)畸變劇烈時，跟蹤定位可靠性較低，濾波器需要在整幅圖像上對目標(biāo)進(jìn)行重新搜索、匹配。由此，當(dāng)目標(biāo)定位精度不高時，本文結(jié)合粒子濾波動態(tài)擬合下一幀中目標(biāo)狀態(tài)，這樣不僅避免了粒子濾波長時跟蹤時產(chǎn)生的粒子退化問題，還將全局搜索轉(zhuǎn)換為局部搜索，縮減搜索空間，加快跟蹤速度。重檢測過程如下：

（1）初始化。用包含噪聲的目標(biāo)觀測方程zt對目標(biāo)狀態(tài)方程xt遞推估測，這一過程可表示為：

（2）更新權(quán)值。分別提取粒子模板、目標(biāo)模板的概率分布特征和qk，將Bhattacharyya距離dn作為兩者之間的相似度度量，即：

基于式（24），引入概率密度分布函數(shù)，更新粒子權(quán)值為：

并對權(quán)值進(jìn)行歸一化處理：

（3）估測當(dāng)前目標(biāo)。預(yù)測估計目標(biāo)狀態(tài)為：

將當(dāng)前目標(biāo)的估計位置迭代到本文算法中。

為驗證本文算法加入重檢測機(jī)制后跟蹤結(jié)果是否有效，以包含旋轉(zhuǎn)、遮擋、光照變化、背景雜亂場景的Soccer 序列為例，繪制本文算法與基準(zhǔn)算法STRCF的目標(biāo)中心位置誤差曲線圖，如圖6所示。本文算法的中心位置誤差整體小于STRCF。

圖6 Soccer序列上目標(biāo)中心位置誤差曲線Fig.6 Target center position error curves on Soccer sequence

2.5 模型更新

在目標(biāo)跟蹤過程中，應(yīng)依據(jù)當(dāng)前跟蹤結(jié)果置信度設(shè)計一個恰當(dāng)?shù)哪Ｐ透虏呗裕赃m應(yīng)目標(biāo)外觀變化。因此，本文借鑒有效卷積跟蹤（efficient convolution operators for tracking，ECO）算法的稀疏更新策略[21]，同時結(jié)合異常決策函數(shù)，在跟蹤結(jié)果置信度較高且畸變程度劇烈時，放松相關(guān)濾波器在時序上的限制，提高學(xué)習(xí)速率；當(dāng)跟蹤結(jié)果置信度低于某一閾值時，則不更新濾波器模型參數(shù)(fmodel,Emodel)。更新方式如下：

相比以固定學(xué)習(xí)率更新濾波器模型參數(shù)，本文通過感知跟蹤期間目標(biāo)外觀變化情況，對學(xué)習(xí)率進(jìn)行自適應(yīng)調(diào)整，以得到更理想的目標(biāo)模型，降低干擾信息對跟蹤結(jié)果的影響，從而增強(qiáng)濾波器的判別能力。

2.6 算法步驟

本文算法流程圖如圖7所示，算法步驟如下：

圖7 畸變感知相關(guān)濾波算法流程圖Fig.7 Flow chart of distortion-aware correlation filter object tracking

（1）初始化：輸入圖像序列總幀數(shù)，讀取首幀圖像中目標(biāo)的位置和尺寸信息。

（2）模型訓(xùn)練：在學(xué)習(xí)本文算法模型過程中，讀取第t幀圖像序列信息，提取目標(biāo)特征，根據(jù)式（3）求出自適應(yīng)空間正則化權(quán)重，訓(xùn)練濾波器模型參數(shù)。

（3）目標(biāo)定位：根據(jù)式（2）將當(dāng)前幀搜索區(qū)域提取的目標(biāo)特征與上一幀訓(xùn)練得到的濾波器進(jìn)行相關(guān)運(yùn)算，生成響應(yīng)圖，響應(yīng)圖峰值位置為目標(biāo)中心。

（4）畸變感知：根據(jù)每一幀采用式（22）得到的異常決策評分Ot，判斷目標(biāo)畸變程度。若大于閾值，判定目標(biāo)產(chǎn)生劇烈畸變，跟蹤結(jié)果不可信，根據(jù)歷史目標(biāo)狀態(tài)進(jìn)行粒子濾波重檢測，將估測目標(biāo)位置迭代至本文模型中。

（5）模型更新：基于上一步判定的目標(biāo)畸變程度，使用式（28）對濾波器模型參數(shù)自適應(yīng)更新。

（6）輸出跟蹤結(jié)果：轉(zhuǎn)至（2），訓(xùn)練下一幀圖像的濾波器模型參數(shù)，直至當(dāng)前幀數(shù)大于圖像序列總幀數(shù)則跟蹤結(jié)束。

3 實驗結(jié)果及性能評估

3.1 實驗平臺及參數(shù)設(shè)置

實驗所用操作系統(tǒng)為Windows 10，編程軟件為GNU Octave，處理器為AMD Ryzen 7 4800H with Radeon Graphics 2.90 GHz，16 GB內(nèi)存。

在實驗中，畸變感知相關(guān)濾波目標(biāo)跟蹤算法相關(guān)參數(shù)設(shè)置參考STRCF、ASRCF、SRDCF算法，如表2所示，選取3組不同的參數(shù)對比跟蹤性能，取最優(yōu)參數(shù)組合，最終目標(biāo)函數(shù)中正則項系數(shù)λ1=1.000、λ2=0.980、μ=16 ；自適應(yīng)空間正則項中σ=1 ；ADMM 求解迭代次數(shù)為2。學(xué)習(xí)參數(shù)αinit=0.015、b=1.5。粒子濾波粒子數(shù)設(shè)置為500。

表2 不同正則項參數(shù)在OTB100數(shù)據(jù)集中實驗結(jié)果Table 2 Experimental results of different regularization term parameters in OTB100 dataset

3.2 數(shù)據(jù)集和評估指標(biāo)

為了驗證本文算法有效性，采用OTB50[22]、OTB100[23]和DTB70[24]數(shù)據(jù)集對算法進(jìn)行性能評估。OTB50 和OTB100 數(shù)據(jù)集根據(jù)目標(biāo)外觀變化情況把視頻序列劃分為11 種不同屬性的場景分類，即尺度變化（scale variation，SV）、快速運(yùn)動（fast motion，F(xiàn)M）、遮擋（occlusion，OCC）、低分辨率（low resolution，LR）、超出視野（out-of-view，OV）、運(yùn)動模糊（motion blur，MB）、平面內(nèi)旋轉(zhuǎn)（in-plane rotation，IPR）、平面外旋轉(zhuǎn)（out-of-plane rotation，OPR）、光照變化（illumination variation，IV）、背景雜亂（background clutters，BC）和非剛性形變（Deformation，DEF）。DTB70數(shù)據(jù)集由70個高空無人機(jī)視角拍攝的圖像序列組成，其中包含多種縱橫比的雜亂場景。

實驗中選擇一次性通過評估標(biāo)準(zhǔn)（one-pass evaluation，OPE）的成功率曲線線下面積（area under the ROC curve，AUC）和距離精度（distance precision，DP）、運(yùn)算速度三個指標(biāo)來評估算法跟蹤效果[20]。

AUC計算公式為：

式中，AT表示真實目標(biāo)框覆蓋區(qū)域；AP表示預(yù)測目標(biāo)框覆蓋區(qū)域。成功率是指預(yù)測目標(biāo)框與真實目標(biāo)框兩者區(qū)域的重疊率大于0.5 的幀數(shù)占總幀數(shù)的百分比。

DP計算公式為：

式中，OT表示真實目標(biāo)框中心位置；OP表示預(yù)測目標(biāo)框中心位置。距離精度是指真實目標(biāo)框與預(yù)測目標(biāo)框兩者中心位置的平均歐式距離小于20 pixel 的幀數(shù)占總幀數(shù)的百分比。

3.3 實驗及結(jié)果分析

3.3.1 與相關(guān)濾波類跟蹤算法的定量比較

本文從特征表示、尺度估計、特征融合、邊界效應(yīng)等方面，選擇9個具有代表性的相關(guān)濾波跟蹤算法進(jìn)行對比實驗，分別為DSST、SRDCF、Staple[25]、BACF（background-aware correlation filters）[26]、STRCF、異常抑制相關(guān)濾波算法（aberrance repressed correlation filters，ARCF）[27]、AutoTrack[28]、環(huán)境突變不敏感相關(guān)濾波算法（environmental mutation-insensitive correlation filters，EMCF）[29]、自適應(yīng)通道選擇相關(guān)濾波算法（adaptive channel selection with discriminative correlation filters，ACS-DCF）[30]。

DSST 采用33 個尺度訓(xùn)練尺度濾波器應(yīng)對尺度變化；SRDCF 引入空間正則項緩解邊界效應(yīng)；Staple融合HOG 特征和全局顏色直方圖訓(xùn)練濾波器模板；BACF利用掩碼矩陣擴(kuò)大采樣區(qū)域；STRCF引入空間與時間正則化項；ARCF通過限制響應(yīng)圖變化來抑制異常；AutoTrack利用局部、全局響應(yīng)變量自適應(yīng)學(xué)習(xí)時間正則權(quán)重；EMCF引入正則化項學(xué)習(xí)相鄰幀之間的環(huán)境殘差適應(yīng)環(huán)境變化；ACS-DCF 自適應(yīng)選擇特征通道學(xué)習(xí)濾波器模型。

通過在OTB50、OTB100 和DTB70 數(shù)據(jù)集上分別對各算法進(jìn)行實驗評估，得到相應(yīng)的距離精度曲線與成功率曲線，如圖8、圖9所示。

圖8 10種算法在OTB50、OTB100數(shù)據(jù)集上的OPE結(jié)果Fig.8 OPE results of 10 algorithms on OTB50 and OTB100 datasets

從圖8可以看出，本文算法跟蹤成功率和距離精度皆在OTB50 和OTB100 數(shù)據(jù)集上取得最優(yōu)效果。在OTB50 數(shù)據(jù)集上進(jìn)行定量分析，本文算法的DP、AUC 分?jǐn)?shù)分別達(dá)到89.1%、86.5%，相比基準(zhǔn)算法STRCF 分別提高了0.023、0.025；在OTB100 數(shù)據(jù)集上進(jìn)行定量分析，本文算法的DP、AUC 分?jǐn)?shù)分別達(dá)到87.1%、81.3%，相比基準(zhǔn)算法STRCF 分別提高了0.021、0.015。EMCF、AutoTrack、ARCF 為針對無人機(jī)跟蹤場景提出的相關(guān)濾波目標(biāo)跟蹤算法。從圖9可以看出，本文算法在無人機(jī)領(lǐng)域DTB70 數(shù)據(jù)集上取得的DP分?jǐn)?shù)為次優(yōu)。實驗證明，本文算法跟蹤成功率和距離精度在OTB50、OTB100 和DTB70 數(shù)據(jù)集上皆優(yōu)于基準(zhǔn)算法STRCF。

本文在OTB50 和OTB100 數(shù)據(jù)集中分析了各個算法在11 種屬性場景下的跟蹤性能，結(jié)果如表3、表4、圖10、圖11所示。

表3 OTB50數(shù)據(jù)集中各屬性視頻序列的AUC得分Table 3 AUC scores of each attribute video sequence in OTB50 dataset

表4 OTB50數(shù)據(jù)集中各屬性視頻序列的DP得分Table 4 DP scores of each attribute video sequence in OTB50 dataset

圖10 OTB100數(shù)據(jù)集中各屬性視頻序列的AUC得分Fig.10 AUC scores of each attribute video sequence in OTB100 dataset

圖11 OTB100數(shù)據(jù)集中各屬性視頻序列的DP得分Fig.11 DP scores of each attribute video sequence in OTB100 dataset

表3、表4 分別定量展示了本文算法與目前9 種具有代表性的相關(guān)濾波算法在OTB50數(shù)據(jù)集中各屬性跟蹤場景視頻序列的AUC、DP 得分。由表3、表4可以看出，在OTB50數(shù)據(jù)集上，與其他9種代表性相關(guān)濾波算法相比，本文算法的跟蹤成功率、精確率排名最優(yōu)或次優(yōu)，明顯優(yōu)于其他相關(guān)濾波跟蹤算法，這說明本文算法在現(xiàn)實復(fù)雜場景下跟蹤具有一定魯棒性。

圖10、圖11 分別展示10 個算法在OTB100 數(shù)據(jù)集中各屬性跟蹤場景視頻序列的成功率、精確率曲線圖，以及對應(yīng)的AUC、DP值。從圖10、圖11可以看出，在OTB100 數(shù)據(jù)集上，本文算法的跟蹤成功率及跟蹤精確率在各屬性跟蹤場景中均為最優(yōu)或次優(yōu)。

由于本文算法具有目標(biāo)畸變感知策略，能根據(jù)當(dāng)前目標(biāo)定位情況受多干擾因素的影響程度選擇目標(biāo)重檢測，在遮擋、超出視野等屬性場景中可保證跟蹤結(jié)果的準(zhǔn)確性。同時根據(jù)跟蹤結(jié)果可信度及目標(biāo)畸變程度調(diào)整濾波器模型參數(shù)學(xué)習(xí)率，在尺度變化、形變、旋轉(zhuǎn)、復(fù)雜背景等屬性場景下可保證濾波器模型較少地被污染，達(dá)到長時跟蹤的效果。

10 個算法在OTB100 數(shù)據(jù)集上的平均運(yùn)算速度是以視頻序列總幀數(shù)除以在此視頻序列上運(yùn)行的總時間來計算的，對比如表5 所示。由此表可以看出，本文算法運(yùn)行速度比基準(zhǔn)算法STRCF 略慢，這是由于該算法中加入判斷跟蹤結(jié)果不可信的粒子濾波重檢測環(huán)節(jié)，但將粒子看作像素會加快粒子濾波運(yùn)算速度，從而達(dá)到實時跟蹤的需求。

表5 各算法平均運(yùn)算速度Table 5 Average tracking speed of each algorithm

總體而言，與其他算法相比，本文算法能夠在不同屬性場景下保持實時穩(wěn)健的跟蹤，并且具有良好的跟蹤性能。

3.3.2 與深度學(xué)習(xí)類跟蹤算法的定量比較

為進(jìn)一步驗證本文算法的魯棒性及有效性，從深度特征、連續(xù)卷積、孿生網(wǎng)絡(luò)等方面，選取5個具有代表性的深度學(xué)習(xí)跟蹤算法進(jìn)行對比實驗，分別為DeepSRDCF[31]、DeepSTRCF[13]、ECO、CNN-SVM[32]、TADT[33]。

通過在OTB100 數(shù)據(jù)集上對各算法進(jìn)行實驗評估，得到相應(yīng)的距離精度曲線與成功率曲線，如圖12所示。利用深度特征會提高跟蹤精度，但同時也會導(dǎo)致算法計算復(fù)雜度急劇增加，算法實時性較差。本文算法未采用深度特征，僅采用手工特征作對比實驗，即僅采用灰度、HOG 和顏色（color name，CN）特征。由圖12 可以看出，本文算法的跟蹤性能優(yōu)于部分深度學(xué)習(xí)類跟蹤算法。

圖12 與深度學(xué)習(xí)類跟蹤算法的定量比較Fig.12 Quantitative comparison with deep learning tracking algorithms

3.3.3 定性分析

為驗證本文算法在目標(biāo)畸變情況下的跟蹤效果，在OTB100 數(shù)據(jù)集中，選取7 個具有挑戰(zhàn)性的視頻序列進(jìn)行對比，它們包含的屬性如表6所示。圖13展示了7 個視頻序列上10 種算法的跟蹤結(jié)果，如圖所示，本文算法對目標(biāo)進(jìn)行了較為精準(zhǔn)的定位，其結(jié)果明顯優(yōu)于基準(zhǔn)算法STRCF。接下來將從不同的視頻序列場景屬性上來分析本文算法的精確性和魯棒性。

表6 視頻序列名稱及其包含的場景屬性Table 6 Name of video sequence and its contained scene attributes

（1）圖13（a）為Soccer 視頻序列截圖，視頻中有一支球隊高舉獎杯慶祝。在25 幀前，目標(biāo)還未受快速運(yùn)動、運(yùn)動模糊、遮擋、背景雜亂等屬性干擾，10種算法皆能精確定位目標(biāo)位置；一般情況下，快速運(yùn)動通常伴隨著運(yùn)動模糊。從26幀開始，目標(biāo)快速跳動，圖像模糊，此時STRCF 和DSST 跟蹤框開始抖動，跟蹤框內(nèi)錯誤融入背景信息，隨后跟蹤框漂移；從90幀開始，目標(biāo)受到背景雜亂、旋轉(zhuǎn)等影響，除了本文算法、EMCF、BACF、ARCF 和SRDCF 外，其余算法目標(biāo)跟蹤框均有較大偏差。本文算法通過引入自適應(yīng)空間正則項來抑制背景信息干擾，增強(qiáng)了復(fù)雜背景情況下模型辨別力，仍可準(zhǔn)確跟蹤；在此之后，由于目標(biāo)持續(xù)受到相似物部分或完全遮擋，在128 幀時，只有本文算法、Staple、SRDCF和ACS-DCF能準(zhǔn)確定位目標(biāo)位置，而本文算法估計的目標(biāo)中心與真實目標(biāo)中心距離最近；在204 幀后，目標(biāo)旋轉(zhuǎn)發(fā)生尺度變化，但本文算法仍能較準(zhǔn)確地估計目標(biāo)尺度大小，并且穩(wěn)健地跟蹤目標(biāo)；從380幀開始目標(biāo)受到長時完全遮擋，所有算法跟蹤失敗。

（2）圖13（b）為Girl2 視頻序列截圖，視頻中有一位正在玩滑板車的小女孩。在1 500幀視頻序列中，目標(biāo)兩次被完全遮擋，其中最大難點是從106 幀至117 幀的長時完全遮擋。在106 幀前，10 種算法均可克服目標(biāo)旋轉(zhuǎn)和非剛性形變的影響，精確定位目標(biāo)位置；在117 幀長時完全遮擋結(jié)束后，除本文算法和ACS-DCF 精確定位外，其余8 個算法跟蹤框均漂移到混淆遮擋物上。本文算法判定目標(biāo)畸變劇烈，利用粒子濾波根據(jù)狀態(tài)和觀測噪聲協(xié)方差矩陣預(yù)測估計目標(biāo)位置，并將估計的目標(biāo)位置迭代至本文模型中，成功跟蹤遮擋情況下發(fā)生劇烈畸變的目標(biāo)；233幀后混淆遮擋物移出視野，除STRCF外，其余7種算法跟蹤框漂移至序列結(jié)束；在312 幀時，目標(biāo)移動至STRCF 跟蹤框附近，STRCF 在丟失目標(biāo)195 幀后重新跟回；在1 386 幀至1 393 幀，目標(biāo)再次被遮擋，遮擋結(jié)束后本文算法、STRCF和ACS-DCF皆能跟蹤上目標(biāo)，但本文算法定位的目標(biāo)中心與真實目標(biāo)中心更為接近。

（3）圖13（c）為Jogging1視頻序列截圖，視頻中有兩位女生慢跑。從67幀開始，目標(biāo)被電線桿遮擋，在未發(fā)生遮擋前，10 種算法都能很好地跟蹤到目標(biāo)。在79 幀遮擋結(jié)束后，僅有本文算法、BACF、SRDCF和ACS-DCF 跟準(zhǔn)目標(biāo)，但本文算法在尺度估計上更為精準(zhǔn)，其余算法跟蹤框漂移至整個序列結(jié)束。

（4）圖13（d）為Bird1視頻序列截圖，視頻中有一群鳥穿過云團(tuán)飛行。該視頻序列中目標(biāo)較小，目標(biāo)成像區(qū)域小導(dǎo)致特征提取較粗糙，在跟蹤時各算法跟蹤框存在不同程度的漂移。在69 幀時，由于目標(biāo)在運(yùn)動過程中一直發(fā)生非剛性形變，除本文算法外，其余算法跟蹤框皆產(chǎn)生不同程度的偏移，其中SRDCF跟蹤框漂移至背景上；120幀至186幀目標(biāo)飛入云團(tuán)超出視野，在目標(biāo)飛出云團(tuán)后又由于相似物干擾，僅有本文算法、STRCF、AutoTrack 和Staple 重新跟回目標(biāo)；在240 幀之后，目標(biāo)快速運(yùn)動發(fā)生明顯形變，STRCF、AutoTrack 和Staple 丟失跟蹤目標(biāo)，本文算法仍可穩(wěn)健跟蹤。由于固定的更新學(xué)習(xí)率不能很好地適應(yīng)快速運(yùn)動的物體，跟蹤框內(nèi)融入背景信息導(dǎo)致跟蹤失敗，而本文自適應(yīng)更新學(xué)習(xí)率可以在目標(biāo)快速運(yùn)動時得到更加優(yōu)化的濾波器模型，從而改善跟蹤的魯棒性。

（5）圖13（e）為Lemming 視頻序列截圖，視頻中有一個人為操縱不斷運(yùn)動的玩具。在310 幀前，10種算法均能精確定位目標(biāo)位置；從313幀開始目標(biāo)逐漸被遮擋，到347幀時只能利用未被遮擋的部分目標(biāo)區(qū)域進(jìn)行跟蹤，在375 幀目標(biāo)脫離遮擋時，僅有本文算法、EMCF、BACF和ACS-DCF仍可繼續(xù)跟蹤目標(biāo)；在880 幀時，目標(biāo)移動至停留的跟蹤框附近，除ARCF、Staple外其余算法重新跟回，但SRDCF、DSST和AutoTrack無法適應(yīng)目標(biāo)的尺度變化，跟蹤框內(nèi)目標(biāo)信息不全；在1 047 幀時，SRDCF 跟蹤框漂移至背景，其余算法的跟蹤情況與第880幀時一致。

（6）圖13（f）為Skating2-1視頻序列截圖，視頻中有一對選手在表演雙人滑。在24 幀時，目標(biāo)快速旋轉(zhuǎn)導(dǎo)致目標(biāo)尺度發(fā)生變化，所有算法跟蹤框都發(fā)生微小偏移，但本文算法估計的目標(biāo)中心與真實目標(biāo)中心距離最近；從80幀起，目標(biāo)被混淆遮擋物暫時完全遮擋，遮擋結(jié)束后Staple、ARCF、AutoTrack 和DSST 跟蹤框漂移至混淆遮擋物上；與其他算法相比，在后續(xù)幀中快速運(yùn)動、旋轉(zhuǎn)等屬性的干擾下，本文算法仍能對目標(biāo)進(jìn)行魯棒、精確的跟蹤。

（7）圖13（g）為Panda視頻序列截圖，視頻中有一只熊貓在園區(qū)內(nèi)散步。該視頻序列分辨率較低，使得濾波器學(xué)習(xí)到的特征不足，跟蹤過程中各算法跟蹤框均存在不同程度的偏移。在123幀前，所有算法均能克服目標(biāo)尺度變化，準(zhǔn)確跟蹤目標(biāo)；從124 幀開始到815幀，目標(biāo)先后經(jīng)歷3次平面外旋轉(zhuǎn)、1次平面內(nèi)旋轉(zhuǎn)，每次旋轉(zhuǎn)都會改變目標(biāo)外觀。在此期間，DSST、SRDCF、AutoTrack、Staple、ARCF 和BACF 依次出現(xiàn)跟蹤漂移；在980 幀時，只有本文算法、STRCF、EMCF和ACS-DCF能準(zhǔn)確跟蹤目標(biāo)，但本文算法跟蹤到的目標(biāo)區(qū)域最大。

通過對上述實驗結(jié)果的分析，可以看出本文算法相比主流跟蹤算法具有一定優(yōu)越性。本文算法在多因素干擾的復(fù)雜環(huán)境中表現(xiàn)出較高的適應(yīng)性和實用性，能實現(xiàn)精準(zhǔn)且魯棒的目標(biāo)跟蹤。

3.3.4 消融實驗

為驗證本文算法所提出各模塊的合理性與有效性，實驗設(shè)計對比采用粒子強(qiáng)化空間正則項（見式（5））、APCE 評分策略（見式（20））、APCE 引入RPTC的評分策略（見式（22））、重檢測（見式（27））的跟蹤效果。表7 展示了多個模塊組合的實驗結(jié)果，其中“×”代表未采用，“√”代表已采用。由表7可知，算法1為基準(zhǔn)算法STRCF，算法2為目標(biāo)函數(shù)中加入粒子強(qiáng)化正則項的跟蹤算法，與算法1 相比，DP 與AUC分?jǐn)?shù)分別提高0.009 和0.007，但實時性降低；算法3、算法4是僅采用APCE評分策略重檢測與APCE結(jié)合RPTC評分策略重檢測的跟蹤算法，其中本文采用的APCE結(jié)合RPTC的異常決策函數(shù)能更精確地評估目標(biāo)畸變狀態(tài)，相較算法3，該算法在DP 和AUC 上具有明顯提升；算法5 以算法4 為基礎(chǔ)，在目標(biāo)函數(shù)中加入粒子強(qiáng)化空間正則項，與算法4相比，DP分?jǐn)?shù)提升了0.041，AUC 分?jǐn)?shù)提升了0.002，由于構(gòu)建目標(biāo)函數(shù)和重檢測模塊都采用粒子濾波算法，算法5的實時性相較于其他模塊結(jié)合算法最低。從上述實驗數(shù)據(jù)可知，本文算法各個改進(jìn)模塊都能提升跟蹤性能，說明本文算法改進(jìn)方向合理，切實有效。

表7 在OTB100數(shù)據(jù)集上的消融實驗結(jié)果Table 7 Results of ablation experiment on OTB100 dataset

4 結(jié)束語

針對目標(biāo)畸變情況下現(xiàn)有相關(guān)濾波算法易跟蹤失敗的問題，基于STRCF算法，提出畸變感知相關(guān)濾波目標(biāo)跟蹤算法。構(gòu)建融合粒子采樣信息的粒子強(qiáng)化空間正則項，使濾波器在學(xué)習(xí)時專注于目標(biāo)可信賴部分，在訓(xùn)練模型時抑制干擾信息的影響；采用ADMM優(yōu)化算法以較少的迭代次數(shù)求解和更新濾波器目標(biāo)函數(shù)，加快算法運(yùn)行速率；在APCE 基礎(chǔ)上提出能精確描述目標(biāo)畸變程度的異常決策函數(shù)，當(dāng)判斷目標(biāo)畸變程度劇烈時，啟用粒子濾波重新檢測目標(biāo)位置，并且自適應(yīng)更新濾波器模型。通過在OTB50、OTB100和DTB70數(shù)據(jù)集上進(jìn)行對比實驗，實驗結(jié)果優(yōu)于基準(zhǔn)算法和當(dāng)前流行算法，充分驗證了本文算法在多因素干擾復(fù)雜環(huán)境下應(yīng)對目標(biāo)畸變情況更具準(zhǔn)確性及魯棒性。然而，本文算法無法有效跟蹤超出視野的目標(biāo)，因此下一步研究工作將嘗試結(jié)合根據(jù)需求設(shè)計的手工外觀特征及無監(jiān)督學(xué)習(xí)得到的深度特征訓(xùn)練濾波器模型，增強(qiáng)跟蹤性能。