深度特征的核相關濾波視覺跟蹤

魏永強，楊小軍

長安大學 信息工程學院，西安 710064

1 引言

視覺目標跟蹤作為計算機視覺領域的一個重要研究課題，在智能監控[1-3]、人機交互[4-5]、虛擬現實[6-8]中得到廣泛的實際應用。視覺目標跟蹤是指當給定要跟蹤的視頻圖像第一幀中目標的初始位置，來計算在下一幀視頻圖像中目標的確切位置[9]。與此同時，對于視頻中的運動目標，其運動的場景非常復雜并且經常發生變化，容易受到背景相似、光照條件變化、遮擋、外觀變形、快速運動等各種干擾因素；并且目標跟蹤算法還要具備實時性[10]。針對這些問題，許多算法應運而生。其中，文獻[11]使用分類方法對目標進行跟蹤。文獻[12]提出TLD（Tracking-Learning-Detection）目標跟蹤框架，嘗試實現目標在完全被遮擋或者目標離開視場等復雜場景下的長時間目標跟蹤。該框架將長時間目標跟蹤劃分為三個子模塊，即跟蹤、學習和檢測模塊。文獻[13]利用SVM方法在線學習一個分類器。文獻[14]將顏色屬性作為輸入數據，通過將目標在RGB空間的顏色特征轉化到CN空間的11維顏色特征，它可以準確、穩定地處理豐富的顏色特征，因此用提取到的CN特征訓練出來的濾波器更加魯棒。文獻[15]針對傳統的核相關濾波器樣本尺寸固定的問題，融合了HOG特征和CN特征以及灰度特征；同時使用尺度池技術對目標進行尺度變化的檢測跟蹤，找到目標的最佳尺度，提高跟蹤器的綜合性能。文獻[16]將尺度濾波器和位置濾波器相結合，位置濾波器進行當前幀目標的定位，尺度濾波器進行當前幀目標尺度的估計，從而可以選擇不同的特征種類和特征計算方式。文獻[17]通過采用PCA降維，尺度由33個減少到17個，提高了速度和魯棒性。針對在遮擋的情況下可能導致追蹤失敗。文獻[18]通過將空間和時間正則化納入DCF框架，有效解決邊界效應，可以在有遮擋情況下成功追蹤目標，同時能夠很好地適應較大的外觀變化，該模型在準確率、魯棒性和速度方面都表現良好，可實時追蹤目標。文獻[19]使用每一幀灰度圖像中的目標圖像塊訓練濾波器，在頻域進行相關濾波，實現目標的實時跟蹤。在該框架基礎上，基于相關濾波的跟蹤算法取得了極大的突破，大大擴展了相關濾波的應用范圍。文獻[20]中，在時域中的相關運算數學表達式為：

式中f和h、g分別表示要跟蹤的視頻圖像、濾波器模板、響應輸出。為加速計算，對上式進行快速傅里葉變換。將輸入的圖像以及濾波器進行二維傅里葉變換，然后將時域中的卷積變成頻域內的點乘，得到下式：

⊙表示點乘，?表示復共軛。為了能獲得一個將訓練數據映射到期望輸出的濾波器，通過建立最小化輸出平方和誤差模型來求解濾波模板。考慮到目標外觀變化的影響，因此對初始跟蹤框進行隨機仿射變換來產生n個圖像作為參考樣本，從而提高濾波器模板的魯棒性。由此得到目標函數：

利用目標函數可以訓練出最優的相關濾波模板。

基于核相關濾波的算法憑借實時性優勢得到廣泛應用。但由于采用傳統的淺層手工特征，在實際跟蹤過程中存在精度過低問題。針對此問題，本文提出的算法基于核相關濾波框架，并利用預訓練好的卷積神經網絡模型（殘差網絡[21]）來提取深度特征，在滿足實時性的同時，精度也有較大的提升。

2 核濾波相關

自從 MOSSE（Minimum Output Sum of Squared Error）算法把相關濾波的思想運用到目標跟蹤問題中，憑借極快的跟蹤速度，相關濾波算法不斷得到改進。CSK跟蹤算法，引入圖像的循環移位采樣、巧用核函數等方法進行跟蹤。后來，在原有的核相關濾波算法的基礎上，把此算法拓展到具有多個通道特征的情況，提出了KCF[22]算法。該算法主要流程可分為以下四個方面。

2.1 樣本構造

在分類時如何構造所需要訓練的樣本是一個非常關鍵的問題。傳統方法中利用在視頻圖像上臨近目標區域采集得到的樣本作為正樣本，離目標較遠的區域采集得到的樣本為負樣本。但這種采樣方法不足之處在于：采集到的樣本沒有規律，采集的樣本過多，在進行訓練的時候會很耗時。于是，KCF算法通過對目標區域進行循環采樣，既能獲得足夠多的合理訓練樣本，又能在計算的過程中利用循環矩陣的性質把求解過程轉化到傅里葉域中實現，提高了算法的速度。

2.2 訓練分類器

算法的主要目標是從訓練樣本中學習一個多通道的卷積濾波器。假設第i個訓練樣本為xi，對應標簽為yi，對樣本訓練的目標就是要獲取一個函數來表示輸入與輸出，分類器的訓練可以通過最小下式來獲得：

其中，w為向量參數（濾波模板系數），λ為正則化參數。

2.3 目標位置檢測

通過下式來計算檢測樣本z對應的回歸值為：

當待檢測樣本的個數很多時，計算非常耗時，為此，在樣本檢測過程中，采取與樣本訓練同樣的方式，循環構造檢測樣本，定義訓練樣本x和檢測樣本z的核矩陣：f()

z表示循環移位構造得到的檢測樣本對應的回歸響應，利用循環矩陣的性質，可以在離散傅里葉域先求出：

其中⊙表示點乘，對上式兩邊使用傅里葉逆變換即可獲取回歸響應。整個過程中在傅里葉域上進行各種運算，減少運算量、更加快速。

2.4 更新分類器

由于目標的外觀模型是不斷變化的，同時，目標的歷史信息也極為重要。因此采用如下的更新公式來更新分類器：

3 結合深度特征的核相關濾波

3.1 用CNN提取深度特征

在目標跟蹤領域，文獻[23]提出不同的卷積層輸出的特征圖特性不同：深層次的卷積層會提取出更抽象的特征，包含更豐富的語義信息，在區分不同種類物體時能力較強，而且對形變和遮擋比較魯棒；淺層次的卷積層特征將會提供更具體的局部特征，它們在區分同類物體的不同個體時，區分能力更強，但對于外觀變化并不魯棒。因此，為了使卷積神經網絡的空間分辨能力進一步提升，提出的算法基于核關濾波框架，并且利用預訓練好的殘差網絡提取深度特征，得到每一個卷積層的輸出特征，然后結合相關濾波來確定目標的位置。

3.2 雙線性插值進行上采樣

由于網絡中的池化操作，隨著卷積層級的加深，提取到的特征空間分辨率逐步降低，無法對目標進行精確的定位，因此需要使用雙線性插值對提取到的特征進行上采樣，按照公式：

這里xi代表上采樣后的特征圖，hk代表上采樣之前的深度特征圖，αik是插值的權值。

3.3 相關濾波結合深度特征

每個卷積層的輸出都是被用作多個通道特征，對于每一層的輸出特征，大小為M×N×D，M、N代表圖像特征的寬高，D是特征的通道數。將上采樣后的特征圖xi在M維和N維上的所有循環移位作為訓練樣本，每一個xm,n(m,n)都有一個高斯函數標簽y(m,n)=符合二維高斯分布。因此可以學習得到一個與xi同樣尺寸大小的濾波器w。

λ是正則化參數。通過快速傅里葉變換將目標函數轉換到頻域：

Y表示傅里葉變換，表示X的復共軛，代表逐元素點乘。當給定下一幀視頻圖像當中的候選區域后，然后提取該區域的深度特征Z，大小為M×N×D，則第l卷積層相關濾波的響應圖可以用下式子計算得到：

其中，F-1表示傅里葉逆變換。則相關響應圖fl的最大值處就是目標位置。

3.4 精確估計目標位置

本文采用CNN各層的輸出作為深度特征，并對每層的輸出均構造一個獨立的相關濾波器。給定一組相關濾波響應特征圖的集合{fl}分層來推斷出每一層特征圖當中的目標位置，用(m?,n?)=argmaxm,nfl(m,n)來表示第l層的最大響應位置，則前一個卷積層當中目標的最優位置可以用下式求出：

其中，γ為正則化參數，后一層的響應會對前一層的響應產生影響。后一層的響應值被正則化參數γ加權并且反向傳播到前一層的相關響應映射。最后，在空間分辨率最高的卷積層通過最大化式（15）來估計目標的精確位置。

3.5 相關濾波器更新

為了得到一個更加魯棒的近似，用移動平均來分別更新濾波器式（13）中Wd的分子Ad、分母Bd。

其中，t為視頻幀索引，η為學習速率。

4 實驗結果與分析

4.1 實驗參數

本文用在ImageNet上訓練好的殘差卷積神經網絡提取深度特征。為了提高特征圖的空間分辨率，輸出特征不經過池化層。給定視頻幀的搜索窗口大小是目標大小的2倍，把每一個卷積層提取到的深度特征縮放到固定尺寸。每一個卷積層上用于訓練濾波器的參數是一樣的，式（12）的正則化參數設置為10?4，用核帶寬為0.1的高斯函數產生標簽。把式（13）中學習速率設置為0.001。

4.2 評價標準

本文主要選用OTB50和OTB100[24]中的視頻序列進行實驗評測，遵循文獻[24]實驗設置。采用主流的評價指標來衡量跟蹤效果。第一個是精確度曲線，定義為跟蹤目標的中心位置和手工標定的準確位置之間的平均歐氏距離，一般選擇曲線在閾值為20像素處的精確度來對比不同的算法，歐式距離為：D=成功率指對于視頻的每一幀，當跟蹤得到的目標區域BT與目標真實區域BG交集除以并集得到的VOR大于某個閾值時，代表跟蹤是成功的但這種方法不具有代表性，因此通常使用每一個成功率圖曲線下方的面積（AUC）作為替代，用于對目標跟蹤算法進行排序。

4.3 定量比較分析

將本文提出的算法和一些算法進行對比。對比的算 法 包 括 ECO_DEEP[25]、SRDCF[26]、STRCF[18]、DCF[27]、CCOT_HOG[28]、BACF[29]。提出的算法通過深度特征融合，極大地提升了性能，同時，由于實驗選取的數據集包含各種挑戰因素，在不同的視頻幀中，本文算法都取得了較好的結果。跟蹤結果精確度圖，成功率圖如圖1所示。

圖1 算法精確度、成功率圖

為了進一步驗證本文算法對光照變化、尺度變化、運動模糊、遮擋、快速運動等各種干擾因素的魯棒性，圖2給出了與其他各種算法的對比。

從圖2得出，本文提出的算法由于采用更輕量級的主干網絡架構來提取深度特征，能夠在大多數干擾因素下取得較好的跟蹤效果。

圖2 各種干擾因素下的對比

4.4 定性比較分析

為了體現本文提出算法的跟蹤性能，在OTB50、OTB100數據集上選取了一些視頻序列進行測試，對不同算法的跟蹤結果進行對比，跟蹤結果如圖3所示。

圖3 算法在不同視頻跟蹤結果

綜合上述實驗的對比結果，在不同干擾因素視頻中本章算法表現了其優越的跟蹤性能。從圖3中可以看出，在Jogging視頻序列中第55幀目標被電線桿完全遮擋，其他四種算法雖然也能成功到跟蹤目標，但本文算法能迅速地找到目標，跟蹤精度更高，能夠完成全跟蹤過程，說明本文算法可處理完全遮擋，魯棒性好。在freeman序列中，目標在行走過程中存在旋轉現象，從第237幀可知，由于目標旋轉，其他四種算法均陸續出現漂移，跟丟目標。而本文算法利用深度特征，因此能夠精確地跟蹤目標，保證了算法的高效性。在skiing視頻序列中，由于目標存在快速運動、旋轉、尺度的變化且目標運動方向發生急劇變化，對算法跟蹤產生了較大干擾，只有本文提出的算法能夠有效地一直成功跟蹤目標，其他算法均跟蹤失敗。在soccer視頻序列中，存在背景雜波、快速變形、運動模糊、超出平面外旋轉等干擾，本文算法的跟蹤效果優于其他四種算法。

5 結論

針對相關濾波目標跟蹤算法中手工特征帶來的一些問題。本文提出的算法基于核相關濾波框架，并利用預訓練好的卷積神經網絡模型（殘差網絡）來提取深度特征，充分考慮了不同卷積層的深度特征特性，使用對不同類別物體判別能力較強的高層特征和對同類間不同物體判別能力較強的淺層特征，將不同層次的深度特征進行融合，增強了深度特征的判別能力，提升了目標跟蹤算法的性能。在選定的視頻序列上進行對比實驗得到的結果表明，得益于深度特征融合算法，本文提出的算法優于相關的對比算法。