快速多域卷積神經網絡和光流法融合的目標跟蹤*

張曉麗,張龍信,肖滿生,左國才

(湖南工業大學計算機學院，湖南 株洲 412007)

1 引言

Figure 1 對RPN網絡的改進圖1 Improvement of RPN network

目標跟蹤是計算機視覺中的重要研究課題，主要是為了估計移動目標在各種場景中的位置，目標跟蹤環境復雜多樣，光照、遮擋、天氣等各種因素會對目標跟蹤帶來干擾。目前目標跟蹤有生成方法或判別方法2種，前者通過使用稀疏表示、密度估計和增量子空間學習來描述目標外觀，以找到最佳目標范圍；相反，判別方法通過創建一個模型來確定背景物體的主要目標。現在國內外很多學者都在基于這2種方法進行目標跟蹤研究工作，取得了一系列研究結果，如基于生成的方法，Tao等人[1]提出了具有代表性的生成方法，使用多種類型的神經網絡計算該方法的誤差，跟蹤結果可以選取最靠近目標的范圍。經典的判別跟蹤算法有KCF(Kernelized Correlation Filters)[2]、C-COT(Continuous Convolution Operators for Visual Tracking)[3]和Staple[4]等，它們在標準視頻跟蹤中均取得了良好的效果。近年來，卷積神經網絡(CNN)已應用于各種計算機視覺任務，例如圖像分類[5 - 7]、語義分割[8 - 10]、目標檢測[11,12]及其他任務[13,14]。卷積神經網絡(CNN)在目標識別方面也非常成功。基于CNN的目標跟蹤算法是一種判別方法，文獻[4,15]直接利用深度學習的判別模型進行目標跟蹤，不需要對參數進行更新，獲得了較好的跟蹤速度。MDNet(Multi-Domain Convolutional Neural Network)[16]提出了一種新的CNN體系結構，在目標跟蹤學習過程中，將獲得的樣本分數與閾值相比較，若高于此閾值作為正樣本進行訓練。目前在線跟蹤算法的性能得到了較大的提升，但其計算速率還是較慢，雖然GPU的性能很高，但只達到了1～2 frame/s[17,18]，這極大地限定了該算法的實際應用。文獻[10]是在MDNet基礎上進行改進，得到了一種快速多域卷積神經網絡，跟蹤目標檢測速度和性能良好；文獻[12]的算法與本文算法相似，將區域卷積神經網絡與光流法相結合，但是跟蹤速度還是沒有達到良好的效果。因此，為解決目標跟蹤速度慢的問題，本文提出了一種融合Faste MDNet與光流法的目標跟蹤算法。首先利用光流法獲取目標的運動狀態，從而獲得目標位置的初選框，然后將該初選框作為快速多域卷積神經網絡的輸入,通過學習得到目標的確切位置和邊界框。

2 目標跟蹤算法

2.1 Faster MDNet原理及改進

Faster MDNet基于MDNet網絡結構框架引進了RPN和ROIAlign層，目的是加快候選區域建議框特征的提取，并且降低特征空間信息量化損失。使用Faster MDNet算法對目標檢測，首先取最后一層輸出的特征圖在ImageNet上進行訓練，然后用RPN獲取目標位置并用回歸方法校正，通過Softmax圖層確定該目標是前景目標還是背景。

通過RPN上的CNN網絡輸出從最后一層特征圖上獲取的錨點，分別取前景和背景12個大小不變的錨點進行1*1卷積，然后用Softmax歸類，Faster MDNet的輸入為卷積獲取的24維向量，再將分類后舍去背景的錨點所對應的邊界框進行微調和歸類。本文只需將目標前景和背景作區分，因此對RPN進行改進，移除分類Softmax層，如圖1所示，刪除虛線框中的部分。

將初步獲得的初選框作為Faster MDNet的輸入，特征為通過卷積神經網絡輸出的最后一層特征圖，然后用RPN確定跟蹤目標的位置。

2.2 光流法

(1)

新的初選框的中心點D(xD,yD)T及初選框的大小S(w,h)T可以根據式(2)得出：

(2)

其中,w和h分別為新的初選框的寬和高；θ為用于確定光流矢量的加權值，本文通過實驗得出θ取0.5比較合適。

最后，Faster MDNet的輸入為D(xD,yD)T和S(w,h)T在第T幀圖像上截取的初選框，并以檢測的目標精確位置，作為確定下一幀初選框位置和大小的基礎。

Figure 2 Flow chart of tracking algorithm圖2 跟蹤算法流程圖

3 Faster MDNet訓練學習及視頻目標跟蹤實現過程

3.1 離線訓練及在線跟蹤

本文通過ImageNet-Vid[21]獲取參數對網絡進行初始化，在線網絡訓練期間，RPN用于提取每個視頻跟蹤序列第1幀的ROI特征，因此，獲得更高特征的語義表示需要2個輸入過程。本文在大量的標準目標跟蹤視頻數據集上通過采用隨機梯度下降SGD(Stochastic Gradient Desent)的方法對Faster MDNet網絡完成端到端的離線訓練。

3.2 跟蹤實現過程

本文首先利用光流矢量確定目標的初選框，以此作為Faster MDNet的輸入，特征為通過卷積神經網絡輸出的最后一層的特征圖，然后用RPN確定跟蹤目標的位置。本文實現的跟蹤算法流程圖如圖2所示。

視頻目標跟蹤的具體實現步驟如下所示：

第1步光流法確定初選框。用第1幀獲得目標邊界框的中心G(xG,yG)，然后在第2幀上剪切出2倍長度和寬度的搜索塊，從而獲得初選框。在文獻[15]中，隨后的跟蹤過程可以直接使用前一幀的跟蹤結果的2倍來獲得一個初選框，且跟蹤的結果通過相鄰幀間的相關性獲取，前一幀的形變和位移較大時，可能會移出初選框，這時跟蹤就會失敗。在本文中，使用光流法得到目標的運動狀況，將先前幀跟蹤結果的邊界框分別與目標位移系數α和目標位移方向系數β相乘，得到初選框，這樣就不會出現由于嚴重變形和位移而導致的目標漂移。

第2步對目標精確位置的檢測：從整幅圖像上截取的大小為跟蹤框的α倍的一小塊作為卷積網絡的輸入，那么通過改進的RPN不需要提供許多推薦框，因此減少了一些計算量。基于前一幀運動狀態的跟蹤結果，通過計算光流矢量確定初選幀，Faster MDNet用作檢測器以確定目標的確切位置。

第3步獲得的特征提取器為ImageNet的預訓練卷積神經網絡，特征選擇為網絡輸出的最后一層特征圖，然后根據RPN確定推薦幀是前景目標還是背景，目標的確切位置為前景中得分最高的推薦幀，最終獲取目標的準確位置。

4 實驗結果

4.1 訓練數據選擇

本文用于訓練的數據是ILSVRC[22]競賽中的VID(視頻對象檢測)數據集和PASCAL VOC2012[23]數據集，ILSVRC競賽VID數據集中的訓練數據包括3 386個視頻，分為30個類別共1 122 397幅圖像；PASCAL VOC2012共20種數據集和11 000幅圖像。

4.2 數據預處理

PASCAL VOC原始數據格式類似于ILSVRC VID，于是預處理的格式數據仍為PASCAL VOC數據集的格式。

在檢測目標精確位置時，可能會出現Faster MDNet的輸入質量很差的情形，因為在跟蹤過程中，目標可能只占初選框的一部分，或者目標只會出現在圖像的邊緣部分，因此需要對訓練數據進行預處理。數據預處理時訓練數據以圖像中標記的真實框為中心，并以2倍大小的標記框執行“隨機”截取。截取的部分必須包含目標，所以“隨機”截取的過程需要在真實標記框的前提下進行，截取尺寸大小也需固定，為了與實際應用相符，在模擬過程中需要將輸入樣本多樣化，將隨機截取目標區域中的左上方、右上方、左下方、右下方和中間，并且每個樣本都是從5個截取模式中隨機選擇的，如圖3所示。

Figure 3 Random data interception 圖3 數據隨機截取

4.3 實驗跟蹤結果分析

為了驗證本文算法的性能，進行了相關實驗，具體實驗方案如下所示：

(1)實驗環境:計算機硬件配置，2臺PC機，其CPU： Intel? Pentium? CPU G3220@3.00 GHz 3.00 GHz，內存：RAM 4 GB；軟件配置，操作系統為Windows 7旗艦版，編程與計算工具為Matlab 2018b，所有實驗數據存儲在本地硬盤上。

(2)實驗數據：將VOT2014數據集用作測試數據。

(3)實驗評價指標：①AO(Average Overlap)，即跟蹤成功時跟蹤框和ground truth框之間的平均重合率，用于衡量跟蹤算法對跟蹤變形的魯棒性。②EFO(Equivalent Filter Operations)，即分析跟蹤算法速度的重要指標；③精度A(Accuracy)，魯棒性R(Robustness)，精度水平Ar(Accuracy Rank)，魯棒性等級Rr(Robustness Rank)，AO的期望值EAO(Expected Average Overlap)。

為了可視化算法的性能改進，對比了C-COT[3]、TCNN[18]和Staple[4]算法。實驗結果如表1所示。

Table 1 Comparing VOT tracking results of multiple tracking algorithms on the test dataset表1 比較多種跟蹤算法在測試數據集VOT上的跟蹤結果

從表1中看出，本文跟蹤算法在AO和EFO指標上均有出色表現。不同算法的運行性能不同，因此在評估跟蹤算法的速度時很難統一。基于此考慮，VOT比賽在計算EFO時進行了改進：先在大小為900×900 pixel的圖像上進行窗口大小為60×60 pixel的濾波，所用時間與跟蹤算法獲取一幀圖像的時間相除，對得出的結果進行歸一化處理獲得其性能[6]。從表1中可以看出，本文算法的EFO達到了94.256，相比其他算法高出很多。

表2為本文算法在不同測試樣本上的跟蹤長度，其中，L1為測試樣本中的幀總數，L2為取得成功追蹤的幀數(其閾值為0.5，表示跟蹤成功)。

Table 2 Target tracking results of the algorithm on the VOT dataset 表2 VOT數據集上本文算法的目標跟蹤結果

根據表2的結果，本文實現的算法先以一個共同的目標跟蹤框架為基礎，然后通過光流法計算出目標的運動狀態，得到目標的初選框。可以看出，本文算法的目標跟蹤結果明顯較好，但是有許多Man樣本由于具有光遮擋和相同類型的目標，且成功跟蹤的時間很短，很容易引起漂移導致跟蹤失敗。

由圖4可以得出，在VOT測試集上不僅可以完全標記出目標的邊界，而且在目標的移動過程中，即使目標會出現大幅度的變化(第5行和第6行)，也能夠將目標的邊界完整地標記出來(灰色代表ground truth框，白色代表本文算法獲得的結果)。

Figure 4 Tracking results of algorithms圖4 不同算法的跟蹤結果

5 結束語

從實驗中可看出，本文提出的融合快速多域卷積神經網絡與光流法的目標跟蹤算法，與基于深度學習的跟蹤算法相比，其跟蹤速度明顯提高；通過使用Faster MDNet算法來確定目標的確切位置，該算法的跟蹤速度和性能表現良好；對于視頻中迅速移動的目標，本文算法使用光流法先獲得初選框，使得跟蹤結果有較好的魯棒性，與文獻[13,16]中使用區域卷積神經網絡模型以及直接使用先前跟蹤結果2倍大小的候選區域作為輸入相比，本文算法具有較大的性能優勢。對于使用深度學習進行目標追蹤不能同時兼顧準確度和速度的問題，通過本文算法得到了一定的緩解，后續將進一步提升光照遮擋和重疊魯棒性，對算法性能進行進一步優化。