基于VGG網絡的魯棒目標跟蹤算法*

徐 亮，張 江，張 晶,2,3，楊亞琦

(1.昆明理工大學信息工程與自動化學院,云南 昆明 650500;2.云南梟潤科技服務有限公司,云南 昆明 650500;3.昆明理工大學云南省人工智能重點實驗室，云南 昆明 650500;4.中國船舶集團有限公司第七〇五研究所昆明分部，云南 昆明 650102;5.云南省市場監督管理局,云南 昆明 650228)

1 引言

目標實時跟蹤是計算機視覺領域重要研究方向之一[1 - 3]，存在于人們生活的方方面面，但目標在跟蹤過程中存在多種因素的干擾，例如目標被遮擋和受光照強度變化影響等，而卷積神經網絡在計算機視覺中展現出了突出的性能，例如目標檢測[4]和語義分割[5]等，卷積神經網絡依靠其優秀的特征提取能力，可以很好地解決目標跟蹤過程中存在的問題。

經典的目標跟蹤算法主要分為基于判別式模型算法和基于生成式模型算法2大類，近年來學者們提出了很多優秀的相關濾波目標跟蹤算法，其中基于判別式模型算法有跟蹤學習檢測TLD(Tracking-Learning-Detection)[6]算法、高速核相關濾波跟蹤KCF(high-speed tracking with Kernelized Correlation Filters)[7]算法和強判別性尺度空間跟蹤DSST(Discriminative Scale Space Tracker)[8]算法等。基于生成式模型算法有增量學習目標跟蹤IVT(Incremental learning for Visual Tracking)[9]算法、核循環結構跟蹤CSK(exploiting the Circulant Structure of tracking-by-detection with Kernels)算法[10]和目標跟蹤分解VTD(Visual Tracking Decomposition)[11]算法等。同時還有很多優秀的相關濾波跟蹤算法，例如在線加速跟蹤OAB(On-line Ada-Boosting tracker)算法、輔助學習實時跟蹤Staple(complementary learners for real-time tracking)算法、空間約束強判別性相關濾波目標跟蹤SRDCF(Spatially Regularized Discriminative Correlation Filters for visual tracking)[12]算法和尺度自適應與多特征融合的核相關濾波目標跟蹤SAMF(Scale Adaptive kernel correlation filter with Multi Feature integration tracker)[13]算法等。以上相關濾波目標跟蹤算法幾乎都是單獨使用灰度特征、HOG(Histogram of Oriented Gradient)特征和CN(Color Name)特征或以上特征相結合來建立相關濾波器模板，大量實驗表明以上特征具有局限性，不適合用于所有的跟蹤目標。深度學習跟蹤算法[14]提出了“離線預訓練+在線微調”的想法，卷積神經網絡[15]在離線模式下對大量數據集進行訓練，訓練好的模型對輸入圖像提取的深度特征具有很強的特征表達能力，跟蹤過程中再通過微調方式繼續優化訓練好的模型，使其對輸入圖像提取的深度特征表達能力更強。

當目標被遮擋和受光照強度變化等多種因素干擾時，經典目標跟蹤算法往往采用單一特征來更新相關濾波器模板，導致相關濾波器模板更新不準確，最終導致目標跟蹤失敗。為此，本文提出了一種基于VGG(Visual Geometry Group)網絡的魯棒目標跟蹤算法，對局部上下文區域圖像提取深度特征，與核相關濾波跟蹤算法相結合；同時將局部上下文區域圖像的仿射變換平均特征圖用于最終平均特征圖和最終相關濾波器模板的更新中。這種對局部上下文區域圖像提取深度特征和自適應更新最終平均特征圖和最終相關濾波器模板的策略，使得本文算法在目標跟蹤過程中更加魯棒和跟蹤精度更高。

2 魯棒目標跟蹤算法

2.1 基于VGG網絡的特征提取

本文所使用的VGG網絡結構如圖1所示，其中Input表示輸入圖像，C1～C5表示卷積塊，P1～P5表示池化層，FC1～FC3表示全連接層，Output表示輸出分類結果。符號@前的數字表示經過該卷積塊的卷積操作或池化層的池化操作或全連接層的全連接操作后得到的特征圖的層數，符號@后的數字表示經過該卷積塊的卷積操作或池化層的池化操作或全連接層的全連接操作后得到的特征圖的大小。

Figure 1 Structure of VGG network圖1 VGG網絡結構

VGG16網絡共16層，包含13個卷積層和3個全連接層，其中13個卷積層又被分成5個卷積塊，第1個卷積塊C1包含2個3×3×64的卷積層，第2個卷積C2塊包含2個3×3×128的卷積層，第3個卷積塊C3包含3個3×3×256的卷積層，第4個卷積塊C4包含3個3×3×256的卷積層，第5個卷積塊C5包含3個3×3×256的卷積層，每個卷積塊后接一個最大池化層，最后一個最大池化層接3個全連接層，最后一個全連接層接Softmax層，每一部分的輸出都作為下一部分的輸入。

輸入層向VGG網絡輸入224×224×3大小的局部上下文區域圖像。

輸入圖像與卷積塊進行卷積操作，得到每一個卷積塊后對應的多個特征圖。

激活函數對每一個卷積塊后對應的多個特征圖進行非線性處理，使得特征圖的特征表達能力更強，本文中激活函數選用ReLU函數，其公式為ReLU(x)=max(0,x)。

最常用的池化操作有平均池化和最大池化，本文池化層采用最大池化操作，使得特征圖變小的同時保留主要特征。

輸入圖像與卷積塊C1進行卷積操作，經過激活函數處理后得到64個224×224大小的特征圖，然后特征圖再與池化層P1進行池化操作，得到64個112×112大小的特征圖。特征圖再與卷積塊C2進行卷積操作，經過激活函數處理后得到128個112×112大小的特征圖，然后特征圖再與池化層P2進行池化操作，得到128個56×56大小的特征圖。特征圖再與卷積塊C3進行卷積操作，經過激活函數處理后得到256個56×56大小的特征圖，然后特征圖再與池化層P3進行池化操作，得到256個28×28大小的特征圖。特征圖再與卷積塊C4進行卷積操作，經過激活函數處理后得到512個28×28大小的特征圖，然后特征圖再與池化層P4進行池化操作，得到512個14×14大小的特征圖。特征圖再與卷積塊C5進行卷積操作，經過激活函數處理后得到512個14×14大小的特征圖，然后特征圖再與池化層P5進行池化操作，最終得到512個7×7大小的特征圖。

經過最后一個最大池化層得到的特征圖與全連接層FC1進行全連接操作，得到4 096個1×1大小的特征圖。特征圖再與全連接層FC2進行全連接操作，得到4 096個1×1大小的特征圖。特征圖再與全連接層FC3進行全連接操作，最終得到1 000個1×1大小的特征圖。

經過最后一個全連接層得到的特征圖再經過Softmax層操作后得到1 000個分類結果,通過輸出層輸出。

將輸入圖像X傳遞給VGG網絡，相關特征圖定義如下：

hi=f(Hi?Wi+bi)

(1)

Hi=ReLU(.hi)

(2)

其中，hi表示經過第i(i∈{1,…,5})個卷積塊的卷積操作后得到的特征圖，.hi表示hi中的某一個元素，Hi表示hi中每一個元素經過激活函數處理后得到的特征圖，其中H0=h0=X，Wi表示第i個卷積塊對應權值向量，bi表示第i個卷積塊對應偏置向量，運算符號?表示卷積操作。

2.2 建立相關濾波器模板

VGG網絡中不同卷積塊對應的特征圖如圖2所示，每一行表示該卷積塊對應的特征圖，每一行最后一列表示該卷積塊對應的平均特征圖。從圖2中可以看出，低層特征對目標的語義表達能力較強，能夠很好地表示目標的外觀；隨著網絡深度增加，每一個卷積塊對應的特征圖大小呈倍數級減小，但其特征具有更強的魯棒性，能夠很好地表示目標的類別。

Figure 2 Feature maps of different convolution blocks in VGG network圖2 VGG網絡中不同卷積塊的特征圖

給定第一幀輸入圖像和目標位置，首先確定第一幀輸入圖像局部上下文區域，目標位置為給定目標位置，大小為W×H，W和H分別定義為目標矩形框寬和高的2.5倍；然后根據VGG網絡對輸入圖像大小的要求，采用線性插值方式將局部上下文區域圖像大小調整為224×224；最后將局部上下文區域圖像傳遞給VGG網絡后再提取經過conv3-1、conv3-2、conv3-3、conv3-4和conv3-5卷積塊卷積操作后得到的特征圖，將每一個卷積塊對應的特征圖進行加權平均獲得每一個卷積塊對應的平均特征圖，并將平均特征圖乘以對應大小的余弦窗,以消除圖像的邊緣效應。由于VGG網絡中池化操作會減小特征圖的尺寸，因此每一個卷積塊對應的平均特征圖大小不同，本文將每一個卷積塊對應的平均特征圖大小采用線性插值方式調整為W/4×H/4，使得每一個卷積塊對應的平均特征圖大小一樣。

VGG網絡中每一個卷積塊對應的平均特征圖能夠從不同方面刻畫目標本質，為此本文使用每一個卷積塊對應的平均特征圖來建立5個相關濾波器模板：

(3)

(4)

2.3 仿射變換平均特征圖

目標跟蹤過程中會發生尺度變化和旋轉變形，本文引入仿射變換以解決目標在跟蹤過程中發生尺度變化和旋轉變形時相關濾波器模板更新不準確問題。常用的仿射變換如圖3所示，圖像經過旋轉、縮放、拉伸和傾斜仿射變換后得到的圖像具有不變性，即直線依然是直線，平行線依然是平行線，直線相交的角度依然保持不變。利用其不變性，本文算法對局部上下文區域圖像提取仿射變換平均特征圖，自適應更新最終平均特征圖和最終相關濾波器模板。

Figure 3 Affine transformation example圖3 仿射變換示例圖

首先將局部上下文區域圖像進行左右旋轉8°、放大1.1倍、縮小0.9倍的仿射變換，在仿真實驗中發現進行上述仿射變換能很好地解決目標尺度變化和目標旋轉變形問題；然后將仿射變換后的圖像采用線性插值方式調整大小為224×224后傳遞給VGG網絡；其次提取經過conv3-1、conv3-2、conv3-3、conv3-4和conv3-5卷積塊卷積操作后得到的特征圖，對每一個卷積塊對應的特征圖進行加權平均獲得每一個卷積塊對應和平均特征圖，并將平均特征圖乘，以對應大小的余弦窗以消除圖像的邊緣效應；最后將每一個卷積塊對應的平均特征圖大小采用線性插值方式調整為W/4×H/4，得到每一個卷積塊對應的仿射變換平均特征圖。

2.4 置信圖獲取

(5)

(6)

2.5 基于VGG網絡的魯棒目標跟蹤算法流程

本文算法整體流程如圖4所示。

Figure 4 Flow chart of robust target tracking algorithm based on VGG network圖4 基于VGG網絡的魯棒目標跟蹤算法流程圖

(1)使用數萬幅目標跟蹤圖像離線預訓練VGG網絡，并使用訓練好的VGG網絡模型對輸入圖像提取特征。

(2)給定第一幀輸入圖像和目標位置，然后確定局部上下文區域，采用線性插值方式將局部上下文區域圖像大小調整為224×224后傳遞給VGG網絡，獲得每一個卷積塊對應的平均特征圖，并使用每一個卷積塊對應的平均特征圖建立5個相關濾波器模板，在第一幀輸入圖像中平均特征圖即為最終平均特征圖，相關濾波器模板即為最終相關濾波器模板。

(3)確定后續幀輸入圖像局部上下文區域，目標位置為上一幀輸入圖像目標位置，大小為W×H不變，采用線性插值方式將局部上下文區域圖像大小調整為224×224后傳遞給VGG網絡，獲得每一個卷積塊對應的平均特征圖和仿射變換特征圖。

(4)當前幀輸入圖像每一個卷積塊對應的平均特征圖和仿射變換特征圖分別與上一幀輸入圖像每一個卷積塊對應的最終平均特征圖進行核相關計算，得到當前幀輸入圖像每一個卷積塊對應的2個核相關特征圖，當前幀輸入圖像每一個卷積塊對應的2個核相關特征圖分別與上一幀輸入圖像每一個卷積塊對應的最終相關濾波器模板進行點乘運算，得到當前幀輸入圖像每一個卷積塊對應的2個置信圖。

(5)對當前幀輸入圖像每一個卷積塊對應2個置信圖分別求最大響應，較大者作為當前幀輸入圖像每一個卷積塊對應目標位置，若較大者小于閾值TH=0.2，被跟蹤目標很大可能被遮擋，通過置信圖求最大響應得到目標位置不可信，則當前幀輸入圖像目標位置等于上一幀輸入圖像目標位置，在仿真實驗中發現閾值TH設置為0.2能夠很好地解決目標被遮擋問題；對當前幀輸入圖像5個目標位置求平均值，作為當前幀輸入圖像最終目標位置。

(6)若當前幀輸入圖像每一個卷積塊對應的目標位置由每一個卷積塊對應的平均特征圖計算獲得，則當前幀輸入圖像每一個卷積塊對應的最終平均特征圖和最終相關濾波器模板由每一個卷積塊對應的平均特征圖進行更新；若當前幀輸入圖像每一個卷積塊對應的目標位置由每一個卷積塊對應的仿射變換平均特征圖計算獲得，則當前幀輸入圖像每一個卷積塊對應的最終平均特征圖和最終相關濾波器模板由每一個卷積塊對應的仿射變換平均特征圖進行更新；若當前幀輸入圖像每一個卷積塊對應的目標位置由上一幀輸入圖像每一個卷積塊對應的目標位置給定，則當前幀輸入圖像每一個卷積塊對應的最終平均特征圖和最終相關濾波器模板不更新。

(7)重復步驟(3)～步驟(6)，直到最后一幀圖像。

3 實驗結果與分析

3.1 測試算法與軟件環境

為驗證本文算法在目標被遮擋和受光照強度變化等多種因素干擾時跟蹤的準確性，將本文算法與當前主流相關濾波跟蹤算法DSST算法、OAB算法、CSK算法、TLD算法、KCF算法、Staple算法、SRDCF算法和SAMF算法進行對比分析。測試視頻序列為OTB50[16]，實驗平臺為Matlab2016a，顯卡為英偉達1060，顯存為6 GB，內存為16 GB，CPU為6核12線程2.2 GHz Intel i7-8750H。

3.2 定量評估與結果分析

為了全面評估本文算法的性能，對跟蹤結果使用2種指標進行評估：

(1)距離誤差成功率：某一幀輸入圖像中跟蹤算法輸出目標位置與人工標定目標位置的距離誤差小于某個閾值，則該幀輸入圖像被認為跟蹤成功；

(2)重疊度成功率：某一幀輸入圖像中跟蹤算法輸出目標矩形框與人工標定目標矩形框的重疊面積在跟蹤算法輸出目標矩形框與人工標定目標矩形框的總面積中所占的比重大于某個閾值，則該幀輸入圖像被認為跟蹤成功。

圖5是在OTB50測試視頻序列上的總體成功率曲線圖，其中距離誤差成功率曲線圖橫軸表示距離誤差閾值，縱軸表示跟蹤成功圖像幀數與圖像總幀數的比值，算法后面的數字表示對應算法距離誤差成功率曲線與坐標軸圍成的面積；重疊度成功率曲線圖橫軸表示重疊度閾值，縱軸表示跟蹤成功圖像幀數與圖像總幀數的比值，算法后面的數字表示對應算法重疊度成功率曲線與坐標軸圍成的面積。本文算法基于VGG網絡對局部上下文區域圖像提取特征圖并建立相關濾波器模板，與核相關濾波跟蹤算法相結合自適應確定目標位置和最終目標位置。從圖5中可以看出，本文算法在OTB50測試視頻序列上的總體跟蹤精度超過當前主流相關濾波跟蹤算法的，從而說明本文算法在目標被遮擋和目標受光照強度變化等多種因素干擾時都具有較好的跟蹤效果。

Figure 5 OTB50 video sequence overall success rate graph圖5 OTB50視頻序列總體成功率曲線圖

(1)目標被遮擋：選用圖6a視頻序列，該視頻序列中被跟蹤的目標是一位女性行人，女性行人在行走過程中分別被5輛不同顏色的車遮擋，CSK、OAB和TLD算法都發生了跟蹤漂移現象。本文算法對局部上下文區域圖像提取平均特征圖和仿射變換特征圖，自適應確定目標位置和最終目標位置，自適應更新相關濾波器模板，當目標被遮擋時跟蹤效果也具有較好的魯棒性。

(2)目標尺度變化：選用圖6b視頻序列，該視頻序列中被跟蹤的目標是一只玩具狗，玩具狗在人的作用下遠離和靠近鏡頭時尺度發生變化。本文算法對局部上下文區域圖像提取仿射變換平均特征圖進行目標跟蹤，能夠很好地適應目標尺度變化。

(3)目標旋轉變形：選用圖6c視頻序列，該視頻序列中被跟蹤的目標是一只玩具熊，玩具熊在吊繩作用下發生左右旋轉。Staple、SRDCF和CSK算法都發生了跟蹤漂移現象；本文算法對局部上下文區域圖像提取仿射變換平均特征圖進行目標跟蹤，能夠很好地適應目標旋轉變形。

(4)目標快速運動：選用圖6d視頻序列，該視頻序列中被跟蹤的目標是一個男孩，男孩快速地上下左右跳動。CSK算法發生跟蹤漂移現象，本文算法始終能夠準確跟蹤目標。

Figure 6 Partial video sequence tracking result圖6 部分視頻序列跟蹤結果

(5)目標運動模糊：選用圖6e視頻序列，該視頻序列中被跟蹤的目標是一個男孩，男孩正在跳繩，由于男孩跳繩動作較快和圖像分辨率較低，使得整個圖像比較模糊。DSST、CSK和KCF算法都發生了跟蹤漂移現象，本文算法能夠準確地跟蹤目標，較其他算法具有更好的魯棒性。

(6)目標受光照強度變化影響：選用圖6f視頻序列，該視頻序列中被跟蹤的目標是一位歌手，歌手在歌唱過程中背景光照變化強烈。SAMF、Staple、SDRCF、OAB和KCF算法都發生了跟蹤漂移現象；本文算法根據光照變化前后圖像自適應更新相關濾波器模板，防止產生跟蹤誤差，能夠穩定地跟蹤目標。

4 結束語

針對復雜場景中目標被遮擋和受光照強度變化等多種因素干擾時，傳統相關濾波目標跟蹤算法不能很好地跟蹤目標，本文提出了一種基于VGG網絡的魯棒目標跟蹤算法，首先對局部上下文區域圖像提取平均特征圖和仿射變換平均特征圖；然后將當前幀輸入圖像置信圖的最大響應值和閾值進行對比，確定當前幀輸入圖像新的最終平均特征圖和最終相關濾波器模板，當目標外觀發生變化時能夠使用更加準確的目標特征，大大提高了目標跟蹤的魯棒性和精準度；最后與核相關濾波跟蹤算法相結合進行目標位置的計算。實驗結果表明，在目標被遮擋和受光照強度變化等多種因素干擾時，該目標跟蹤算法能夠有效地對目標進行跟蹤。