基于孿生卷積神經網絡的目標跟蹤算法研究

鄒超 楊國平

摘 要： 傳統的目標跟蹤算法采用人工特征描述物體特征，這類人工設計的特征不能全面地表達一個物體的特點，在跟蹤過程中這些特征點容易受到外界因素的影響，導致跟蹤效果不穩定?；诰矸e神經網絡的目標跟蹤算法由于采用卷積神經網絡提取物體的深層次特征，這類特征能夠模仿人腦描述學習一個物體的深層特征，使得在跟蹤中具有較高的穩定性，目標不容易丟失且跟蹤的準確性更高，能夠適應復雜多變的環境魯棒性更好。本文提出的算法采用Tensorflow搭建網絡框架，離線訓練模型，然后利用OpenCV調用訓練好的模型進行目標跟蹤實驗。算法在確保較高的跟蹤準確性基礎上，又得到了較快的跟蹤速度、且顯示出很強的實時性，具有一定的實際應用價值。

關鍵詞： 目標跟蹤; 卷積神經網絡; Tensorflow; OpenCV

文章編號： 2095-2163（2021）03-0177-04 中圖分類號：TP183;TP391.41 文獻標志碼：J

【Abstract】The traditional target tracking algorithm uses artificial features to describe the characteristics of the object， this kind of artificial features can not fully express the characteristics of an object， so in the practical application of environmental changes these characteristic points will lead to inaccurate tracking， and the consequences become serious when the target is lost. The target tracking algorithm based on convolutional neural network uses convolutional neural network to extract the deep-level features of an object， which can describe the features of an object in a more comprehensive way， thus resulting in higher stability in the tracking process， less target loss and higher tracking accuracy， and being able to adapt to complex and changeable environments. The algorithm proposed in this paper uses Tensorflow to build network framework and offline train model， and then uses OpenCV to call the trained model for target tracking experiment. The algorithm not only keeps the tracking accuracy， but also has fast tracking speed and real time， which has certain practical application value.

【Key words】 target tracking; convolutional neural network; Tensorflow; ?OpenCV

0 引 言

隨著深度學習[1]的不斷發展成熟，其應用范圍也在不斷擴大。最近很多學者將其引用到目標跟蹤中。目標跟蹤是計算機視覺領域的一個經典應用，通過跟蹤單個或者多個移動目標，可以獲取目標的位置、運動速度、方向等信息為相關的任務提供信息支持和消除誤差。其應用諸如手勢操作、行人行為預測、車輛跟蹤、機器人抓手等。經典的目標跟蹤算法主要有CamShift[2]為代表的運用目標的色彩特征的跟蹤算法、以KCF[3]代表的核相關濾波算法、卡爾曼濾波算法[4]、粒子濾波算法[5]以及利用物體的特征點實現跟蹤諸如基于SIFT特征點、SURF特征點的目標跟蹤算法等。這些算法均通過人工設計的特征來表達物體，然后通過分析人工特征實現對目標的跟蹤。

Mean-Shift、CamShift通過物體的色彩信息計算出色彩分布直方圖，然后利用直方圖的分布實現對目標的跟蹤?；赟IFT和SURF特征點的算法主要運用人工設計的角點、即一些灰度突變的位置點實現對目標的跟蹤。這些方法受限于人工設計的特征的局限性和容易受到諸如光照變化、物體形變、旋轉、運動模糊等因素的影響，導致跟蹤的準確性不夠高、目標漂移甚至丟失目標。核相關濾波算法（Kernel Correlation Filter，KCF），是在2014年由Henriques等人提出來的。以KCF為代表的核相關濾波跟蹤算法在速度上具有較大的優勢，能夠滿足實時性的要求，但是其難以應對目標的尺度變化、遮擋、重疊等問題。

針對這些問題，很多學者提出了一些改進算法結合多尺度、多通道等方法提高核相關算法的準確性。所以找到一種合適的特征能夠全面、準確地描述一個物體成為目標跟蹤領域里的研究熱點，從色彩特征到角點特征，從單通道特征到多通道特征都不能完全滿足跟蹤的需求，此外融合的特征信息越多必然會造成算法結構的冗余、龐大的數據處理對算法的實時性造成影響。卷積神經網絡CNN處理圖片類似于人的大腦，處理得到的是更高層次、更高維度的信息，所以將其應用在目標識別領域是必然的趨勢，其處理圖像信息的方法同樣可以運用在目標跟蹤領域中用于提取目標的特征。

1 網絡結構與模型

近年來，孿生卷積神經網絡被廣泛運用在目標跟蹤領域，一些使用孿生卷積神經網絡的目標跟蹤算法在各項比賽中都取得了不錯的成績。有些算法為了提高跟蹤的準確性和算法的魯棒性將網絡結構設計得比較復雜、深度較深，在準確性提高的同時也導致了算法在跟蹤速度上的表現不夠優秀。并且，結構越深、越復雜的網絡參數也會越多，算法的運行對硬件條件要求更高且難以滿足實際工程應用的要求，不具有實際應用價值。所以本文設計一種類似于孿生卷積神經網絡[6]的結構神經網絡，網絡結構如圖1所示。

網絡結構采用雙路五層卷積網絡提取物體特征，然后合并連接上三層全連接層通過回歸的方式得出目標所在位置。這樣的卷積網絡深度比較合適、結構簡單，五層卷積參數較少，對硬件的需求不高，可以達到實時的跟蹤效果。算法設計流程擬詳述如下。

Step 1 輸入1：輸入圖像大小為127*127*3，以目標圖像位置為中心，假設目標框的大小為w*h，則以目標框的位置為中心剪裁大小為2w*2h的圖像;

輸入2：輸入圖像大小為227*227*3，以目標圖像位置為中心，假設目標框的大小為w*h，則以目標框的位置為中心剪裁大小為2w*2h的圖像。

Step 2 將輸入1和輸入2輸入到CNN中，進行卷積提取目標特征。

Layer1：使用11*11*96的卷積核進行卷積，卷積步長為4，使用ReLU函數作為激活函數，最大池化操作，使用3*3的核步長為2，再進行正則化后輸入到Layer2中。

Layer2：使用5*5*256的卷積核進行卷積，邊緣補充2行2列，卷積步長為2，ReLU激活函數，最大池化，采用3*3的核，步長為2，再進行正則化輸入到Layer3中。

Layer3：卷積核為3*3*384，激活函數為ReLU。

Layer4：卷積核為3*3*384，激活函數為ReLU。

Layer5：卷積核為3*3*256，補充邊緣一行一列進行卷積操作，激活函數為ReLU，最大池化，采用3*3的核，步長為2。

Step 3 將2個輸入經過卷積得到數據互相關運算到一起。

Step 4 將互相關運算之后的數據輸入到全連接層。

Fc-layer6 輸出4 096維數據，激活函數為ReLU，drop_out_ratio為0.5。

Fc-layer7 輸出4 096維數據，激活函數為ReLU，drop_out_ratio為0.5。

Fc-layer8 輸出4維數據（目標框的左上角和右下角坐標位置）。

卷積部分是并行的2個卷積網絡，同時對目標和待搜索區域進行卷積?？紤]物體的移動特性，一般情況下目標在下一幀的位置不會距離上一幀的目標位置太遠，所以對下一幀的卷積并不是對整個區域進行卷積，以上一幀中目標的位置為中心，通過裁切得到2倍于目標框大小的搜索圖像送入卷積網絡提取特征，最后通過全連接層學習出t幀和t+1幀的目標位置關系，得出bounding box。返回的bounding box 由4個數據組成，分別為跟蹤得到的目標框的左上角坐標位置和右下角坐標位置。

2 重要參數設定

激活函數選用ReLU激活函數。常用的激活函數有sigmoid激活函數、tanh激活函數以及ReLU激活函數。對于線性函數而言，ReLU的表達能力更強，尤其體現在深度網絡中。而對于非線性函數而言，ReLU由于非負區間的梯度為常數，因此不存在梯度消失問題使得模型的收斂速度維持在一個穩定狀態。ReLU函數圖像如圖2所示。

由圖2可知，ReLU函數的數學定義形式如下：

損失函數采用L1-Loss。損失函數可以避免誤差在反向傳播時出現梯度消失或者梯度爆炸的情況，表現在訓練時網絡過快或者過慢的收斂，導致網絡無法學習到特征。這里需用到如下數學公式：

其中，y表示實際的輸出，d表示真實值。

在訓練網絡時，由于參與模型的計算參數太多，而訓練樣本有限，訓練出來的模型很容易產生過擬合的現象。過擬合顧名思義就是訓練出來的模型過度擬合訓練集的數據，表現出來就是在訓練數據上損失函數較小，預測準確率較高;但是在測試數據上損失函數比較大，這樣訓練出來的模型泛化能力不強。為了提高模型的泛化能力，對網絡中的神經元進行剔除很有必要，采用的dropout-ratio為0.5，即隨機地讓全連接層一半的神經元不參與運算。

3 模型訓練與實驗

3.1 模型訓練

一個神經網絡模型的優劣不僅與網絡的結構、算法等因素有關，在很大程度上也取決于訓練網絡數據的質量。一個標注準確、復雜程度高、場景全面的數據集可以使訓練得到的模型準確率高、魯棒性好和泛化能力強。訓練的樣本使用阿姆斯特丹普通視頻跟蹤庫的307個視頻和OTB100[7]中的98個類別100個視頻序列。OTB100中的視頻序列見圖3。阿姆斯特丹普通視頻跟蹤庫涵蓋了多種視頻情況，例如：照明、透明度、鏡面反射、與類似物體混淆、雜亂、遮擋、縮放、嚴重形狀變化、運動模式、低對比度等。OTB100[7]中標記了98個物體，每一幀圖片中的物體位置均有相應的標記，100個視頻序列對應100個groundtruth_rect.txt，存放著每個序列中目標的位置。模型使用Tensor flow搭建并訓練，測試集則是來源于VOT 2014 Tracking Challenge中的25部視頻，視頻的每一幀都注釋有遮擋、光照變化、運動、大小變化、機位移動等變化形式。

使用Tensorflow訓練好模型并保存，使用OpenCV調用模型進行跟蹤實驗。目前，OpenCV dnn模塊支持Caffe、TensorFlow、Torch、PyTorch等深度學習框架。

3.2 實驗結果

實驗結果如圖4所示。實驗發現所設計的網絡結構可以很好地提取到物體的特征，實現跟蹤。跟蹤的準確性較高、速度較快，具有一定的實際應用價值。例如，圖4（a）中的人臉有遮擋、變形，圖4（b）中的汽車有距離、尺度變化，圖4（c）中的踢足球的人有大小、形變等變化，圖4（d）中出現多個與目標相似的行人和自行車。算法能夠應對這些變化并實現跟蹤。

4 結束語

模型采用了五層卷積再加上三層全連接，結構類似于CaffeNet。實驗發現算法能夠應對遮擋、形變、運動模糊、尺度變化等挑戰實現良好的跟蹤效果。就整體而言，算法在跟蹤的準確性和速度上表現都還好。算法在GTX1050TI+INTER I5平臺上能夠達到100+FPS的效果，即使在只有CPU的條件下也能夠穩定在20+FPS，有著不錯的實時性表現。算法的泛化能力依然有較大的改進空間，需要加大訓練的數據量，微調參數來提高模型的泛化能力。

參考文獻

[1]??羅海波， 許凌云， 惠斌，等. 基于深度學習的目標跟蹤方法研究現狀與展望[J]. 紅外與激光工程， 2017， 46（5）：6-12.

[2] 鄔大鵬， 程衛平， 于盛林. 基于幀間差分和運動估計的Camshift 目標跟蹤算法[J]. 光電工程， 2010， 37（1）：55-60.

[3] HENRIQUES J F， RUI C， MARTINS P， et al. High-speed tracking with kernelized correlation filters [J].IEEE Transactions on Pattern Analysis Machine Intelligence， 2015， 37（3）： 583-596.

[4] 汪穎進， 張桂林. 新的基于Kalman濾波的跟蹤方法[J]. 紅外與激光工程， 2004， 33（5）：505-508.

[5] 王法勝， 魯明羽， 趙清杰，等. 粒子濾波算法[J]. 計算機學報， 2014， 37（8）：1679-1694.

[6] HELD D， THRUN S， SAVARESE S. Learning to track at 100 FPS with Deep Regression Networks[M]//LEIBE B， MATAS J， SEBE N， et al. Learning to track at 100 Fps with deep regression networks. Computer Vision-Eccv 2016. Lecture Notes In Computer Scienc. Cham：Springer， 2016，9905：749-765.

[7] WU Yi， JONGWOO L， YANG M H. Object tracking benchmark[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2018，37（9）：1834-1848.