尺度方向自適應視覺目標跟蹤方法綜述

單玉剛，胡衛國

1.湖北文理學院 教育學院，湖北 襄陽441053

2.中國人民解放軍 某部隊

1 引言

視頻圖像序列目標跟蹤是計算機視覺中的一個重要研究方向，廣泛地應用在視頻監控、無人駕駛、人機交互、醫學診斷以及精確制導武器等領域[1]。近十幾年來，視覺跟蹤技術取得了長足進步，研究人員提出了許多有效的跟蹤算法。但當存在視頻跟蹤目標外觀的變化和外部環境復雜時，跟蹤精度會下降[2]，因此，要對目標進行長時間穩定的跟蹤，就需要合理地處理光照變化、目標姿態的改變、目標的形變、視角的改變、目標旋轉變化和目標尺度變化，否則會導致跟蹤失敗。

視頻目標跟蹤發展到現在，從時間上可劃分為四個階段，第一階段：生成式模型[3]。生成式模型通過在線學習方式建立目標模型，然后使用模型搜索重建誤差最小的圖像區域，完成目標定位，典型模型有粒子濾波、相關匹配、Meanshift 和Camshift 等。第二階段：判別式模型[3]。通過機器學習方法，提取圖像特征，并訓練分類器進行分類，典型模型有MIL、TLD、SVM、隨機森林等。第三階段：相關濾波[4]，嚴格說是判別式的一種，由于其獨特特性另成一類。2014 年，KCF[5]（Kernel Correlation Filter，核相關濾波算法）的出現轟動一時。從VOT2014到VOT2018，相關濾波跟蹤效果一直處于領先地位。第四階段：深度學習[6]。深度學習的應用起于2013 年DLT[7]的提出，在2019年，SiamMask[8]和SiamRPN++[9]的產生真正意義超過了相關濾波，性能達到了state of the art（目前最好的）。本文對近年來已發表的國內外目標跟蹤領域的SCI 文獻按照關鍵詞搜索，進行了數量統計，如圖1所示。生成式模型跟蹤文獻數量從2012年達到頂峰，之后開始逐年減少；判別式模型跟蹤文獻數保持在每年20 篇左右；相關濾波跟蹤文獻數量從2015 年達到頂峰，之后有所下降。深度學習跟蹤文獻數量從2012 年出現到2018 年一直處于顯著上升趨勢，2018 年發表200 多篇文獻，2019 年到9 月不完全統計達150 篇。由圖1表明深度學習跟蹤是視頻目標跟蹤發展趨勢。

圖1 目標跟蹤發展歷程

尺度方向自適應目標跟蹤是在跟蹤過程中為了適應目標尺度和方向變化，而采取的自動調整尺度和方向策略，這樣可減少目標中的背景信息，提高跟蹤精度。文獻[10-12]把尺度和方向自適應跟蹤定義為多自由度跟蹤。多自由度的目標跟蹤是指采用橢圓或矩形描述目標，具有中心坐標、長短軸和旋轉角度等多個自由度。因此，每個目標不僅僅有位置，而且能夠在水平和垂直兩個方向上獨立描述目標的大小變化，并通過加入目標傾角，還可以描述目標旋轉運動。由于并沒有國際組織或協會定義多自由度概念，這里使用尺度方向自適應來描述對目標尺度和方向的跟蹤。一個魯棒的目標跟蹤算法應該能夠有效處理目標尺度和旋轉等變化，對于提高目標跟蹤算法的魯棒性具有非常重要的意義。

為了解決跟蹤過程中目標尺度方向變化問題，國內外的專家學者進行了大量的研究，提出了很多有效的算法，算法在特定場合下測試效果較好。這些算法大致可以分為如下幾類：（1）增量式搜索；（2）MeanShift 迭代；（3）區域二階矩；（4）角點匹配；（5）粒子濾波；（6）相關濾波器；（7）深度學習。本文對上述算法進行了總結，介紹了具有代表性的算法，重點分析了深度學習方法，并分析了各種算法優缺點。最后，展望了尺度方向自適應研究未來發展趨勢。

2 尺度和方向自適應跟蹤算法

2.1 增量式搜索

2.1.1 MeanShift增量式

核跟蹤方法[13]使用核窗口描述目標形狀，包括矩形、橢圓形或其他固定形狀的目標。核跟蹤在第一幀中先確定目標模板，在后續幀中用候選塊與模板進行匹配來實現跟蹤。MeanShift 算法[14]是典型的核跟蹤方法，其通過改變核窗口目標角度實現目標角度跟蹤。設S是帶寬，即：目標的縮放因子，初始化目標模式時一般取為1，Sx和Sy是坐標歸一化系數，目標旋轉角度是θ，則核窗口為：

Comaniciu 等[15]采用對目標±10%的增量方式的核窗口寬度進行修正的方法。馬偉[16]提出了在每一次MeanShift迭代過程中，調整目標跟蹤框的高和寬，然后調整3 次跟蹤框方位角的方法獲取局部最優解達到自適應跟蹤方法。賈靜平等[17]采用方式是重復對單個目標的一次跟蹤過程3 次，傾角a值分別為原傾角值和原傾角值±10°，然后比較3 次收斂后的Bhattacharyya 系數，取對應系數較大的a 為新的傾角值。同時，采用橫軸增減10%方法自適應獲取新的橫軸值和新的豎軸值。

2.1.2 相關匹配增量式

文獻[18]采用最小外接矩形對目標建模，并采用最小外接矩形的兩步塊匹配搜索方式實現對目標的中心定位，然后采用增量式搜索匹配方法獲取最優尺度和方向角度。通過動態評估不同目標模型在不同跟蹤場景中的置信度，對目標模型進行更新。候選區上的點(x,y)繞中心點旋轉變為(u,v)公式為：

增量式搜索匹配最優角度時，帶傾角的候選區域移動在搜索區域中，用候選區域的直方圖與模板直方圖進行巴氏系數比較，取最大巴氏系數的最大處即為所求位置。搜索時以上一幀尺寸和傾角為基礎，根據式（2）將候選區旋轉，使用角度增減步長Δβ，改變傾角值，分別為原傾角值θ 增加3Δβ、2Δβ、增加Δβ、減少Δβ、減少2Δβ 和減少3Δβ，然后比較6 次匹配的Bhattacharyya 系數，并取對應系數最大的角度為新的傾角值。最優尺度獲取亦采取同樣方法。

2.2 MeanShift迭代

文獻[19]介紹了非對稱核尺度和方向選擇方法。

文獻[20]推導出了角度均值迭代公式定義帶方向的二維橢圓高斯算子：

使用橢圓高斯算子進行均值迭代可求取連續幀目標的空間位置x1、尺度（σa1，σb1）和角度參數θ1。MeanShift迭代算法跟蹤在背景較單一場景跟蹤效果較好，跟蹤效果如圖2所示。

圖2 MeanShift迭代跟蹤效果

2.3 角點匹配

角點能夠很好地刻畫目標空間結構。常用的角點特征有：SIFT[21]特征、SURF[22]特征、Harris[23]角點。文獻[24]采用Harris角點特征匹配進行跟蹤，董蓉[25]、侯志強[26]和趙欽君[27]等人通過提取圖像SIFT 角點，根據SIFT 角點的匹配情況來計算被跟蹤目標的旋轉角度，用以解決目標跟蹤中的旋轉問題。

通過將前后兩幀中跟蹤窗口中匹配的角點作為樣本來對仿射模型參數進行估算。應用仿射變換原理，相鄰兩幀間的特征點位置關系滿足：

只需3 個匹配點對就可以計算出連續幀間的仿射變換參數。為了去除錯誤匹配以保證變換矩陣的準確性，通常采用RANSAC[28]（隨機采樣一致性）方法得到有效數據。Sift角點匹配效果如圖3所示。

圖3 Sift匹配

2.4 區域二階矩

區域二階矩方法通過計算目標候選區域二階矩，求得目標大小和方向，典型算法有Camshift[29]和Soamst[30]等。Camshift 算法基本過程是：在第一幀初始化目標模板大小和位置后，在接下來的幀里在搜索窗口內將圖像中每個像素的值用其顏色出現的概率對當前幀替換，可得到顏色概率分布圖即反向投影圖。然后，運行Mean‐Shift 算法搜索獲得目標新的位置，并用橢圓鎖定目標，由零階矩、一階矩和二階矩計算獲得橢圓的長軸、短軸及方向角。

Soamst[30]算法根據目標模板計算候選目標區域像素點顏色值與目標顏色直方圖模型對應分量的相似性權值，得到候選區域的權重分布圖，用權重分布圖的不變矩統計特征來反映目標區域。通過計算二階中心矩構成協方差矩陣來估計目標的寬度、高度和方向。Soamst算法跟蹤效果如圖4所示。

圖4 Soamst跟蹤效果

2.5 粒子濾波跟蹤

粒子濾波[31]是求解貝葉斯概率的一種算法，其大概思想是用貝葉斯概率模型構造目標的先驗知識、目標狀態轉變模型和觀測模型，求解表征目標狀態的后驗概率。

為求取目標尺度和方向，目標狀態矢量設為st=[xt,yt,rt,dt]T，其中xt,yt為目標位置，rt為目標尺度，dt為目標方向。觀測矢量ot，跟蹤就是對后驗分布p(st|o1:t)最大化的過程。

其中，o1:t是到t 時刻觀測值集合，狀態轉移模型為p(st|st-1)，觀測模型為p(ot|st)。則，當前目標狀態可以用后驗分布p(st|o1:t)估計得到，即：其中，N 為粒子數量，ω為第k個粒子權重。

Satoh[32]應用貝葉斯理論實現基于粒子濾波的尺度和方向自適應運動目標跟蹤。文獻[33]使用顏色和DMG 測度為特征實現粒子濾波輪廓跟蹤。粒子濾波跟蹤效果如圖5所示。

圖5 粒子濾波跟蹤效果

2.6 尺度方向自適應相關濾波跟蹤

相關濾波跟蹤方法[4]具有較強的魯棒性和超高的跟蹤速度，受到了國內外學者廣泛的關注。其思想是：在首幀對目標學習一個相關濾波器，在隨后幀中使用相關濾波器與候選區域相乘運算，響應值最大處為目標位置。相關濾波跟蹤流程如圖6 所示。最初的相關濾波跟蹤沒有考慮尺度和角度變化。SAMF[34]使用尺度池解決目標跟蹤過程中目標尺度變化的問題，尺度池大小為7。SAMF 只需要一個濾波器，但需要計算7 次才能獲得目標位置和尺度。DSST[35]在二維位置平移濾波器的基礎上增加一維尺度濾波器。兩個濾波器串聯起來并獨立工作，分別進行目標定位與尺度縮放。文獻[36]提出RAJSSC 跟蹤器算法，其將笛卡爾坐標(x,y)變換成對數極坐標(ρ,θ)來構建方向濾波器實現旋轉估計。文獻[37]提出一種魯棒的旋轉角度估計算法，以核相關濾波器理論為基礎，通過在目標中心等角度間隔來采樣一個樣本金字塔，單獨訓練一個角度估計濾波器，從而將目標旋轉角估計問題變為一個檢測問題。算法單獨訓練一個位移跟蹤濾波器、一個尺度估計濾波器和一個角度估計濾波器來實現目標尺度和方向自適應跟蹤。

圖6 相關濾波跟蹤流程

文獻[37]構建方向濾波器時，對目標圖像進行等角度間隔旋轉采樣，得到n 幅圖像，對每幅圖像縮放到固定的尺寸，用高斯函數給每個樣本賦生成一個標簽值。同樣，構建尺度濾波器時，對目標圖像進行等比例縮放采樣。方向特征采樣如圖7（a）所示，尺度特征采樣如圖7（b）所示。利用樣本特征和樣本標簽，并使用帶核的最小二乘回歸來訓練回歸器。

圖7 方向和尺度特征采樣

2.7 深度學習預測尺度方向

2.7.1 基于深度學習目標跟蹤

由于深度特征對目標擁有強大的表示能力，深度學習方法廣泛應用到圖像識別、目標檢測和目標跟蹤中[6]。卷積神經網具有權值數量少，訓練速度快等優點[38]，目前，基于深度學習的跟蹤主要使用深度卷積神經網。深度學習在目標跟蹤上的應用可以分為三種方法：

（1）深度學習與其他跟蹤框架結合。這類方法利用深度網絡提取深度特征，在其他跟蹤框架下執行跟蹤過程，如：HCF[39]、ECO[40]等。

（2）基于經典分類的方法。這類方法使用深度學習網絡作為跟蹤框架，可以在線更新分類器或目標外觀模型，跟蹤性能優越，但是大多數這類算法的速度都很慢，如：MDNet[41]、FCNT[42]等。

（3）基于匹配的跟蹤方法。這類方法使用目標模板來匹配候選樣本，通常不需要在線更新目標模型，所以達到了速度和精度的平衡。如：Siamese-FC[43]和GOTURN[44]等。

2017 年，Bertinetto[43]提出了Siamese-FC 跟蹤框架，其利用孿生網絡將跟蹤問題轉化為圖像對的匹配問題。Siamese-FC 結構簡單，跟蹤速度快，精度高，受到了廣泛關注，成為了當前目標跟蹤領域研究最熱點之一。以Siamese-FC 為基礎，衍生出了眾多優秀的跟蹤器，如：SiamRPN[45]、DSiam[46]、Siam-BM[47]、SiamMask[8]和SiamRPN++[9]等。

2.7.2 基于深度學習目標尺度方向跟蹤分類

基于深度學習目標跟蹤解決尺度和方向自適應問題有四種方法：

（1）利用深度特征，結合粒子濾波[48-50]多伯努利濾波[51]和光流[52]等框架獲得尺度和方向。

（2）采用選擇性搜索獲得尺度和方向，可以采用FPN[53]（特征金字塔網絡）和RPN[54]（區域候選網絡）等方式。FPN 利用不同層的特征圖預測不同尺度的目標。通過使用RPN可生成候選區域ROI，然后對不同尺寸的目標，選用不同尺寸的特征圖去做識別。

（3）采用線性回歸方程訓練并預測目標Boundingbox[55-56]（邊框）。

（4）訓練并預測目標Mask（掩碼）。

基于深度學習的目標尺度方向跟蹤方法分類如圖8所示。

圖8 深度學習尺度方向自適應方法

Bounding-box 回歸方法一般用于預測目標尺度。文獻[55-56]增加了目標旋轉角度作為方向參數。其思想是：設定候選區目標邊框位置為(Px,Py,Pw,Ph,Pθ)，真實目標邊框位置為(Gx,Gy,Gw,Gh,Gθ)，尋找映射f 使得f(Px,Py,Pw,Ph,Pθ)=(Gx,Gy,Gw,Gh,Gθ)，根據約束關系可得：

Φ(P)為輸入的特征向量，w*為要學習的參數，?代表x,y,w,h,θ,d*(P)為得到的預測值。設損失函數為：

則函數優化目標為：

利用梯度下降法或者最小二乘法就可以得到w*。邊框回歸框架可采用AlexNet[57]、VGGNet[58]、ResNet[59]、LeNet[60]網絡等。一種典型網絡結構如圖9 所示。圖中全連接層可以使用1×1卷積替換變為卷積層。

圖9 LeNet邊框回歸網絡結構

選擇性搜索典型例子是Siam-BM 模型[46]，Siam-BM以Siamese-FC為基礎，包含一個語義分支和一個用于特征提取的外觀分支。通過角度評估模塊和空間Mask模塊分別來解決目標旋轉和網絡區分相似目標（提高分割精度）的能力。目標塊尺度為127×127，候選塊尺度為255×255。每個候選塊都與一個(s,a)對相關聯，s 是比例因子，a是旋轉角度。候選塊及其相應的比例角度設置為（1.037 5，0），（0.964，0），（1，0），(1,π/8)，(1,-π/8)。Si‐am-BM候選塊設置如圖10所示。

圖10 Siam-BM候選塊

目標掩碼預測是目標跟蹤與目標分割（實例分割）技術的結合。深度卷積神經網絡已進入目標分割領域，相繼出現了DeepMask[61]、SharpMask[62]、Mask-RCNN[63]等分割模型。通過深度卷積神經網絡訓練目標掩碼，當輸入測試圖片后，用網絡預測出目標掩碼。DeepMask是實例分割典型模型，模型網絡結構如圖11 所示。分割模型在共享特征提取層之后，網絡被分成兩個分支。頂部分支預測目標分割掩碼，底部分支預測輸入塊的目標得分。在訓練階段，兩個網絡聯合學習，即端到端訓練，每個訓練樣本包含RGB 圖像塊xk和它的二進制掩碼mk，標記yk說明這個圖像塊是否包含目標。檢測時以16像素為步長進行滑窗檢測。

圖11 DeepMask實例分割模型

Mask 預測尺度方向方法典型實例是SiamMask 模型，該模型結合了Siamese-FC 和SharpMask 優點，將目標跟蹤與目標分割有機地結合起來，實時給出目標的像素級標注，通過求取掩碼的最小外接矩形可獲取目標尺度和方向。SiamMask 有三個輸出score、bounding-box回歸和Mask。SiamMask 網絡結構如圖12 所示。Siam‐Mask目標跟蹤效果如圖13所示。

圖12 SiamMask模型

圖13 SiamMask跟蹤效果

SiamMask 和Siam-BM 都采用了孿生網結構，表1列出了2017 年以來出現的幾種經典孿生網絡跟蹤算法對尺度和方向處理策略。

目標分割的一個重要分支是視頻目標分割，它的任務是在視頻的每一連續幀中尋找感興趣目標的對應像素。2016年時出現了兩個最重要的視頻目標分割方法：OSVOS[64]和MaskTrack[65]。OSVOS 獨立地分割視頻的每一幀，而MaskTrack還需要考慮視頻中的時序信息。

MaskTrack 以VGG-16 網絡為基礎，每一幀將前一幀的預測掩膜作為額外輸入送給網絡，輸入有四個通道，包括當前幀的RGB 圖像和前一幀的掩膜。使用第一幀的標注初始化該流程。同時，增加一個基于光流場輸入的相同的網絡，這個網絡模型的權重和RGB 輸入流的權重相同。通過將兩個網絡輸出融合取平均得到最終結果。MaskTrack 在目標跟蹤上應用的分割效果很好。

3 算法性能分析

目標跟蹤度量指標[66]用來衡量跟蹤性能。常用的指標有精確度（Precision）、中心誤差距離（CLE）、準確率（Accuracy）、實時性等指標。VOT2015[67]增加了平均重疊期望（EAO）和魯棒性（Robustness）兩個指標對跟蹤結果進行評估。

表1 幾種典型孿生網絡對比

（1）精確度是跟蹤算法估計的目標位置（bounding box）的中心點與人工標注（ground-truth）的目標的中心點，這兩者的距離小于給定閾值的視頻幀的百分比。一般閾值設定為20個像素點。

（2）中心誤差距離表示跟蹤結果的目標位置與目標真實位置的誤差距離。

（3）準確率是指跟蹤器在單個測試序列下的平均重疊率（跟蹤結果和真實目標兩矩形框的相交部分面積除以兩矩形框的相并部分的面積）。

（4）跟蹤算法的速度，采用幀/s表示算法的實時性。

（5）平均重疊期望是對跟蹤器在一個短時圖像序列上的非重置重疊的期望值，綜合了準確率和魯棒性指標。

（6）魯棒性是指單個測試序列下的跟蹤器失敗次數，當重疊率為0時即可判定為失敗。

前述的幾種自適應尺度和方向跟蹤算法性能如表2所示。

一個良好的目標跟蹤算法一般應滿足兩個要求：一是算法魯棒性強；二是實時性好，算法計算量少，否則無法實現正常跟蹤。由表2可知，增量式搜索、MeanShift迭代、區域二階矩、角點匹配、粒子濾波和相關濾波器等算法使用專門測試視頻或取標準測試數據集的部分視頻，說明其應用場景較簡單，而且這些算法主要使用顏色特征，特征表示能力不強。深度學習方法使用深度卷積特征，特征表達更有優勢，并在標準測試數據集上測試，能適應各種復雜環境。MasTrack 算法在DAVIS 數據集上的測試準確率達到了較高的0.748，SiamMask 和Siam-BM 在VOT 數據集測試上也取得了良好性能，說明深度學習方法算法魯棒性強。傳統算法具有運行速度上的優勢，僅僅使用CPU 可以滿足實時性，而深度學習方法在使用GPU情況下也可以滿足實時性。

4 算法優缺點分析

相關匹配增量式和MeanShift增量式算法為了獲取目標角度和橫軸和縱軸尺度，進行多次均值迭代，精度與迭代次數有關。因此，為了獲取更高精度，需要增加迭代次數，計算量較大，這樣會影響實時性。為了兼顧精度和速度需要合理選擇迭代次數。MeanShift 迭代算法大大減少了迭代步驟，只需少量次數迭代就可獲取目標的位置、尺度和旋轉角度，相比增量式算法，實時性得到明顯改善。增量式方法和MeanShift迭代方法使用顏色直方圖特征描述目標。因此，兩種算法對目標形變和小范圍遮擋不敏感，但對光照變化敏感。而且，由于算法簡單其適于目標快速運動。

計算區域二階矩方法的優點是簡單，計算量較少，跟蹤速度快。由于算法采用直方圖反投影獲得二值圖像，所以其對目標形變和部分遮擋不敏感。如果跟蹤背景較為復雜或者物體的紋理較為豐富，那么此二值圖像的噪聲就很多，影響對目標位置的判斷，導致跟蹤效果下降，所以區域二階矩方法適用于物體表面顏色較為單一，并且和背景顏色差距較大，尤其適合于固定背景下的目標跟蹤，如：水中目標跟蹤[68]、手勢跟蹤[69]等。區域二階矩有很多改進算法，如采用中值濾波抗干擾[70]能適合較復雜環境。

角點特征對于圖像旋轉、縮放、仿射變換、普通光照變化等均保持一定不變性，其獨特性、穩定性較好，較小的物體也能產生較多的SIFT 特征點，適合于匹配跟蹤。但在形變和光照變化大情況下，角點匹配精度不高。因此，角點匹配算法適合于對剛體目標的跟蹤，不太適合于復雜環境和對非剛體的目標跟蹤，易導致跟蹤失敗。而且，角點檢測和RANSAC 算法時間開銷較多，影響跟蹤的實時性。

表2 算法的跟蹤性能

粒子濾波跟蹤在系統初始狀態未知情況下，使用大量的粒子對系統狀態進行預估，個別粒子的漂移不會顯著地影響系統狀態，所以其對目標形變、部分遮擋具有魯棒性。粒子數量影響跟蹤精度和實時性，為了實現兩者平衡，需合理選擇粒子數量。粒子數量的選擇可根據場景情況自適應確定[71]。另外，由于傳統粒子濾波算法采用RGB 顏色特征描述目標，因此跟蹤對光照變化比較敏感。可以采用多種特征描述目標以適應跟蹤場景和光照的變化，并自適應分配各種特征的權重以提升算法的精度和魯棒性[72]。

基于相關濾波器的尺度和方向自適應跟蹤構造三級濾波器[35-36]：定位濾波器、角度濾波器和尺度濾波器。根據定義的尺度池和方向池，每幀尺度檢測需要采樣多個圖像塊，之后分別計算特征、加窗、FFT 運算等，因此，方向濾波器和尺度濾波器比平移濾波器慢很多。方向精度和尺度精度分別取決于方向池和尺度池大小設置。與上述尺度和方向自適應方法相比，由于相關濾波跟蹤算法采用了核回歸和循環移位等技術，其可以有效解決目標形變、快速運動、部分遮擋等問題，并且由于使用了HOG空間特征，其對光照變化有魯棒性。

深度學習預測尺度和方向的幾種方法在實驗中都取得了較好效果，對部分遮擋、光照變化有較好適應，適合于復雜環境的目標跟蹤任務。深度學習網絡目標表示能力強以及預測任何輸出，粒子濾波、相關濾波和光流等算法具有良好的目標尺度和方向變化處理能力，并有速度上優勢，所以兩者有機結合會提高跟蹤性能。傳統算法如何融入到深度學習框架中以及深度學習網絡如何融入到傳統算法框架中是關鍵；選擇性搜索方法用多尺度、多方向測試，增加了計算量且不夠精確；邊框回歸方法訓練時選擇的樣本與Groundtruth 距離比較近，在one-shot detection 時，訓練出的回歸模型適合于前后幀目標變化較小情況；Mask 預測方法使用Mask 分支預測精度并不高，一般使用Refine Module 來提升分割精度，導致網絡結構較為復雜。表3 給出了深度學習預測尺度和方向各種方法的優缺點。基于孿生網絡的在跟蹤精度和跟蹤速度上得到了較好平衡。但孿生網絡設計方案不需要在線模型更新，當目標發生較大的外觀變化時，會造成目標候選框與目標模板出現較大差異，易導致跟蹤失敗，若要提升跟蹤穩定性，需要有高效在線學習算法。另外，孿生網絡對小目標跟蹤效果不好，也是需要改進的地方。用卷積神經網實現目標分割，一般使用較深層次的卷積神經網，構建快速的小網絡更具有實際意義。

5 展望

綜上所述，未來的研究方向可以從以下幾個方面來進行：

（1）基于深度學習尺度方自適應跟蹤是主流研究方向。孿生網絡框架下的目標跟蹤是目前研究熱點，孿生網絡結構優化一直在進行中，出現了許多改進算法，主要是從均衡采樣，多層特征融合，在線更新等方面考慮，改進后的跟蹤性能得到了明顯提升。對于孿生網尺度方向自適應未來研究可以從以下幾個方面考慮：①Mask分支選擇何種網絡結構是關鍵，為了加快分割速度，簡化結構是趨勢，而且分割精度與數據量有關，需要大量訓練樣本。②視覺目標跟蹤具有時空的相關性，可以使用深度學習模型來獲取這種相關性。③多種尺度方向自適應策略結合有助于提高跟蹤性能，因此，多種自適應策略結合方法，并增加全局優化是應該考慮的。如：采用MaskTrack 和SiamMask 多分支深度學習網絡結構。④高效在線學習模型。分析環境上下文關系，自適應根據場景進行學習。⑤提升泛化性能。引入學習方法使深度網絡具有one-shot learning 能力，提升對未知類別的泛化性能。⑥更精確預測。深度網絡要能很好地分辨出目標差異，提高跟蹤精確度。

（2）深度學習跟蹤與其他算法結合使用具有潛力。文獻[73]提出了MFT 跟蹤算法，該算法基于ECO，并加入了卡爾曼濾波運動估計模塊，深度模型使用ResNet。Danelljan[74]提出ATOM 模型，使用粒子濾波搭配IOU 預測，經過多次迭代得到目標結果。兩種算法在VOT 測試中表現了良好效果。所以，傳統算法與深度學習取長補短，兩者結合具有潛力。

（3）長時間目標尺度和方向自適應跟蹤仍是難題。目標跟蹤的目標是保持長時間穩定的跟蹤。正確跟蹤時間要達到幾分鐘或十幾分鐘。但是，在各種復雜環境下，隨著跟蹤進行模板必然會漂移。所以，short-term tracker+detecter（短期跟蹤+檢測）配合才能實現正確的長時間跟蹤。跟蹤過程中不僅要考慮尺度、方向變化、而且考慮目標形變、快速運動、以及遮擋、光照等情況。

表3 深度學習預測尺度和方向方法比較

6 結語

在VOT2015[67]時提出使用旋轉矩形框來標識目標，在VOT2016[75]時提出自動的通過Mask掩碼來生成旋轉框的方法，Ground_truth 標注的跟蹤框轉向像素級。可見尺度和方向自適應目標跟蹤已成為今后目標跟蹤發展趨勢。

本文對現有主要尺度和方向自適應目標跟蹤主要算法進行分析和總結，可以得出：基于深度學習的尺度和方向自適應跟蹤已成為了一個研究熱點。其不論是在精度或是魯棒性上，表現都比經典的跟蹤方法有較大的提升。但是由于跟蹤場景的復雜性，仍然沒有完美的解決方案。因此，設計出一種魯棒性強、實時性好、適用面廣的自適應尺度和方向的目標跟蹤算法是業界內的一個長期奮斗目標。