基于深度學習的目標跟蹤技術

侯 淋，楊順華*，黃時加

（1.中國空氣動力研究與發展中心，四川 綿陽 621000；2.中山大學 電子與通信工程學院，廣東 廣州 511400）

1 目標跟蹤技術

目標跟蹤[1-2]是利用圖像的初始信息，在連續的圖像片段，持續預測目標位置變化等信息的過程。通常，其算法框架分為基于生成類和基于判別類兩種。自2013年起，相關濾波跟蹤算法和深度跟蹤算法[3]各自在視覺跟蹤領域獨樹一幟。采用循環矩陣技巧的KCF[4]算法的跟蹤速度可達到130 f·s-1。這類算法在速度和精度上的優越性，促進了一系列相關方法的發展，可用于處理各種挑戰。而深度學習[5]模型具有豐富信息的深度特征和大量深度學習框架的落地實施，促使深度跟蹤技術帶領目標跟蹤領域邁入新技術時代。

2 視覺深度目標跟蹤技術

深度學習是利用多層神經網絡模型學習圖像魯棒特征的過程。它的出現促進了更多更高效的圖像特征方法的誕生。然而，跟蹤過程目標的不可預知性和訓練數據的缺失，使得深度學習算法在目標跟蹤領域的應用難以達到非常理想的效果。為此，有學者提出幾種目標跟蹤思路，如表1所示。

3 基于深度學習的目標跟蹤技術發展現狀

首個結合了深度學習網絡的跟蹤算法是DLT[6]，其網絡結構如圖1所示。其離線模型SDAE能學習可靠的圖像特征，初始化時利用目標的正負樣本對分類網絡進行微調，使得分類網絡更具針對性。DLT的在線跟蹤模型提取基于粒子濾波方法篩選的候選圖像塊，在輸入分類網絡尋找置信度最高的目標位置。

當前，越來越多優秀的深度跟蹤算法嶄露頭角，如圖2所示。以下將基于網絡功能介紹深度跟蹤算法的發展現狀。深度跟蹤算法分類及主要跟蹤算法如表2所示。

表1 常用的深度跟蹤算法模型

圖1 DTL網絡

圖2 深度學習跟蹤算法的分類

表2 深度跟蹤算法分類

3.1 由相關濾波改進的深度跟蹤算法

相關濾波的概念源于信號間的相關性描述[7]。在目標跟蹤算法中，通過濾波器與視頻幀的相關性f預測目標位置，計算復雜度優勢明顯。HCF[8]首度在相關濾波領域引入深度特征，它不僅利用深度特征更換手工特征，而且設計加權融合置信圖策略大大縮減算法的搜索空間。ECO[9]通過減少DCF參數、簡化訓練集并減少模型更新頻率加快算法速度，對抗模型漂移，在保持算法精度情況下達到60 f·s-1的速度。ECO+[10]考慮了不同層次的深度特征的不同性能，提出新的特征的融合策略提高跟蹤算法精度。

孿生跟蹤算法實質是相關濾波的直接式深度網絡模型的應用。SiamFC[11]是首個在ILSVRC15進行端到端預訓練的孿生模型，在跟蹤精度較高的條件下有遠超實時性的速度，促使孿生系列跟蹤算法成為當前主流。SiamRPN[12]引入目標檢測的RPN模塊，將目標相似度問題轉化為回歸和分類問題。SiamCAR[13]繼續改進基于SiamRPN的不足，與傳統孿生網絡不同的是，該方法采用anchor-free策略，綜合分類情況和中心度決定最佳目標中心點，并輸入回歸網絡預測目標，在時間損耗和精度上實現SOTA的性能。

3.2 由分類網絡主導的深度跟蹤算法

與圖像分類任務不同，基于分類跟蹤算法需注意目標和背景等序列信息，還要準確預測目標的特征變化，基于此，自主設計一個深度網絡模型而非直接使用深度分類模型更具可行性。因此，MDNet[14]提出由共享層和多目標分支網絡實現目標跟蹤。VITAL[15]針對深度分類跟蹤算法框架中正樣本高度重疊和正負樣本間嚴重的不均衡分布的缺陷，提出利用對抗學習保證網絡能識別目標的魯棒特征的mask。

3.3 直接回歸的深度跟蹤算法

GOTURN[16]是于2016年提出的基于回歸的跟蹤算法，其速度可達到驚人的100 f·s-1。GOTURN方法利用ALOV和ImageNet數據集訓練基于圖像對輸入的卷積網絡，在線跟蹤時輸入前后兩幀圖像塊，模型會直接返回預測的位置信息。深度回歸跟蹤算法具有直接和快速的特點。

3.4 強化學習推導的深度跟蹤算法

以AlphaGO[17]為代表的深度強化學習技術在圍棋等領域取得傲人的成績，使得深度強化學習技術受到許多人的推崇。在深度強化跟蹤算法中，強化學習實現的主要是對網絡的參數優化或目標移動狀態等的直接預測。Zhang[18]提出的端到端的強化學習算法是通過學習單幀圖像的空間表示和多幀圖像間的時序表示，使得網絡輸出的特征可以更好提取時序信息，且可以直接應用到跟蹤問題上。ADNet[19]通過強化學習的獎勵機制使得深度網絡能夠自主決定該如何“靠近”目標物體。ADNet避免了密集采樣，也降低了訓練數據的標注要求，適用于特定的跟蹤場景。

3.5 元學習方法協助的深度目標跟蹤方法

元學習用來研究如何提升模型解決一系列任務的能力。跟蹤算法中能利用的圖像序列較少，如何快速讓模型適應當前的跟蹤環境是許多跟蹤器關心的問題。Meta-Tracker[20]提出將元學習應用在目標模型的初始化。強化學習原理幫助跟蹤模型學到魯棒的網絡參數，有利于提高算法的在線跟蹤精度。其在應用元學習到MDNet網絡的過程中，直接用元學習網絡促使MDNet的分支等學習一個魯棒的初始模型。實驗表明最終的跟蹤算法精度與速度都得到了提高。元學習協助的深度跟蹤算法具有初始化速度快和魯棒性高的特點。

4 深度跟蹤技術的發展趨勢

目前，大型數據集對于深度跟蹤算法的意義非凡。為了挖掘深度跟蹤算法的優越性，其網絡深度越來越高，在軍用目標探測和精確制導等落地應用不易實現。盡管深度跟蹤算法取得了突破性的研究進展，但對于長時跟蹤算法的嚴重遮擋和消失重現等問題，如何快捷高效地尋回目標仍是一大難題。如何利用深度網絡特性構建適應長期跟蹤模型，解決跟蹤過程中遮擋與消失重現的困境，將是跟蹤領域未來一大重點發展方向。另外，隨著移動端輕薄化顯卡的發展和精煉的輕量深度卷積網絡如MobileNet等的涌現，如何在移動端等場景布署深度跟蹤應用產品、快速精準跟蹤目標也逐漸成為許多學者的關注焦點。

5 結 語

深度學習技術對目標跟蹤領域的影響巨大，本文在普及目標跟蹤原理后系統闡述基于深度學習的跟蹤技術，綜合分析深度跟蹤技術在模型訓練和長時跟蹤場景的遮擋等不足情況，展望其未來發展方向。隨著更多大規模通用數據集的出現，深度跟蹤算法有望取得進一步突破。如何利用魯棒的深度特征構建適應于長期跟蹤的模型，并在移動端等場景布署深度跟蹤應用產品，快速精準跟蹤目標的運動，將成為未來深度跟蹤技術的重要方向。