基于Actor-Critic幀間預定位的改進SiamRPN模型*

韓 慧 陸建峰

（南京理工大學 南京 210094）

1 引言

目標跟蹤是計算機視覺領域的重要研究方向之一，在雷達制導、航空航天、醫療診斷、智能機器人、人工智能、自動控制等多領域都有廣泛的應用［1］。目標跟蹤，簡而言之，其目的是在視頻的每一幀中尋找到運動目標物體，并用一個緊緊包含該目標物體的邊界框將其“追蹤”出來。近幾十年來，盡管視覺跟蹤算法已經取得諸多進展，但有些阻礙視覺跟蹤的問題依然存在，例如：運動模糊、外觀變化、遮擋、光照變化和背景混雜等［2］。

近些年來，深度神經網絡的發展為視覺跟蹤領域帶來豐富的特征表示，基于卷積神經網絡CNN的目標跟蹤方法更具魯棒性的同時也提升了性能。目前兩種主流的基于深度學習的目標跟蹤算法發展方向主要是以輕量級網絡架構MDNet［3］和孿生網絡架構SiamFC［4］為代表。

2015年，Nam等提出一種CNN架構的檢測跟蹤算法MDNet［3］，該算法采用淺層的VGG-M網絡［5］，直接利用多域學習的網絡結構，將每一個視頻視為一個單獨的域，從多個標注的視頻序列中預訓練VGG-M網絡，學習目標的共性特征表示能力，對前一幀目標鄰域采樣樣本進行分類，并引入目標檢測領域中的邊界框回歸［6］對分類得分最高的樣本框修正。該算法速度為1fps，除了完全被遮擋時會有跟蹤失敗的情況，精度和魯棒性都很好。在跟蹤視頻數據集，例如VOT2014［7］和OTB2015［2］上訓練CNN，取得了比傳統追蹤器更好的結果。

隨著深度強化學習在游戲、機器人、自然語言處理和智能駕駛等諸多領域更加廣泛的應用推廣，目標跟蹤領域也在近幾年開始出現基于深度強化學習的目標跟蹤方法。2017年，Yun等［8～9］提出順序性跟蹤動作控制的目標跟蹤算法ADNet，該方法參考MDNet使用VGG-M網絡，利用深度強化學習方法學習目標框偏移動作，從而多次迭代出最佳目標框。與當下使用深度網絡的跟蹤器相比，這是第一次嘗試通過追蹤深度強化學習訓練出的動作來控制跟蹤策略。2018年，Chen Boyu等［10］提出了基于“Actor-Critic”架構的實時追蹤器ACT，Actor模型旨在一個連續動作空間里推測最佳選擇動作，讓跟蹤器直接在當前幀把邊界框移動到目標位置；線下訓練時，Critic模型輸出一個Q值來引導Actor和Critic深度網絡的學習過程，在線跟蹤時，作者采用MDNet作為Critic驗證模塊使得跟蹤器更加魯棒。ACT作為第一個使用連續動作空間和Actor-Critic框架的目標跟蹤算法，實時跟蹤算法的跟蹤速度達到了30fps。

MDNet系列算法關注學習目標表觀特征，并需要在目標外觀發生變化時更新模型，然而，SiamFC系列將目標跟蹤問題視為當前幀的搜索區域與模板分支目標相似性度量問題。2016年，Luca等提出SiamFC［4］，利用在大規模目標檢測視頻集ILS?VRC2015［11］上進行端到端訓練的全卷積孿生網絡在搜索區域計算模板目標響應最強烈的位置進行定位，由于無需在線更新模型，該算法速度達到了58fps，對目標跟蹤方法的發展產生了深遠的影響。2017年，Jack等提出CFNet［12］，結合相關濾波器和SiamFC進行端到端跟蹤，相關濾波的引入使得模型使用較淺層的神經網絡就可以達到較好的效果。2018年，Li等提出了SiamRPN［13］算法，利用孿生子網絡對搜索區域和模板目標進行特征提取，借鑒目標檢測領域的區域候選網絡RPN［14］，對目標前景和背景進行分類和邊界框回歸。由于可以預先計算模板分支子網絡提取第一幀目標特征并生成網絡的相關卷積層進行在線跟蹤，且RPN修正候選框可以避免傳統算法對目標框的多尺度測試和在線微調過程，SiamRPN在保持高準確率和成功率的同時，跟蹤速度達到了驚人的160fps。

搜索區域通常與上一幀的目標框大小有關，常用的策略是2倍策略，如ACT［10］，即裁剪區域以目標框的中心為裁剪中心，區域邊長為目標框邊長的2倍。致力于長期跟蹤的MBMD［15］算法為了保證更大的搜索區域可以找到目標，采用了4倍策略，即區域邊長為目標框邊長的4倍。SiamRPN模型其當前幀的搜索區域基于上一幀目標框的大小進行裁剪并調整至模型輸入固定尺寸，裁剪公式如下：

其中，s為裁剪區域邊長，w和h分別代表上一幀目標框的寬和高，p是填充間距，p=(w+h)/2。裁剪區域近似于2倍策略大小。

由于SiamRPN模型搜索目標區域面積較小，模型有丟失目標的風險，為了提高跟蹤準確率和成功率，本文提出了一種擴大搜索區域的基于Ac?tor-Critic幀間預定位的改進SiamRPN模型ACSia?mRPN。由于SiamRPN模型僅利用第一幀模板和當前幀的相似性度量結果進行目標跟蹤，并未關注相鄰幀之間目標的運動信息，ACSiamRPN融合前后幀的幀間目標運動信息，擴大搜索區域為4倍目標邊長，借鑒ACT算法利用Actor-Critic方法訓練預定位網絡，在更大的搜索區域單步計算目標位移，利用較大的搜索區域和預定位方法來改進Sia?mRPN模型，本文的創新性如下：

1）提出了一種融合幀間目標運動信息來進行預定位的方法，實驗證明該方法能有效地利用幀間目標運動信息在更大的搜索范圍里對目標進行預定位。

2）提出了改進的SiamRPN模型ACSiamRPN，結合幀間目標運動信息來預定位目標，后續Siam?RPN模型跟蹤目標的準確性和成功率有所提高。實驗證明本文提出的改進SiamRPN模型ACSiam?RPN的跟蹤準確率和成功率均超越了SiamRPN，運行速度達到65fps，仍然保持良好的實時性能，與當今較為先進的一些跟蹤方法相比具有明顯優勢。

2 基于Actor-Critic幀間預定位方法

2.1 幀間預定位模型框架

為了保證更大的搜索區域可以找到目標，本文參考長期跟蹤的MBMD［15］算法，采用4倍策略。幀間預定位模型Actor-Critic架構示意圖如圖1所示，a代表Actor，c代表Critic。

圖1 幀間預定位模型Actor-Critic架構示意圖

采用VGG-M網絡作為Actor和Critic的主干網絡，其中Actor網絡用于決策一個連續的偏移動作，可以直接將邊界框移動到當前幀中的目標位置；Critic網絡輸出Q值用來引導Actor-Critic網絡的訓練學習過程。利用預訓練好的VGG-M的前三層卷積層初始化Actor和Critic網絡，Actor網絡后兩層全連接層的輸出拼接后經歷最后一層全連接層輸出一個三維的動作向量，Critic網絡最后一層全連接層需要上一層拼接三維的動作向量，從而獲得對當前狀態的動作評估Q值。在測試階段，僅保留Actor網絡作為預定位網絡使用。

2.2 強化學習問題設定

本文將幀間目標預定位問題視為一個序列性決策問題，服從馬爾科夫決策過程MDP。MDP的四個要素是：狀態s∈S，動作a∈A，狀態轉移方程s′=f(s，a)，獎賞函數r(s，a)。在本文的MDP框架中，幀間預定位跟蹤器通過一系列的觀測狀態（s1，s2，…，st）、動作（a1，a2，…，at）以及獎賞（r1，r2，……，rt）與環境進行交互，在第t幀，智能體根據當前狀態st給出連續性動作at，獲得目標預定位結果作為新狀態s′t。本文將第t幀目標框與前一幀目標框的相對位移定義為動作at，詳細的狀態s、動作a、狀態轉移方程f(s，a)、獎賞r的設置如下所示。

2.2.1 狀態

本文定義邊界框b=[x，y，w，h]包圍的圖像塊作為狀態s，其中(x，y)為邊界框中心坐標，w，h分別為寬和高。定義預處理函數為在給定幀F中裁剪邊界框b相關區域并縮放成網絡所需固定尺寸的函數，預處理后的結果也即為當前狀態s，見式（2）。

2.2.2 動作和狀態轉移

本文定義動作空間是連續的，動作a=[Δx，Δy，Δs]為目標從上一幀運動到當前幀位置的相對運動，其中Δx，Δy分別為目標中心點在水平和豎直方向上的相對位移，Δs為邊界框的尺度變化。依據跟蹤問題的幀間差分連續性［10］，限制動作a的范 圍 為：Δx∈[-1，1]，Δy∈[-1，1]，Δs∈[-0.05，0.05]。目標框b經過動作a偏移后的目標框b′=[x′，y′，w′，h′]，如式（3）所示。隨后，狀態轉移方程s′=f(s，a)即可依據偏移后的目標框b′和預處理函數?(b′，F)實現。

本文可依據當前狀態s通過Actor網絡直接推斷獲得最優動作a，如式（4），其中，μ(.)代表參數為θμ的神經網絡Actor，可通過ACT中的改進DDPG［10］策略線下訓練得到。

2.2.3 獎賞

獎賞函數r(s，a)表明了從狀態s采取動作a變成新狀態s′時預定位的準確性，本文依據新邊界框b′和真實值G的交并比IoU來定義獎賞函數，如式（5）所示，其中IoU的定義如式（6）所示。每次采取動作都會產生相應的獎賞，隨后獎賞會被用來訓練更新神經網絡。

3 改進SiamRPN模型ACSiamRPN

3.1 模型結構

ACSiamRPN模型框架融合前一幀和當前幀目標的幀間目標運動信息，擴大搜索區域為4倍目標邊長，借鑒ACT算法利用Actor-Critic方法訓練預定位網絡，在更大的搜索區域單步計算目標位移，校正SiamRPN模型搜索區域中心，隨后SiamRPN部分利用孿生網絡分支對模板和搜索區域提取特征，RPN在相關性特征圖上進行候選框的分類和回歸，最終獲得當前幀的目標框。ACSiamRPN模型框架如圖2所示。

圖2 基于Actor-Critic幀間預定位的改進SiamRPN模型ACSiamRPN示意圖

3.2 模型線下訓練

3.2.1 訓練Actor-Critic幀間預定位網絡方法

本文的Actor-Critic幀間預定位網絡依據ACT改進的DDPG方法［10］來訓練，即在正式采用傳統DPPG訓練之前，利用第一幀的監督信息來初始化幀間預定位網絡Actor網絡從而適應當前環境，針對Actor網絡采取L2損失函數優化幀間預定位動作決策，如式（7）所示。其中，M為訓練樣本數，μ(.|θμ)代表參數為θμ的神經網絡Actor，sm為第m個采樣狀態，am為相應的真實標簽動作向量。

給定N對樣本(si，ai，ri，s′i)，Critic模型Q(s，a)可以依據Q-learning中的貝爾曼方程來學習，借助Actor目標網絡μ′和Critic目標網絡Q′，最小化累積差分誤差（即損失函數），如式（8）所示。

隨后，利用微分鏈式法則針對累積期望獎賞J對Actor模型參數求導，如式（9）所示，即可優化更新Actor模型參數。

線下訓練幀間預定位網絡時，從ImagetNet視頻［11］訓練集中選取768個視頻序列，每次迭代時隨機從一段視頻里面選取20～40幀圖像，利用第一張圖像初始化幀間預定位網絡Actor時，選取32個與目標框真實值的IoU大于0.7的正樣本，這些正樣本服從以目標框真實值為中心的正態分布，協方差為對角矩陣diag(0.09d2，0.09d2，0.25)，其中d為跟蹤目標框寬和高的均值。隨后，應用Actor網絡和Critic網絡在第t幀獲得訓練數據樣本對(st，at，rt，s′t)。初始化階段的學習率設置為1e-4，學習階段Actor網絡和Critic網絡的學習率分別設置為1e-6和1e-5，此外使用一個104大小的記憶回放緩存。整體訓練迭代次數為240000次。

此外，在傳統的DDPG算法基礎上采用一定概率為ε的專家決策（即真實動作值）取代Actor網絡的結果來引導訓練學習過程，概率ε初始值設置為0.5，每迭代10000次減少5%，與此同時更新Actor目標網絡μ′和Critic目標網絡Q′的網絡參數θμ′和θQ′，如式（10）所示，其中參數τ設置為0.001。

3.2.2 訓練SiamRPN模型方法

本文的SiamRPN模型訓練方法參考原文［13］。訓練數據來源于ILSVRC2015大規模視頻圖像數據集［11］，選取同一個視頻序列的第一幀和隨機間隔幀組成一個數據對。RPN的回歸分支損失函數Lreg針對回歸的歸一化坐標，定義錨框的中心點坐標和尺寸為：Ax，Ay，Aw，Ah，定義對應的目標框真實值為：Tx，Ty，Tw，Th，歸一化距離如式（11）所示；Lreg參考Faster R-CNN［14］采用smoothL1損失，Lreg見式（12）。

分類分支的損失函數Lcls為交叉熵損失函數，聯合訓練兩個分支的總體損失函數loss見式（13），其中λ為平衡兩個分支的超參數。

4 實驗結果及分析

為了驗證本文提出的基于Actor-Critic幀間預定位的改進SiamRPN模型的效果，實驗環境為Ubuntu 16.04系統，采用TITAN Xp 12GB顯卡加速訓練和測試，其中Actor-Critic幀間預定位模型訓練采用TensorFlow框架訓練，SiamRPN模型和AC?SiamRPN模型均采用Pytorch框架訓練和測試。實驗所用的訓練數據集為ILSVRC2015大規模視頻圖 像 數 據 集［11］，測 試 數 據 集 為OTB2013［16］、OTB2015［2］、DTB70［17］、NFS30［18］以及VOT2016［19］。

4.1 評價指標

4.1.1 常用指標

大多數目標跟蹤數據集，如OTB2013、OTB2015、DTB70和NFS30，主要采用精確率（Preci?sion Rate，簡稱P）和成功率（Success Rate，S）來評價跟蹤器的效果，利用幀率（Frames Per Second，fps）來衡量跟蹤算法的實時性能。

4.1.2 VOT2016指標

本文采用的VOT2016主要采用準確率（Accu?racy，A）和魯棒性（Robustness，R）來評價跟蹤器的效果，利用幀率fps來衡量跟蹤算法的實時性能。

4.2 實驗結果與分析

在OTB2013和OTB2015數據集上，本文選取了SiamRPN［13］、ACT［10］、ECO-HC［20］、SiamFC-Tri［4］、SiamFc_3s［4］、CFNet［12］等較為先進的跟蹤算法和本文提出的ACSiamRPN作對比試驗，準確性圖和成功率圖如圖3所示，圖例所示的數值為曲線所對應的AUC（Area under curve）值，反映了跟蹤器在數據集上的平均精確率和平均成功率，其中主要采用平均成功率來對跟蹤器進行排名。因此可見：1）AC?SiamRPN在OTB2013和OTB2015上的平均精確率和平均成功率均超越了SiamRPN。2）ACSiamRPN在OTB2013上以0.657的平均成功率超越了所有的對比對象，在OTB2015上以0.642的平均成功率超越了幾乎所有對比對象，僅次于ECO-HC。

圖3 OTB2013和OTB2015數據集ACSiamRPN對比試驗圖

在DTB70、NFS30和VOT2016數據集上，本文主要選取SiamRPN算法做對比實驗，從而比較AC?SiamRPN作為改進SiamRPN模型與原始SiamRPN模型的跟蹤效果，如表1所示。在DTB70和NFS30上，ACSiamRPN的精確率和成功率均高于Siam?RPN，在VOT2016上，ACSiamRPN的準確率超越了SiamRPN，但是魯棒性稍遜于SiamRPN。

表1 ACSiamRPN和SiamRPN在DTB70、NFS30、VOT2016上的實驗結果

由OTB2013、OTB2015、DTB70、NFS30以 及VOT2016數據集上的對比實驗結果可知，本文提出的ACSiamRPN模型作為SiamRPN的改進模型，對于SiamRPN跟蹤效果的提升較為明顯，從精確性到成功率均取得了良好的改進結果，與此同時，和其他當今較為先進的跟蹤模型相比，ACSiamRPN模型依然具有明顯的優勢。

在實時性能方面，SiamRPN由于是端到端的一步跟蹤，在OTB2013數據集上達到了100fps的速度，ACSiamRPN由于采用更大的搜索區域且增加了幀間預定位模型來校正SiamRPN搜索區域的中心，這種兩步跟蹤的方法降低了SiamRPN原有的跟蹤速度，但是由于幀間預定位模型采用了輕量級網絡VGG-M，在OTB2013上的跟蹤速度依然可以達到65fps，在提高模型跟蹤效果的同時依然保持了較好的實時性能。

5 結語

本文提出了一種基于Actor-Critic幀間預定位的改進SiamRPN模型ACSiamRPN。該方法融合前后幀的幀間目標運動信息，擴大搜索區域為4倍目標邊長，利用Actor-Critic方法訓練預定位網絡，在更大的搜索區域單步計算目標位移，從而校正Sia?mRPN模型搜索區域中心。實驗證明該方法能有效地利用幀間目標運動信息在更大的搜索范圍里對目標進行預定位，并且可以改進和提升原始Sia?mRPN模型的準確性和成功率，與此同時運行速度達到65fps，仍然保持良好的實時性能，與當今較為先進的一些跟蹤方法相比具有明顯優勢。