基于孿生區域候選網絡的目標跟蹤模型

王 冠，耿明洋，馬勃檀，高逸倫，宮 俊

(東北大學 信息科學與工程學院，沈陽 110819)

1 引 言

目標跟蹤是具備極高的科研意義和實用價值的一項課題，是集特征提取、目標檢測和動態分析于一體的綜合性課題，在無人駕駛、智能監控、體感游戲以及軍事偵察等領域得到了廣泛應用[1].然而在現實場景中跟蹤效果很容易受到遮擋、形變、光照以及復雜背景等因素干擾，導致可靠性低和實時性差等一系列問題，因而設計一個可實現對目標實時跟蹤的魯棒算法模型是一個很大的挑戰.現有的目標跟蹤方法主要可以分為生成式方法和判別式方法兩大類.生成式方法主要通過生成式模型來描繪被跟蹤目標的外觀特征，通過搜索候選目標的方式來重構誤差，生成式方法一般采用傳統的機器學習算法，如CT[2]、STC[3]、MeanShift[4]等.生成式模型提取到的特征往往不夠魯棒，因此目標外觀一旦出現較為顯著的變化，跟蹤效果就會出現被目標漂移的現象；判別式方法采用判別式模型訓練出的分類器將視頻中每一幀的目標和背景作區分，這種方法也被稱作為檢測跟蹤模型，如FCNT[5]、MDNet[6]等.判別式模型比傳統的生成式模型有更強的魯棒性和更高的精度，在現有的跟蹤方法中已成為主導，目前目標跟蹤領域內采用深度學習的方法大多數都在判別式方法的范疇內，但此類模型存在網絡參數更新不及時、訓練樣本匱乏等問題，在跟蹤精度與速度方面受到制約，距離實時性的魯棒跟蹤算法這一目標存在著一定差距.

基于孿生網絡的跟蹤方法是近年來目標跟蹤領域研究的熱點方向.Luca B.等提出了SiamFC[7](全卷積孿生網絡)，SiamFC創造性地把原有的跟蹤任務等效為匹配的過程，通過相關濾波操作計算出被跟蹤目標和模板圖片的相似度，利用計算得到的相似度最大區域將被跟蹤目標定位.SiamFC在跟蹤速度上顯著提升，但在精度方面存在較大問題，包括跟蹤框尺寸固定，不會隨尺度的變化而相應改變，跟蹤過程中很容易受到相似目標的干擾導致跟蹤效果變差甚至跟蹤失敗.Bo L.等提出了SiamRPN[8](孿生區域候選網絡)，將SiamFC與檢測領域中的RPN[9](區域候選網絡)整合為一個網絡，通過RPN中的anchor機制和邊框回歸機制區分目標與背景，可以進行端到端的離線訓練，利用anchor機制獲得所有待篩選的目標(包括正例和負例)，通過損失函數及設定的重合度閾值對目標進行大致定位，篩選出目標區域，對比網絡輸出結果和真實目標的差距，如果輸出的差距小于某一固定的閾值，則利用邊框回歸機制對邊界框尺寸作線性微調.相比較而言，SiamRPN的跟蹤效果得到顯著提升，以極快的速度達到了目標跟蹤領域的較高準確率.

雖然SiamRPN在速度和精度方面都取得了顯著提高,但是由于采用的特征提取基準網絡是淺層的AlexNet[10]，當被跟蹤目標出現尺度、形狀的變化時，該基準網絡難以提取到目標的有效特征，跟蹤過程極易發生漂移現象導致跟蹤失敗，同時因RPN的anchor機制存在位置預測和尺度估計的局限性，所提取出來的邊界框在邊界框尺度方面存在一定誤差，難以精準地框選目標的整體位置和主要輪廓，因此SiamRPN在跟蹤精度方面有待提升.

本文在原有的SiamRPN模型基礎上，在特征提取部分將模型基準網絡由AlexNet升級為ResNeXt[11]，采用多層特征融合的方式，提取出更加魯棒的特征，引入雙重注意力機制模塊增強特征的位置特性和通道特性，在候選區域生成部分采用檢測領域最新提出的GA-RPN[12]替換SiamRPN中原有的傳統RPN，使邊界框更加精準地框選目標；最后采用非極大值抑制的方法篩選出響應分數最高的預測區域，從而提高跟蹤模型的跟蹤效果和表達能力.

2 相關工作

2.1 孿生區域候選網絡

SiamRPN(孿生區域候選網絡)創造性地將孿生網絡與RPN(區域候選網絡)相結合，實現了端到端的離線訓練.網絡結構如圖1所示，分為模板分支與目標分支，SiamRPN初始通過孿生網絡提取特征，RPN作后續目標-背景的二分類和邊界框的回歸.SiamRPN放棄了跟蹤領域傳統的多尺度評測機制和在線跟蹤策略，將跟蹤過程等效為針對單樣本的目標檢測過程，將第1幀框選的圖片區域作為模板，計算孿生子網絡中的模板分支，將其構造成目標分支中區域檢測部分的卷積層.因SiamRPN整體結構較為簡單使得跟蹤速度大幅提升，檢測幀率可以達到160FPS.同時，RPN的anchor機制和邊框回歸機制提升了跟蹤精度，在OTB2015以及VOT系列數據集中的各類評價指標均處于領先地位，但因特征提取網絡較淺以及RPN的固有局限性，SiamRPN從結構上存在著進一步優化的空間.

圖1 孿生區域候選網絡主體結構Fig.1 Siamese region proposal network architecture

2.2 ResNeXt

ResNet于2015年由Kaiming H[13]提出，通過殘差塊之間的shortcut連接方式消除了因層數增加導致的梯度彌散現象，徹底釋放了網絡的深度.此后，計算機視覺領域出現了較多采用ResNet作為基準網絡的模型，ResNet的結構通過引入不同的機制不斷得到優化，效果也相應顯著提升.

殘差塊的結構包括兩層單元，輸入信息通過塊與塊之間的shortcut結構可實現恒等映射，如公式(1)所示：

y=F(x,{Wi})+Wx

(1)

其中，每層的輸入經由ReLU函數形成殘差函數傳遞到下一層，當輸入和輸出維數變化時，對x作一個線性變換來調整通道數，W為變換系數.

ResNeXt是ResNet的結構升級版本，采用了VGG[14]網絡的堆疊累加的思想和Inception[15]網絡的分離-變換-合并思想改動卷積層中殘差塊結構，即通過在該卷積核所在層兩側加入1×1的卷積層，在不對參數復雜度明顯增加的前提下提高了網絡性能.此外，由于各分支間拓撲結構相同，ResNeXt的超參數規模也相應大幅縮減，使ResNeXt具有較強的可擴展性.

圖2 ResNet與ResNeXt卷積層結構Fig.2 Structure of ResNet and ResNeXt convolutional layer

圖2左側是ResNet中Conv2層具體的拓撲結構，右側為ResNeXt中Conv2層具體的拓撲結構.從圖中可以看出ResNeXt卷積層中各個子分支均具有一致性，分支的個數為路徑基數.左側64個卷積核(1×1,3×3,1×1)對所有的輸入集中作卷積計算；右側通過網絡拆分，將每4個卷積核作為1個分支，明確了網絡分工并提高了局部適應性，32個路徑的輸出向量按照通道對應位置點相加的方式求和.

本文模型擬采用在ImageNet數據集上預訓練完畢的VGG-19網絡Conv 1和Conv 2層與3個相同的ResNeXt-50的Conv 2層組合，構造出全新的網絡結構，替換SiamRPN中的AlexNet為基準網絡.其中，將卷積核尺寸分別設置為11×11、5×5、3×3，卷積過程步長設置為2，不作額外填充，相鄰層之間經由過渡層調整通道數從而將原始的3通道輸入圖像最終轉換為256維的特征圖.卷積層各路徑分支之間采用分組卷積的組合形式，可以更好地利用PyTorch深度學習框架的底層計算資源，提升模型整體運行速度.

2.3 GA-RPN

傳統RPN的anchor機制將一系列形狀和寬高比不同的anchor密集插放在特征圖上，這種作法存在兩個問題：在位置上較多的預置anchor并沒有起到實質的效果，造成計算資源的浪費；在形狀上預置生成的anchor大小和寬高比是恒定的，并不能夠完全貼合目標.為解決RPN出現的此類共性問題，Guided anchoring機制利用語義特征預測感興趣目標中心最可能出現的位置，預測特征圖中不同位置所對應的形狀，從而聯合指導anchor的生成，即先預測anchor的形狀及位置，然后在預測出的anchor基礎上定位目標.本文引入目標檢測領域內最近提出的這一機制，替代原有SiamRPN中RPN的anchor機制，即用GA-RPN取代了SiamRPN中原有的RPN.

圖3 Guided anchoring結構Fig.3 Guided anchoring architecture

Guided anchoring在結構上有兩個分支，如圖3所示.其中，上方分支用于預測出anchor的位置和形狀，下方分支通過特征整定操作生成新的用于搜索的等效特征圖.預測anchor的分支下又可以細分為兩個子分支，即位置預測子分支和形狀預測子分支，分別利用特征圖經過不同的卷積層后提取到的特征來預測anchor的位置信息和形狀信息.不同位置的anchor對應的尺寸大小有差異，因此映射到特征圖上的范圍也會有差別，所以經由一個特征整定模塊使原特征圖融合了各個位置anchor的形狀信息，得到新的特征圖用于后續回歸操作.

2.3.1 anchor位置預測

在anchor的位置預測子分支中，初始化預設某一特征點(i,j)對應的坐標為((i+0.5)s,(j+0.5)s)，采用如下轉換方式：

P(i,j|fi)=Sigmoid((i+0.5)s,(j+0.5)s)

(2)

其中，s表示特征圖的步長，即特征圖對比原圖下采樣的倍數，同時也等價為原始圖片上相鄰的anchor相隔的真實距離.對輸入特征圖作1×1卷積操作，然后使用Sigmoid函數得到每個元素相對應的實際概率值，從而形成概率預測分布圖.

2.3.2 anchor形狀預測

在anchor的形狀預測子分支中，根據給定的特征圖fi，該分支對各個位置所對應的最佳anchor形狀和尺寸作出預測，結合差異化IOU閾值，從而得到最接近的邊界框中最高IOU數值的對應的形狀.采用以下轉換方式：

w=σ·s·edw,h=σ·s·edh

(3)

其中，將dw和dh作為形狀預測子分支的輸出值，并將其具體的映射到(w,h)上，s表示特征圖的步長，即特征圖對比原圖下采樣的倍數，同時也等價為原始圖片上相鄰的anchor相隔的真實距離，σ表示比例因子(本文σ取8)，通過非線性變換的方式將輸出空間從近似值[0;1000]映射到[-1;1]，實現逐像素轉換.

2.3.3 特征整定

對特征圖作原有特征的整定操作，對特征圖中各個位置利用可變形卷積的思想作轉換，采用以下轉換方式：

(4)

其中，fi是第i個位置的特征，(wi,hi)是該特征所對應的anchor形狀，NT表示通過3×3可變形卷積思想實現的特征轉換函數.從anchor分支計算出預測的偏移量，然后對帶偏移量的原始特征圖作可變形卷積獲得整定后的特征，用于下一步分類和邊框回歸操作.

3 基于孿生區域候選網絡的目標跟蹤模型

本文提出基于孿生區域候選網絡(SiamRPN)的目標跟蹤模型，在SiamRPN基礎上，將原有的特征提取基準網絡AlexNet升級為ResNeXt來提取更有效的特征，運用多層特征融合模塊融合從淺層到深層網絡提取到的特征；嵌入雙重注意力機制模塊來增強特征的位置特性和通道特性；將傳統的RPN替換為GA-RPN，得到更精準的邊界框，將不同Guided anchoring模塊的IOU閾值作差異化調整，以非極大值抑制的方式篩選出最優跟蹤方案.

本文模型結構如圖4所示，整個模型可分為模板分支和目標分支，由孿生網絡、注意力模塊、GA-RPN以及對跟蹤結果的篩選操作4部分組成.將該視頻第1幀中人工標記的目標真實位置和當前幀的目標搜索區域作為該模型的輸入，將非極大值抑制后篩選出的最優分類信息和位置信息作為該模型的輸出.

初始化裁剪圖像為127×127×3和255×255×3尺寸輸入該模型，由預訓練完畢的VGG網絡Conv1和Conv2層作卷積操作并降維后，導入到由3個ResNeXt的Conv2層組成的特征提取區域，提取不同層次的特征.為了保持特征提取區域輸入的特征圖維度一致，每個卷積層前的過渡層通過1×1卷積層的bottleneck操作調整通道數.為了使定位更加精準，將ResNeXt的Conv2層步長參數縮減，以均勻采樣的方式消除位置偏差.多層特征融合模塊將提取到的不同層次特征以線性加權的方式融合后，把尺寸為6×6×256和22×22×256的特征圖作為雙重注意力機制模塊的輸入.

本文提出的雙重注意力機制模塊由位置注意力模塊和通道注意力模塊兩部分組成.運用自注意力機制可在通道和空間上分別有效捕捉特征之間的相互關聯程度，并且不變更輸入特征圖的尺寸和通道數量.為了得到更優秀的特征描述，將兩種注意力機制的結果融合成新的特征，輸出6×6×256和22×22×256的特征圖到GA-RPN區域.

GA-RPN區域中，輸入信息分別經由3×3卷積層調整通道數后，作互相關操作輸出17×17×2k的向量，通道數為2k，k表示預置anchor的數量.3個內置不同IOU閾值的Guided anchoring模塊對輸入向量作位置預測和形狀估計，輸出17×17×2k的分類信息和17×17×4k的位置信息，最后以非極大值抑制(NMS)的方式篩選出最優的跟蹤方案作為整個模型的輸出.

圖4 基于孿生區域候選網絡的目標跟蹤模型結構Fig.4 Architecture of target tracking model based on siamese region proposal network

3.1 多層特征融合模塊

在神經網絡中不同深度的網絡層提取特征的側重點差異很大，較淺層網絡主要提取邊緣、紋理、形態等低級信息，而深層次的網絡則更加關注語義等高級信息.因此，為了融合從淺層到深層提取到的特征，本文在孿生網絡區域設計多層特征融合模塊，經由過渡層作維數一致性整合，采用線性加權的方式融合成新的特征.特征融合過程如下：

(5)

其中，各元素采用元素堆疊的方式累加，不改變特征原有的通道數，運用并行計算策略，將高低層特征向量融合成一個復向量，特征與特征之間的優先級相同，因此αi均取值為0.33.多層特征融合模塊可從多個原始特征中取得最具代表性的差異化信息，消彌不同特征之間產生的一部分冗余信息，為后續GA-RPN模塊的精準決策打下基礎.

3.2 雙重注意力機制模塊

本文在根據注意力機制[16]提出了雙重注意力機制模塊用于增強特征的位置特性和通道特性，結構如圖5所示，包括

圖5 雙重注意力機制模塊Fig.5 Double attention mechanism module

位置注意力模塊和通道注意力模塊兩個部分，可在空間和通道維度上有效捕獲特征之間的相互關聯程度，最后融合兩種注意力機制模塊的輸出結果以得到更優的特征描述.

3.2.1 位置注意力模塊

位置注意力模塊通過引入自注意力機制獲取各個位置在特征空間的相互關聯程度，對于某個特定位置的特征，采用加權求和的方式將其他位置的聚合特征匯總后更新原有的特征，結構如圖5上方分支所示.

不同位置間的權重系數由特征之間的關聯程度確定，具有相似特征的位置之間會互相增強表征能力，且與空間上的距離無關.整個過程采用如下公式計算：

(6)

其中，特征圖A(C×H×W)分別通過3個卷積層得到3個不同的特征圖B、C、D，然后變形為C×N，其中N=H×W.將變形后B的轉置與變形后的C相乘后通過softmax函數得到空間注意力響應圖S(N×N)，接著把S的轉置與D作乘積，與尺度系數α相乘變形回到初始形狀，最后與特征圖A按元素相加得到輸出特征圖E.將α初始值置為0，并經過學習逐漸更新權重，由原始特征每個位置加權求和后得到輸出特征圖E的每個位置上對應的值.

3.2.2 通道注意力模塊

通道注意力模塊通過引入自注意力機制獲取特征在通道維度上的依賴關系和相互關聯程度，從而更新每個特征通道的權值，由通道之間的相關性來獲取語義特征之間的對應聯系，結構如圖5下方分支所示，整個過程采用如下公式計算：

(7)

該模塊分別對特征圖A(C×H×W)作類似位置注意力模塊中變形、變形與轉置結合的操作，將操作后的兩個特征圖相乘后經由softmax函數得到全新的通道注意力響應圖S(C×C)，接著把S與A作乘積后，與尺度系數β相乘變形為初始形狀，最后與特征圖A逐通道相加后得到輸出特征圖E.將β初始值置為0，并經過學習逐漸更新權重.

3.3 IOU差異化閾值

GA-RPN論文作者提出，IOU(交并比)閾值作為超參數對該網絡作移植后的效果有著較大影響，不同的IOU閾值對邊界框的位置與邊框回歸的效果都會產生一定的數值變動.IOU的數值等于兩相關圖片中交集與并集面積的比值，計算過程如下：

(8)

因此，本文模型采用IOU差異化閾值作為超參數來匹配相同的Guided anchoring模塊.IOU閾值一般在0.5-0.7的范圍，通過大量對比驗證，將3個Guided anchoring模塊IOU閾值分別預設為0.55、0.62、0.66.

3.4 損失函數

本文模型的損失函數由目標-背景的二分類損失函數和邊界框的回歸損失函數共同組成.其中，二分類損失函數用來衡量被跟蹤目標和背景信息的差異性，回歸損失函數則用來精準定位邊界框，整體損失函數如下：

(9)

(10)

(11)

4 實 驗

4.1 實驗說明

本文實驗的硬件環境為RTX-2070Ti顯卡、16GB內存、Intel i 7-9代CPU；軟件環境為64位操作系統Win10環境下搭載PyCharm平臺、PyTorch框架；數據集為OTB2015和VOT2018兩個通用目標跟蹤數據集，其中，OTB2015數據集有100個通用的跟蹤視頻，VOT2018數據集包括60個通用跟蹤視頻，視頻的采集綜合考慮了光照、遮擋、形狀尺度變化和模糊等不同干擾因素的影響，采用10折交叉驗證法按照9:1的比例將整個數據集拆分為訓練集和測試集.

本文將數據集視頻片段中第1幀圖片人工標注的真實目標所在位置作為模板分支的輸入圖，其他幀圖片作為作為目標檢測分支的輸入圖，共同構成一個整體的訓練樣本，以32個訓練樣本為一個批次作批標準化處理后訓練模型，以隨機梯度下降算法作收斂，初始學習率設置為0.01，采用poly學習率下降策略將學習率從0.01呈指數趨勢衰減到0.0001，動量設置為0.9，權重衰減系數設置為0.0001，訓練共迭代10000次，損失函數見3.4節.

4.2 數據集OTB2015實驗結果

本文在OTB2015數據集上的實驗主要考慮中心位置誤差和重疊率兩方面的因素并以此為依據分別生成準確率圖和成功率圖.其中，預測框與真實框測距小于規定閾值的圖片作為正確檢測圖片，正確檢測圖片在該數據集中的占比作為準確率(Precision)；預測框與真實框覆蓋率高于設定閾值的圖片作為成功檢測圖片，成功檢測圖片在該數據集中的占比作為成功率(Success).將本文模型與其他9種主流跟蹤模型進行對比，其中包括SiamRPN、PTAV、CRSET、SRDCF、SINT、CSR-DCF、SiamFC、Staple和CFNet，由OTB數據集的實驗結果生成機制得到準確率及成功率曲線圖，包括本文模型以及其他9種經典的跟蹤模型.

圖6 準確率及成功率Fig.6 Precision and success

實驗結果如圖6所示，圖中[]內的數值分別為本文模型中誤差范圍小于0.5的準確率數值和覆蓋率大于0.5的成功率數值.本文模型在原始的SiamRPN模型基礎上作出改進，克服了尺度、形狀變化所導致的跟蹤效果變差問題，因此在OTB2015數據集的評價指標下，跟蹤的準確率和成功率與SiamRPN相比均有小幅上升，準確率達到了0.882，成功率達到了0.678，分別提升了3.7%和6.2%.此外，與其他9種跟蹤模型對比，本文模型的跟蹤性能更為優異，在準確率曲線圖中上升梯度相對較大，在成功率曲線圖中下降梯度相對較小，由此表明本文模型在跟蹤過程中具備更好的抗干擾能力，魯棒性較強.

4.3 數據集VOT2018實驗結果

本文在VOT2018數據集上的實驗通過平均重疊期望(EAO)、準確度(Accuracy)、魯棒性(Robustness)這3個性能指標來對該模型作跟蹤效果的具體評估，良好的跟蹤模型應當具備較高的準確度和平均重疊期望數值，較低的魯棒性數值.將本文模型與其他3種孿生網絡跟蹤模型對比，其中包括DaSiamRPN、SiamRPN和SA_Siam_R這3種孿生網絡跟蹤模型.

實驗結果如表1所示，與原始的SiamRPN模型相比，本文所提出的模型在VOT2018數據集上的平均重疊期望提高了4.9%，準確率提高了2.67%，魯棒性提高了11.2%.此外，準確度-魯棒性的可視化如圖7所示，速度-平均重疊期望如圖8所示，本文模型因改進后結構更加復雜導致在跟蹤速度方面與其他3種孿生網絡跟蹤模型(DaSiamRPN、SiamRPN和SA_Siam_R)相比略低，但在平均重疊期望、準確度、魯棒性方面均有較為明顯的提升.本文模型的跟蹤速度(31 FPS)略高于跟蹤模型實時性閾值25 FPS，滿足領域內部跟蹤模型對于實時性的普遍要求.

表1 VOT 2018數據集實驗結果Table 1 Results of the VOT2018 dataset

圖7 準確度-魯棒性Fig.7 Visualization of accuracy-robustness

圖8 速度-平均重疊期望Fig.8 Visualization of speed-EAO

綜上所述，在VOT2018標準下，本文模型實現了較為出色的性能，與同屬孿生網絡跟蹤算法體系的其他3種模型相比，具有更好的跟蹤效果.

5 總結與展望

本文在孿生區域候選網絡(SiamRPN)的基礎上，構建一種用于目標跟蹤的模型，通過升級特征提取基準網絡，引入多層特征融合模塊、注意力機制和GA-RPN，提高了模型的跟蹤精度，解決了因尺度、形狀變化導致的跟蹤效果變差的問題.OTB2015和VOT2018兩個數據集的測試數據表明，本文提出的模型具有較高的跟蹤精度和較強的抗干擾性，滿足跟蹤模型對于實時性的要求.但本文模型存在著跟蹤速度略低、對其他干擾因素表現較為敏感的問題，下一步嘗試引入更多機制，優化網絡整體結構，在兼顧模型跟蹤精度的前提下同步提高模型的跟蹤速度，并就如何將本文模型擴展應用到多目標跟蹤領域這一問題作出思考與嘗試.