基于注意力機制和孿生網絡的跟蹤算法研究

王 玲，周 磊，王 鵬，白燕娥

長春理工大學 計算機科學技術學院，長春 130022

近幾年隨著神經網絡研究的深入，目標跟蹤算法研究得到了不斷的發展，無論是機器人、自動駕駛還是智能監控，都在逐步融入人們的生活。但因目標物體外形變換、光照變化、快速移動、運動模糊、遮擋和復雜相似背景等因素，目標跟蹤仍然是一項具有挑戰性的工作。

基于深度學習的跟蹤器中，Yun等[1]提出ADNet可控跟蹤器，通過深度強化學習生成動作序列，跟蹤期間進行在線微調，移動或縮放搜索框來獲得跟蹤結果；為了提高對深層特征的識別能力，DSiam[2]引入了兩種相關濾波器，分別用于在線更新目標特征和緩解背景雜波；SA-Siam[3]提出了兩種互補的孿生網絡來提取全局外觀和語義特征；Bhat等[4]提出基于一個目標模型的預測網絡，通過應用迭代優化過程，得出不同的學習損失值，可最大限度地提高預測模型的辨別能力；在后續的研究中，SiamDCN[5]構建由SiamDCN分支和SiameseFC[6]組成的孿生網絡，通過互相關操作自適應地調整模板核，實現精準的視覺跟蹤；李睿等[7]通過改進Siamese-FC，在目標分支與搜索分支同時使用AlexNet與ResNet作為主干網絡實現參數共享，并通過多特征融合，達到對目標物體的準確定位；王希鵬等[8]也通過改進孿生網絡，進行多層特征融合，并設計短時記憶模塊，將響應圖加權疊加，以適應目標物體動態變化，提升跟蹤性能。

近幾年，為了提高跟蹤效果，把注意力機制融入到目標跟蹤模型也成為了一個研究方向。RASNet[9]在目標物體的外觀特征上增加了三種注意模塊，優先選擇信息豐富的特征通道，并對它們進行加權融合實現互相關操作；張漢等[10]通過融入局部注意力機制和全局注意力機制策略，采用上采樣方法恢復特征圖尺寸，提升模型的泛化能力；SiamAtt[11]使用孿生注意力網絡，將注意力機制引入分類分支，通過分類分數來區分前景和背景，以此預測目標位置；Wang等[12]提出一種高效輕量級的通道注意力模塊，應用很少參數，在圖像分類和目標檢測等方面有效地提升了精度。但是在跟蹤器中融入注意力機制將增加一定的計算量，從而影響跟蹤器的整體性能。

針對上述問題，本文基于SiameseFC，在卷積層融合卷積通道注意力機制，在不降低通道維度的情況下，提取強化的圖像特征；在目標圖像分支融合堆疊通道注意力機制，保證跟蹤速度的同時維持跟蹤器的健壯性；之后融合空間注意力機制，在低分辨率、形變和遮擋情況下，實現對目標物體的準確定位。

1 相關工作

SiameseFC作為全卷積孿生網絡，使用兩個對稱的全卷積分支，通過共享權重方法提取目標圖像與搜索圖像的特征；使用互相關操作計算多個推薦框的相似分數，得分最高的推薦框將作為在搜索圖上的預測位置。互相關使用下面公式進行計算：

其中，φ(·)表示全卷積網絡，b表示偏移量，p(·)表示計算目標圖像和搜索圖像特征進行的推薦框互相關函數。這樣的結構對目標物體與背景信息學習能力不足，很容易忽略它們之間聯系。

注意力機制能夠幫助學習目標物體與背景信息之間的聯系，獲取更多需要關注區域的細節信息，這使得注意力機制被應用在目標跟蹤任務中。不同的注意力機制在跟蹤任務中起到不同的作用，通道注意力機制注重加強各個通道內圖像特征提取，同時抑制無用的特征信息；空間注意機制注重通道內圖像空間特征信息，利于對目標物體的準確定位。本文結合SiameseFC和注意力機制，提出ThrAtt-Siam跟蹤器用于完成目標跟蹤任務。

2 ThrAtt-Siam跟蹤器算法

ThrAtt-Siam跟蹤器架構如圖1所示。與以往深度神經網絡跟蹤器不同，ThrAtt-Siam跟蹤器采用AlexNet變體作為特征提取主干網絡，追求圖像特征提取速度的同時，一定程度上降低了圖像特征提取精度，為了彌補這部分損失，本研究開發一種具有高性能、高泛能力的跟蹤器，將卷積通道注意力機制融合到第一層卷積和后五層卷積中，在第一卷積層中還增加兩個圖像特征和兩個卷積塊，以更好地提取圖像特征信息；為了降低計算參數的工作量，僅在目標圖像分支中引入堆疊通道注意力機制和空間注意力機制，利用通道內和通道間的不同特性進行特征提取，之后將目標圖像分支與搜索圖像分支通過改進的互相關公式（2）進行計算：

圖1 ThrAtt-Siam跟蹤器架構Fig.1 Tracker architecture of ThrAtt-Siam

其中，q(·)表示使用卷積通道注意力機制，兩個圖像特征融合于兩個卷積塊，φ(·)表示全卷積網絡，ω表示堆疊通道注意力機制與空間注意力機制，b表示偏移量。

2.1 卷積通道注意力機制

卷積通道注意力機制可平衡圖像特征提取速度與準確率。首先，它使用少量參數，采用適當的跨通道交互策略，在不增加算法復雜度的同時保證模型整體性能，有效地學習通道特征；其次，它具有模塊化結構，即插即用的特點，可高效地嵌入變體AlexNet網絡中，便于實際應用。具體操作如圖2所示。

圖2 卷積通道注意力機制Fig.2 Convolution channel attention mechanism

在不同卷積層中，接收輸入XM的通道數為C，經過全局平局池化層獲得特征后，繼續執行1D卷積操作，使用自適應卷積核K，完成維度不變的新映射關系，隨后使用Sigmoid函數學習通道信息，經過特征間相乘融合后得到XN，作為之后操作的輸入。

在自適應卷積核K的取值上，各種CNN框架的1D卷積核會根據通道數手動進行調整，這樣將耗費大量的計算資源。本研究依據文獻[12]的方案，K值與通道數C之間存在正比關系，K值由公式（3）自適應確定：

其中，||odd表示獲取最近的奇數，γ和b取值分別設置為2和1。

2.2 特征融合與卷積塊

在特征提取階段融入特征圖有助于訓練判別能力更強的特征提取網絡[13-15]；通過卷積層提取到的特征，進一步使用1×1與3×3的組合卷積塊來強化圖像特征[16]。ThrAtt-Siam跟蹤器為了保證性能和準確率，在卷積層提取特征時，多次融入特征圖，通過兩個卷積塊增加網絡深度，可線性組合不同通道內特征信息，以此加強和細化圖像特征，具體操作如圖3所示。

圖3 特征融合與卷積塊Fig.3 Feature fusion and convolution block

首先，對第一層卷積融合ECA后提取到的兩個目標特征圖1進行融合，可有效地強化基礎特征信息，突出目標物體特征信息，得到新目標特征圖+；其次，使用卷積核為1×1與3×3的兩個卷積層，形成局部語義塊，得到目標特征圖++。這樣既可以加強圖像特征的提取，也可以細化圖像輪廓信息。這種結構在不改變通道維度的同時，不增加偏移學習，減少權重計算量，使跟蹤器快速地提取到更好的魯棒特征，即使遇到圖像模糊和低分辨率的情況下，也能保證對目標物體的跟蹤效果。

2.3 堆疊通道注意力機制

單獨使用最大池化層或平局池化層，都會忽略掉通道內部分特征信息，為了能夠更好地獲取圖像特征，ThrAtt-Siam跟蹤器采用全局最大池化（GMP）與全局平均池化（GAP）形成可融合特征的堆疊通道注意力機制，加強有用的通道信息提取的同時，減少無用通道信息的影響，從而提升跟蹤器的泛化能力，具體結構如圖4所示。

圖4 堆疊通道注意力機制Fig.4 Attention mechanism of stacked channels

目標圖像分支中通過卷積層輸出的特征信息通道數為C，GMP和GAP并行處理目標特征圖。GMP側重于獨特的和細致的目標物體特征，GAP側重于目標物體整體的認知，增強通道的注意；然后分別使用卷積核為1×1的FC1全鏈接層，減少特征圖維度，使用ReLU激活函數后使用卷積核為1×1的FC2全鏈接層，增加特征圖維度，如公式（4）、（5）所示：

然后運用特征相加方式將兩個子網絡特征進行融合，如公式（6）所示：

2.4 空間注意力機制

與堆疊通道注意力機制相比，空間注意力機制更加注重目標圖像在每個通道內位置特征的信息，并利用通道空間特征之間的關系構建空間注意力，關注每個通道內目標圖像信息最豐富的部分，是對堆疊通道注意力機制的補充。ThrAtt-Siam跟蹤器采用的空間注意力機制，具體結構如圖5所示。空間注意力機制分為上下文模塊和通道轉換模塊。上下文模塊接收堆疊注意力機制的輸出的特征圖SH×W×CN作為輸入，計算出所有特征通道的相同空間注意；上下文模塊通過1×1卷積操作，將C個通道減至單通道，然后經過Softmax函數之后和輸入相乘，融合傳入到多層通道轉換模塊中；多層通道轉換模塊主要計算跨通道的不同空間關注，首先通過1×1卷積操作將輸出通道數減至C/8，通過實驗，通道數減至C/8時，特征提取效果最好；然后經過BatchNorm層和ReLU層繼續應用1×1卷積操作，最后應用Sigmoid函數與輸入相乘融合，得到目標特征

圖5 空間注意力機制Fig.5 Spatial attention mechanism

3 實驗結果及分析

3.1 實驗環境

實驗使用PyTorch框架進行操作，環境如表1所示。

表1 實驗環境Table 1 Experimental environment

3.2 數據集

實驗所用數據集如表2所示。

表2 數據集Table 2 Data sets

3.3 網絡結構與參數

ThrAtt-Siam跟蹤器的網絡結構與相應參數如表3所示。訓練時，目標圖像和搜索圖像分別為135×135和263×263的彩色圖。批量數（batch）為32，每個批量有3 650對樣本，進行15次迭代。網絡模型的衰減率為10-2到10-5。

表3 卷積框架網絡參數Table 3 Network parameters of convolution framework

3.4 評價標準

3.4.1 VOT評價標準

對于VOT數據集，使用精確率（accuracy）和平均重疊（expected average overlap，EAO）對跟蹤器進行評測。

精確率評測標準是指在一段跟蹤序列中，跟蹤預測區域和目標物體真實區域的平均交并比，數值越大，表示精確率越高。

EAO評測標準是拆分出視頻中跟蹤成功的序列，計算幾個短時序列上重疊曲線值的平均值。當重疊率為0時認為跟蹤失敗，模型會對目標再次進行跟蹤。

3.4.2 OTB評價標準

對于OTB數據集，使用準確率（precision plot）和成功率（success plot）對跟蹤器進行評測。

準確率通過下面的公式（7）進行計算：

Sall是所有跟蹤幀數的誤差總數，S是預測目標物體的中心點與人工標注的目標物體中心點之間的誤差，p1為閾值，設為20個像素點，S可由公式（8）計算得出：

其中，x1、y1表示人工標注的真實位置，x2、y2表示預測的位置。

成功率的計算公式如公式（9）所示：IoU（intersection-over-union）是目標物體預測區域和人工標注區域的交并比，計算公式如公式（10）所示：

其中，region(A)表示跟蹤器預測的區域，region(G)表示目標物體的真實區域。實驗中，將閾值p2設置為0.5。IoUall是所有跟蹤幀數的交并比總數。

3.5 VOT2017實驗結果

ThrAtt-Siam跟蹤器在VOT2017數據集上與SCSSiam[15]、SiameseFC、UCT[17]、Staple[18]、KCF[19]和DSST[20]方法進行比較，實驗結果如表4所示。ThrAtt-Siam跟蹤器比基準SiameseFC在精確率上提升0.01，在EAO上提升0.03；與SCS-Siam跟蹤器實驗結果持平，但在OTB2015數據集上實驗結果優于SCS-Siam跟蹤器；ThrAtt-Siam跟蹤器在精確率上雖然低于Staple 0.01，但在EAO上高于Staple 0.05。整體上ThrAtt-Siam跟蹤器，顯示出了較好的跟蹤效果。

表4 VOT2017評測結果Table 4 VOT2017 evaluation results

3.6 OTB2015實驗結果

3.6.1 定量分析

ThrAtt-Siam跟蹤器在OTB2015數據集上與SCSSiam、SiameseFC、BACF[21]、LMCF[22]、KCF和DSST進行比較，實驗結果如圖6所示。ThrAtt-Siam跟蹤器的準確率為0.820，成功率為0.782。與基線SiameseFC比較準確率高出0.049，成功率高出0.023。BACF在成功率上優于ThrAtt-Siam跟蹤器，但在準確率上ThrAtt-Siam跟蹤器高于BACF以及其他跟蹤器。通過定量分析ThrAtt-Siam跟蹤器表現出了良好的跟蹤效果。

圖6 OTB2015實驗結果圖Fig.6 OTB2015 experimental results

3.6.2 定性分析

OTB2015包含11種具有挑戰的跟蹤場景：照明變化（IV）、比例變化（SV）、遮擋（OCC）、變形（DEF）、運動模糊（MB）、快速運動（FM）、面內旋轉（IPR）、面外旋轉（OPR）、視野外（OV）、背景雜波（BC）和低分辨率（LR）。表5是從11種場景中挑選出來5組序列所涉及的挑戰屬性和對應幀數。圖7是將ThrAtt-Siam跟蹤器與SCSSiam、SiameseFC、BACF、LMCF、KCF、DSST進行定性實驗的比較結果。

圖7 OTB2015定性分析Fig.7 OTB2015 qualitative analysis

表5 場景屬性Table 5 Scene attributes

（1）復雜背景

在序列Basketball中，球場上目標物體的外形、服裝十分相似，復雜背景造成了一定的干擾。使DSST和KCF完全丟失目標物體，SiameseFC和BACF后期也跟錯目標。而ThrAtt-Siam跟蹤器保持良好的跟蹤效果。

（2）比例變化

在序列Couple和Lemming中，隨著目標物體不停運動，逐步產生了不同的比例變化，尤其在Couple中，DSST、LMF、KCF和SCS-Siam都存在目標物體丟失的現象，只有ThrAtt-Siam跟蹤器沒有丟失跟蹤目標。

（3）遮擋

在序列Jogging-2中，跟蹤目標在進行運動時，由于遮擋短暫失去目標，這使得很多跟蹤器不能再次識別跟蹤目標，只有ThrAtt-Siam跟蹤器和SCS-Siam跟蹤器保持著較好的跟蹤效果。

（4）面內旋轉

在序列MotorRolling中，由于摩托車表演時多次產生旋轉，造成模糊和形變的情況出現，其他跟蹤器有的丟失目標物體，有的僅跟蹤到目標的局部，只有ThrAtt-Siam跟蹤器沒有丟失跟蹤目標。

3.7 消融實驗

為了驗證ThrAtt-Siam跟蹤器的有效性，在OTB2015數據集上進行消融實驗，分別是僅使用ECA，不添加兩個卷積塊和其他注意力機制的ECA-Siam，使用ECA和兩個卷積塊的ECATF-Siam和使用ECA，添加兩個卷積塊，使用堆疊注意力機制的TwoAtt-Siam。通過表6可知，所提出的ThrAtt-Siam跟蹤器分別在準確率與成功率上高出ECA-Siam 0.043和0.028；高出ECATF-Siam 0.03和0.023；高出TwoAtt-Siam 0.017和0.013。由此證明ThrAtt-Siam跟蹤器在SiameseFC基礎上逐步引入的注意力機制及特征增強方法，對目標跟蹤效果具有促進作用。

表6 消融實驗Table 6 Ablation experiment

4 結語

融合三種注意力機制的ThrAtt-Siam跟蹤器在公開數據集OTB2015上的準確率達到0.820，跟蹤速度達到88 FPS，可用于實時跟蹤。同時，ThrAtt-Siam跟蹤器在VOT2017數據集也獲得了較好的跟蹤性能。但ThrAtt-Siam跟蹤器在目標物體快速運動和光照明顯變化的場景下，跟蹤效果并不理想，這是將來需要改進的地方。