引入輕量注意力的孿生神經網絡目標跟蹤算法

洪培欽，羅靈鯤，劉 冰，方 元，胡士強

1.上海交通大學 航空航天學院，上海 200240

2.中國航空無線電電子研究所，上海 200241

目標跟蹤技術在智能視頻監控、安防偵察、自動駕駛、可疑目標追蹤、人員搜救等場景有廣泛的應用。目標跟蹤技術通過對用戶感興趣的目標進行提取和分析，在連續的視頻幀中，實時跟蹤目標，反饋目標的邊界框，即目標的位置和尺寸信息，從而為視頻分析提供可靠的依據。

目標跟蹤算法主要分為生成式模型和判別式模型。生成式模型如光流法[1]、均值漂移[2]等難以抵抗目標跟蹤中尺度變化、目標形變、相似干擾等基本難題。而判別式模型很好地進行了解決，主流的判別式目標跟蹤算法主要分為相關濾波算法和深度學習算法。

基于相關濾波的目標跟蹤算法中，MOSSE[3]、CSK[4]、KCF[5]、DSST[6]等都是最具代表性的算法，其中KCF在CSK的基礎上引入高斯核函數，使用嶺回歸的方法訓練濾波模板，用循環矩陣的方式簡化計算，大幅提升了運算速度。

基于深度學習的目標跟蹤算法有許多研究方向。近年來，孿生神經網絡被廣泛研究，DTCNNMI[7]算法使用孿生神經網絡解決發動機失火檢測問題，Fatima等[8]使用孿生神經網絡檢測黑胡椒中的木瓜種子摻假問題，DASNet[9]使用孿生神經網絡解決衛星圖像變化檢測的問題。SINT[10]是目標跟蹤領域使用孿生神經網絡的開山之作，SiamFC[11]算法在SINT的基礎上，使用AlexNet作為特征網絡，引入全連接的卷積思想，通過模板圖特征對搜索圖特征做卷積，獲得相似度得分，但是仍然采用金字塔解決多尺度問題，影響了跟蹤效率。DSiam[12]提出了一個快速的通用變換學習模型，能夠有效地在線學習目標外觀變化并抑制背景，但是在線學習損失了模型的實時能力。RASNet[13]探索了不同類型的注意力機制在SiamFC方法中模板圖特征上的作用效果，包括一般注意力、殘差注意力、通道注意力，但是RASNet沒有在搜索圖特征上做注意力網絡的探索。SA-Siam[14]提出了雙特征分支，分別為語義分支和外觀分支，有效地提高了算法的泛化性，但是兩個分支單獨訓練，僅在推理的時候組合，喪失了耦合性。SiamRPN[15]在SiamFC的基礎上引入了區域提議網絡（region proposal network，RPN），區域提議網絡將孿生神經網絡提取的特征送入分類分支和回歸分支，使用預定義的錨框作為邊界框回歸值的參考，速度和精度上有很大的提高，SiamRPN算法還有一定的改進空間。SiamMask[16]在SiamRPN的基礎上引入分割分支，獲取目標的像素級位置，能在測試數據集中獲得更高的重疊率，但是模型比較復雜，嚴重影響了算法實時性。SiamRPN++[17]在SiamRPN的基礎上改進網絡模型和訓練數據，使用分層的RPN網絡融合方法，使用ResNet作為特征網絡提高算法精度，SiamAttn[18]、TrSiam[19]、TransT[20]、ThrAtt-Siam[21]、SCS-Siam[22]分別在孿生神經網絡的基礎上引入了注意力網絡，這些算法的改進對算法性能有提升，但是引入的網絡帶來很大運算消耗，算法實時能力嚴重下降，沒有做到準確率和實時性的平衡。

綜上，基于相關濾波的目標跟蹤算法在實時性上表現較好，但是由于提取的特征屬性比較單一，準確率難以提升；現有的孿生神經網絡目標跟蹤算法準確率高，但是算法的網絡復雜度高，運算速度受限，實時性表現差。本文針對以上問題，提出了一種引入輕量注意力的孿生神經網絡目標跟蹤算法，命名為SiamNL。具體貢獻如下：（1）針對跟蹤算法實時性受限的問題，在SiamRPN的基礎上，引入了深度級卷積相關，減少了網絡的參數量和運算量，提升了跟蹤算法的運算速度；（2）針對跟蹤算法準確率受限的問題，引入輕量注意力網絡Non-Local，增強了特征圖的自編碼和互編碼能力，提升算法準確率且同時保證了實時性；（3）將所設計的算法SiamNL在現有的主流目標跟蹤數據集上進行測試，測試結果表明，算法在準確率和魯棒性上有很大的提升，并且有很好的實時性。

1 本文算法

本文提出的SiamNL算法，借鑒了SiamRPN算法的網絡結構。SiamNL算法的完整流程如圖1所示，主要流程分為以下四步：

圖1 SiamNL算法完整流程圖Fig.1 Complete flow chart of SiamNL algorithm

（1）孿生神經網絡特征提取。輸入模板圖Z和搜索圖X，兩者經過權值共享的五層AlexNet網絡，分別輸出模板圖特征fZ和搜索圖特征fX。

（2）自注意力網絡。fZ和fX各自通過SNL注意力網絡，完成空間注意力和通道注意力的自相關運算，分別得到f*Z和f*X。

（3）互注意力網絡。以搜索圖特征f*X為原矩陣，模板圖特征f*Z為編碼矩陣，輸入CNL注意力網絡，得到互相關編碼的搜索圖特征f**X。

（4）區域提議網絡（region proposal network，RPN）邊界框運算。f*Z和f**X進入區域提議網絡，分類分支中進行一層卷積和深度級相關，最終得到分類得分結果；回歸分支中同樣進行一層卷積和深度級相關，最終得到邊界框的回歸結果。

1.1 深度級交叉相關

孿生神經網絡目標跟蹤算法SiamRPN借鑒了SiamFC的基本網路結構。網絡的輸入為模板圖Z和搜索圖X，其中模板圖Z在跟蹤過程中不做更新。模板圖和搜索圖經過權值共享的特征網絡φ，將編碼對應的模板圖特征和搜索圖特征，然后將兩個特征輸入區域提議網絡。

其中，“*”代表交叉相關運算（本質是卷積運算），“*”之前為被卷積矩陣，“*”之后為卷積核；“cls”為分類分支，“reg”為回歸分支，兩個分支最終都輸出特征圖A，特征圖的寬高為w=17,h=17，其中k為錨框數量，為可調節參數，可參考FasterR-CNN[23]中的區域提議網絡有關理論。

SiamRPN網絡的結構中，特征網絡使用AlexNet，區域提議網絡使用2k個模板圖卷積核對搜索圖特征進行卷積交叉相關，如圖2（a）所示。當k=5時，經過逐步累加推算，原SiamRPN網絡的網絡參數量為2.263 3×107，點運算量為5.790 GFLOPS，其中網絡參數量約有75%的比例在區域提議網絡中，僅做邊界框回歸用途的區域提議網絡可以降低參數量。本文使用深度級交叉相關（depth-wisecross correlation，DWXCorr）代替普通交叉相關（cross correlation，XCorr），如圖2（b）所示。普通交叉相關運算即普通卷積，如圖3（a）所示。深度級交叉相關運算即深度級卷積，如圖3（b）所示，卷積核和被卷積矩陣通過深度級分離，按照通道數各自分離成C層二維矩陣，每層對應進行卷積，卷積結果再進行拼接。

圖2 區域提議網絡修改對比圖Fig.2 Region proposal network modification comparison chart

此處以分類分支為例說明深度級交叉相關對參數量的降低作用，兩種交叉相關的最終目的都是獲得17×17×2k的分類分支輸出。普通交叉相關和深度級交叉相關的運算過程對比如圖4所示。

圖4 深度級交叉相關和普通交叉相關對比圖Fig.4 Comparison of depth-wise cross correlation and ordinary

在普通交叉相關中，為了獲得17×17×2k的輸出，需要2k組形如圖3（a）的卷積對，即需要2k個4×4×256的卷積核，這些卷積核由一個6×6×256的模板圖特征得來，則中間一層卷積的卷積核尺寸為3×3×256×256×2k。綜上，普通交叉相關需要的參數量為3×3×256×256×2k。

圖3 深度級卷積和普通卷積對比圖Fig.3 Comparison of depth-wise convolution and ordinary

在深度級交叉相關中，直接使用1個4×4×256的卷積核就可以通過深度級分離和交叉相關得到17×17×256的結果矩陣。為獲得1個4×4×256的卷積核，中間一層卷積的卷積核尺寸為3×3×256×256。為了在最終得到17×17×2k的輸出，17×17×256的結果矩陣需要經過通道壓縮，需要的卷積核尺寸為3×3×256×2k。綜上，深度級交叉相關需要的參數量為3×3×256×(256+2k)。

各個卷積核對應的參數量同時標注在圖2中，當k較小時，深度級交叉相關的參數量約為普通交叉相關的1/2k。

所以，當深度級交叉相關都用于分類分支和回歸分支后，區域提議網絡的參數量約降低為原有的1/2k。

最終，通過修改區域提議網絡內部的卷積細節，將普通卷積替換為深度級卷積，當取k=5時，將整體網絡參數量由2.263 3×107下降為6.251×106。

1.2 輕量級注意力網絡Non-Local

區域提議網絡經過深度級卷積改進后的SiamRPN算法在實時性上有很大的提升，但是準確率依然受限。

為了提高算法的準確率，提高特征矩陣的表達能力是最有效的方法，骨干網絡AlexNet難有改進空間，因此使用注意力網絡可以進一步提高骨干特征的表達能力。

注意力網絡借鑒了人類觀察事物的注意力機制，如圖5（a）所示，在該海報中，人類優先觀察寶寶的臉和文本標題、文本正文開頭等關鍵元素，注意力網絡的訓練目的就是使得目標圖像的關鍵元素對輸出結果產生增益。如圖5（b）所示，在目標跟蹤任務中，當跟蹤目標為中間的運動員時，特征矩陣中表征目標運動員的元素其數值將得到增強，從而增加跟蹤的準確率。

圖5 注意力網絡理論效果Fig.5 Comparison of score heat maps

本文注意力網絡的模型方案主要包括自注意力和互注意力。自注意力可以編碼特征自身元素和通道之間的相關性，在目標跟蹤任務中，可以幫助特征更好地突出對跟蹤任務有益的特征元素。互注意力可以編碼兩個不同特征之間的元素相關性，在目標跟蹤任務中，作用于搜索圖特征和模板圖特征，提前讓搜索圖的特征元素針對模板圖特征元素的影響，完成一次權重分配，更有利于交叉相關結果的準確率。

同時，考慮到對實時性的影響，所以本文引入的輕量級注意力網絡是Non-Local，引入的網絡在參數量和浮點運算量上都將產生極小的影響，且能夠有效地提高骨干特征的表達。

Non-Local[24]是一種非局部網絡操作，所謂非局部操作，即與卷積、循環運算等局部操作相反，Non-Local可以捕獲輸入特征中每個元素的長距離依賴，是一種信息極其豐富的依賴關系。結構圖如圖6所示，分別有輸入A∈HA×WA×C和B∈HB×WB×C，可以是同一個矩陣或不同矩陣。矩陣A輸入后與B進行殘差矩陣的運算。殘差矩陣運算的輸入有query、key、value三個矩陣，其中query矩陣由A賦值，key和value矩陣由B賦值，分別經過1×1×C的卷積核編碼，然后做矩陣維度變換，經過兩次矩陣相乘運算和最后的1×1×C卷積運算，輸出為殘差矩陣A+，與原矩陣A進行相加運算得到最終的輸出A*。各個運算步驟的表達式如下：

圖6 Non-Local網絡結構圖Fig.6 Non-Local neural network structure diagram

其中“?”為矩陣相乘，“⊕”為矩陣逐元素相加，“T”為矩陣轉置。“(?)M”代表矩陣第一維和第二維組合。θ、φ、g分別為query、key、value三個輸入的卷積運算子。

1.2.1 自注意力網絡SNL

本文所設計的自注意力網絡（self-non-local，SNL）是將特征矩陣自身做注意力相關。具體地，在圖1中，將模板圖特征和搜索圖特征分別各自做SNL運算。以模板圖特征為例，輸入矩陣A和B都是模板圖特征fZ，對于模板圖特征fZ和搜索圖fX特征的SNL網絡，表達式如下：

其中f*Z是SNL注意力編碼后的模板圖特征，f*X是SNL注意力編碼后的搜索圖特征。

特征矩陣fZ被SNL網絡編碼后，自身的每個特征元素與其余元素都進行了相關性計算，得到f*Z。相比沒有編碼前的特征矩陣fZ,f*Z中具備跟蹤目標語義信息的元素被增強，從而在分類分支中獲得更好的得分，f*Z中的背景元素被削弱，對分類分支的得分結果產生更小的干擾。最終目標語義信息豐富的元素，其特征數值被放大，無關元素的特征數值被縮小。自注意力所表示的元素間的相關性影響，映射到原圖中，如圖7所示。

圖7 自注意力元素關系例圖Fig.7 Example diagram of element relationships of self-attention

圖7所示的原圖，其特征矩陣被SNL網絡編碼后，蝴蝶的核心語義元素（圖中黃色點）經過周圍元素的注意力影響，發生數值增強，而編碼背景的元素被削弱，這使得特征更加關注核心元素，有利于提高目標物中心位置在分類分支上的得分結果。

1.2.2 互注意力網絡CNL

互注意力網絡（cross-non-local，CNL）把搜索圖特征作為query,模板圖特征作為key和value,輸入到Non-Local網絡中，網絡使搜索圖特征f*Z編碼模板圖特征f*X對它的注意力影響，模板圖中的有關元素將對搜索圖中的核心語義元素產生特征增強，表達式如下：

其中f**X是經過CNL編碼后的搜索圖特征，f*X是經過SNL編碼后的搜索圖特征，f*Z是經過SNL編碼后端模板圖特征。

特征矩陣f*X被CNL網絡編碼后，其自身的每個元素都與f*Z的每個元素進行了相關性計算，得到輸出f**X。相比f*X,f**X中具備跟蹤目標語義信息的元素受到f*Z的影響而增強，無關的背景元素被削弱，并且相當于在進行區域提議網絡的交叉相關之前，搜索圖特征提前感知了模板圖特征的屬性，提高了搜索圖特征的泛化能力。此后，f*Z和f**X將分別進入設計了深度級卷積的分類分支和回歸分支。

圖8所示的搜索圖原圖，其特征矩陣被CNL網絡編碼后，蝴蝶的核心語義元素（圖中黃色點）經過模板圖特征元素的注意力影響，發生數值增強，而編碼背景的元素被削弱，這使得特征更加關注搜索圖特征中的核心元素，有利于提高目標物中心位置在分類分支上的得分結果，同時在回歸分支中的結果更加準確。

圖8 互注意力元素關系例圖Fig.8 Example diagram of element relationships of cross-attention

1.2.3 融合的注意力網絡

融合的注意力網絡由圖1網絡結構中的（b）、（c）兩個模塊組合表示。融合的注意力模塊首先使用SNL網絡將模板圖特征fZ編碼為f*Z，將搜索圖特征fX編碼為f*X，之后CNL網絡將f*X和f*Z作為輸入，輸出編碼了模板圖相關影響的搜索圖特征f**X。所使用的融合注意力網絡一方面增強了模板圖特征和搜索圖特征各自的目標特征語義，一方面讓模板圖中的目標對搜索圖中的目標元素產生有利于跟蹤的影響，總體上來說可以增加跟蹤的準確率。

融合注意力網絡具有極低的運算量。SiamNL算法的浮點運算量為5.670 GFLOPS，其中模板圖的SNL網絡所占浮點運算量為0.010 GFLOPS，搜索圖SNL網絡所占浮點運算量為0.247 GFLOPS，而CNL網絡占0.077 GFLOPS。即所引入的注意力網絡共需要0.334 GFLOPS的運算量，占總運算量的5.89%，所以可以說所引入的注意力網絡是輕量級的。

2 實驗結果及分析

2.1 實驗環境和算法參數

本文算法基于pytorch深度學習框架進行搭建，所使用的硬件為單卡NVIDIAGeForceGTX 1080顯卡，顯存8 GB。使用預訓練的AlexNet網絡作為孿生骨干網絡，僅微調后兩層參數，區域提議網絡使用錨框數量k=5。使用交叉熵損失函數，其中分類損失權重為1，回歸損失權重為1.2。學習率從0.01開始遞減至0.000 5，訓練epoch為50，batch為256。

2.2 數據集和對比算法

訓練數據集為ILSVRC2015[25]和COCO[26]，使用漂移、尺度變化、模糊、顏色變化等訓練數據增強方法進行訓練。所用測試數據集包括VOT2016[27]、VOT2018[28]、OTB100[29]、VisDrone[30]。

將提出的SiamNL算法分別與KCF[5]、Staple[31]、ECOHC[32]、C-COT[33]、MDNet[34]、SiamFC[11]、SiamRPN[15]、C-RPN[35]、CMKCF[36]、ThrAtt-Siam[21]、SCS-Siam[22]、GradNet[37]、DensSiam[38]、DSiam[39]、CFNet[40]、StructSiam[41]進行了對比，對比結果通過表格給出。

2.3 評價指標

2.3.1 VOT數據集評價指標

與以往的目標跟蹤測試數據集不同的是，VOT數據集引入了重啟機制，即在跟蹤器跟丟目標后重新初始化跟蹤器，這樣可以充分利用數據集的所有視頻幀。

VOT數據集采用的評價指標包括準確率（Accuracy），魯棒性（Robustness），EAO。準確率用來評價跟蹤器的準確度，其數值越大說明跟蹤器跟蹤得越準確。在每一幀圖像中，跟蹤的準確率由交并比（IoU）來表示，定義為：

其中AG代表人工標注的邊界框，AT代表跟蹤器預測的邊界框。

魯棒性用來評價跟蹤器的穩定性，跟蹤器重啟次數越多，魯棒性數值越大，說明跟蹤器越不穩定。EAO則是根據所有視頻序列跟蹤的交并比、重啟間隔和次數等綜合評價得出的一個指標，可以反映跟蹤器的綜合性能。

2.3.2 OTB數據集評價指標

OTB100數據集和VisDrone數據集的評價指標相同，分別為成功率（success）和精確率（precision）。成功率即所有視頻幀中跟蹤成功的比率，設定閾值，使用交并比來判斷是否成功。精確率則注重算法預測的目標中心位置與標注中心位置是否相近，當兩者距離小于閾值代表精確，并評估所有幀中精確的比率。

為了更好地反映算法性能，成功率圖（success plot）和精確率圖（precision plot）是一種直觀的方法，將所設置的不同閾值對應的成功率或精確率結果繪制成曲線，方便進行對比，從而避免固定閾值帶來的偶然對比誤差。為了使用單一指標來反映跟蹤器的能力，將曲線中的所有關鍵點坐標做數值平均，得到平均成功率和平均精確率。

2.4 定量分析實驗結果

2.4.1 VOT2016數據集

VOT2016數據集總共包含60個視頻序列，所有視頻序列均由以下視覺屬性標注：遮擋、光照變化、運動變化、尺寸變化、攝像機運動。VOT2016所采用的標注方法是像素級分割標注和最貼合邊界框，其中最貼合邊界框并非以往的橫向對稱邊界框，而是斜向邊界框，由分割標注換算而來。

本文的提出的SiamNL算法在VOT2016數據集上同時對比了多項目標跟蹤算法，結果如表1所示。在VOT2016數據集的對比結果中，SiamNL相比SiamRPN算法，準確率提高了0.051，魯棒性提高了0.052，EAO指標提高了0.032，同時比C-RPN提高了0.013的EAO指標。

表1 VOT2016數據集實驗結果Table 1 Experimental results of VOT2016 dataset

2.4.2 VOT2018數據集

VOT2018數據集繼續保持60個視頻序列，其中一部分保留了2016年的序列，另一部分用新序列替代了原先不具有挑戰性的序列。而視覺屬性上仍然保持五種基本屬性。所有視頻標注都進行了調整和優化。

SiamNL算法在VOT2018數據集上的測試對比結果如表2所示。SiamNL算法獲得了最好的結果，相比SiamRPN算法，準確率提高了0.062，魯棒性提高了0.006，EAO提高了0.020。

表2 VOT2018數據集實驗結果Table 2 Experimental results of VOT2018 dataset

2.4.3 OTB100數據集

OTB100數據集共有98個視頻序列和100個標注對象，所采用的標注方法是左右對稱的矩形邊界框。本文提出的SiamNL算法在OTB100數據集上的對比結果如表3所示。從實驗結果看出，SiamNL在OTB100數據集上相比SiamRPN算法，在成功率上有提升，在精確率上保持相當。

表3 OTB100數據集實驗結果Table 3 Experimental results of OTB100 dataset

2.4.4 VisDrone數據集

VisDrone單目標跟蹤數據集包含多種視覺屬性標注，本文所提出的SiamNL算法在面對背景干擾、低分辨率、高速運動等視覺屬性問題上，相比SiamRPN算法有一定的提升，對比結果如表4所示。

表4 VisDrone數據集實驗結果Table 4 Experimental results of VisDrone dataset

在VisDrone數據集中，帶有的背景干擾屬性的數據集在SiamNL上的平均成功率高出SiamRPN 0.008，平均

SiamNL算法相比于其他的目標跟蹤算法，在VOT2016、VOT2018、OTB100三個權威數據集的平均指標結果上都有提升，這主要由于所設計的輕量級注意力網絡結構SNL和CNL增強了模板圖特征和搜索圖特征中核心語義元素的表達，從而提升了跟蹤過程中跟蹤框框取的精確度（通過VOT數據集的accuracy、OTB數據集的success和precision指標反映），并降低了跟蹤的丟失概率（通過VOT數據集的robustness指標反映）。精確率高出0.021；帶有低分辨率屬性的數據集在SiamNL上的平均成功率高SiamRPN 0.029，平均精確率高了0.017；帶有高速運動屬性的數據集在SiamNL上的平均成功率高SiamRPN0.037，平均精確率高0.002。結果說明，SiamNL算法由于引入了注意力網絡進行了特征的影響系數分配，核心語義元素的系數提高，使得其在面對常見的目標跟蹤難題場景下能更好地表達語義并定位跟蹤目標，從而擁有比SiamRPN更好的表現。

2.4.5 實時性實驗

所提出的SiamNL算法相比SiamRPN有很好的實時性提升，并且參數量大幅度下降，運算量和參數量對比如表5所示。

表5 運算量和參數量對比表Table 5 Comparison table of calculation amount andparameter amount

表5中所示結果由255×255×3和127×127×3尺寸的模板圖和搜索圖作為輸入，可以看到SiamNL算法在參數量上約為原有參數量的30%，運算量降低了0.012 GFLOPS，其中SiamNL的運算量中僅5.89%為所引入的輕量注意力網絡帶來。SiamNL和SiamRPN算法在PC及嵌入式平臺上的運算速度測試結果如表6所示。

表6 運算速度實驗結果Table 6 Experimental results of computing speed

所測試的PC平臺顯卡為NVIDIAGeForceGTX 1080，所測試的嵌入式平臺為NVIDIAJetsonXavierNX。所設計的算法能夠在NX開發板中充分地實時運行，而且SiamNL算法占用內存相比SiamRPN更低，有助于嵌入式平臺接入更多運算需求。

2.4.6 實驗結果總結

在背景干擾、低分辨率、高速運動的挑戰場景中，使用VisDrone數據集為標桿，與SiamRPN算法進行對比，各場景的平均指標結果都有提升。在背景干擾的場景中，可能存在復雜背景和相似目標等問題，注意力網絡可以削弱背景特征元素的值，從而減少背景對跟蹤效果的影響。在低分辨率的場景中，目標占據較少的像素點，細節特征不足，但是注意力網絡可以增強目標特征元素的語義表達，從而更加準確地判別跟蹤目標。在高速運動的挑戰場景中，目標產生運動模糊，細節特征將會被弱化，注意力網絡同樣可以增強目標的語義表達能力，在模糊狀態下也能準確地獲取跟蹤目標。所以在各種目標跟蹤挑戰數據集中，注意力網絡都能體現出它增強目標弱化背景的優勢，而在實時目標跟蹤任務中，由于輕量注意力網絡所占運算量極低，跟蹤算法具有較好的實時性，高速運動帶來的幀間目標大距離位移將很少出現，這同樣有利于跟蹤算法更準確地跟蹤目標。

在實時性實驗中，SiamNL算法主要對比于SiamRPN算法，由于設計了深度級卷積的網絡結構，使用更小的運算量在區域提議網絡中完成了相似的特征矩陣卷積相關運算，使得SiamNL算法的參數量和運算量下降，體現在運算速度上帶來明顯的提升。在嵌入式平臺中也進行了運算速度實驗，更好地說明了所設計跟蹤算法的實時性效果。

2.5 定性分析實驗結果

2.5.1 跟蹤序列對比

為了驗證所設計的算法在實際視頻序列中的有效提升，選取了一些具有復雜干擾元素的視頻序列作為可視化結果，并進行定性分析，如圖9所示。

圖9 視頻序列跟蹤結果對比Fig.9 Comparison of video sequence tracking results

第一段Biker序列中，中間幀出現目標頭盔的高速移動，產生運動模糊，其中SiamRPN、KCF、Staple都出現了跟蹤丟失，只有SiamNL完全地跟蹤在了目標頭盔上。第二段Freeman序列由灰度圖片組成，跟蹤到最后只有SiamNL沒有發生丟失，Staple發生漂移，其余跟蹤器都丟失了目標。第三段Girl序列跟蹤目標為騎滑板車的女孩，背景是一處公園，跟蹤過程中會發生遮擋和背景干擾等情況，而SiamNL算法全程跟準目標，其余跟蹤器都產生了跟蹤漂移和跟蹤丟失。第四段Jump序列，由于運動員目標的形狀多變，跟蹤框內的背景極易對跟蹤產生影響，實際說明SiamNL算法抵抗干擾的能力很強，可以很好地跟蹤目標。第五段Liquor序列跟蹤目標為酒瓶，視頻序列中多個酒瓶都對目標產生相似性干擾，SiamNL算法準確跟蹤目標的同時，跟蹤框精準度很高，而其他跟蹤算法在跟蹤過程中都被相似目標所干擾。

綜上分析，SiamNL算法有很好地抵抗背景干擾、相似干擾等影響的能力，所設計的注意力網絡的作用得到了印證。

2.5.2 特征圖對比

從區域提議網絡的匹配得分圖上分析SiamNL的提升效果，本文選取了三個跟蹤幀進行對比，將得分平滑地映射到搜索圖上，如圖10所示。

圖10 得分熱力圖對比Fig.10 Comparison of score heat maps

所選取的三個序列包含不同的主要屬性特征。第一段序列Ants的屬性為相似目標，SiamRPN算法被相似目標干擾嚴重，而SiamNL則沒有；第二段序列Dancer的屬性為灰度顏色空間，SiamNL對灰度圖像的抗干擾能力較好；第三段序列Motocross的屬性為高速運動，SiamNL算法的得分熱力圖比SiamRPN更加集中。綜合以上熱力圖對比結果，可以知道SiamNL算法引入注意力網絡后可以更好地重視核心區域元素，對各種干擾因素有更好的抵抗能力。

3 結束語

本文設計了引入輕量注意力網絡的孿生神經網絡目標跟蹤算法SiamNL。在SiamRPN算法的基礎上，使用深度級卷積改進區域提議網絡模型，減少了參數量和運算量。在孿生神經網絡提取的特征圖后增加了自注意力網絡和互注意力網絡，自注意力網絡增加了模板圖和搜索圖的自編碼能力，經過自編碼的模板圖和搜索圖突出了圖像的核心目標區域；互注意力網絡增加了模板圖對搜索圖的互編碼，在進入分類分支和回歸分支之前，搜索圖提前編碼了模板圖的有用信息，從而提升了分類分支當中目標區域的交叉相關得分。引入的注意力網絡對運算量的影響很小，所以認為是輕量級的。

本文在VOT2016、VOT2018、OTB100、VisDrone數據集上進行了對比測試，并做了實時性分析和視頻序列、熱力圖的定性分析。實驗結果表明，SiamNL算法在SiamRPN的基礎上，降低了運算資源占用，提高了運算速度，提升了跟蹤效果。所設計的SiamNL算法由于在各種挑戰場景下有很好的跟蹤效果，且表現出了在準確率和實時性上很好的平衡性。本文的下一步工作將對SiamNL算法的特征提取骨干網絡AlexNet進行改進，設計具備更好的特征提取能力且運算高效的骨干網絡。