注意力聚集無錨框的孿生網絡無人機跟蹤算法

王海軍，馬文來，張圣燕

(1.濱州學院 山東省高校航空信息與控制重點實驗室，山東 濱州 256603；2.南京航空航天大學 民航學院，江蘇 南京 211106)

近年來，無人機(unmanned aerial vehicle,UAV)由于體積小、操作簡單、動作靈活等特點，在軍用、民用領域中得到廣泛地應用，例如偵查敵情、精準打擊、航空攝影、電力巡檢、地理測繪、災害救援、精準農業等.作為無人機應用的關鍵技術之一，無人機目標跟蹤算法成為計算機視覺領域的研究熱點，得到了學者們的廣泛關注[1-4].相對于地面平臺，無人機空中平臺獲得的視頻具有角度多變、分辨率低、嚴重遮擋、運動模糊、尺度變化等嚴重干擾目標跟蹤的因素，使得設計一種準確魯棒的無人機目標跟蹤算法具有十分重要的意義.

目前目標跟蹤技術主要分為2 大類：相關濾波法和深度學習法.相關濾波方法將時域的卷積運算變換到頻域進行點積運算，大大提高了跟蹤速度.Bolme 等[5]將相關濾波引入到目標跟蹤領域，提出誤差最小平方和(minimum output sum of squared error, MOSSE)跟蹤方法，跟蹤速度超過了600 幀/s.Henriques 等[6]將多通道特征引入到核相關濾波(kernel correlation filter, KCF)中，在保證跟蹤速度的同時，改善了跟蹤性能.Huang 等[7]提出抑制畸變相關濾波(aberrance repressed correlation filters, ARCF)的無人機跟蹤方法，對相關濾波響應圖中的畸變或異常進行抑制，實現對目標的準確定位.Li 等[8]提出自動時空正則化(automatic spatio-temporal regularization tracker, AutoTrack)無人機跟蹤算法，對空間權值和時間權值同時進行動態調整，有效提高了算法的穩定性.Lin 等[9]提出雙向不一致感知相關濾波器(bidirectional incongruity-aware correlation filter, BiCF)，將基于響應雙向不一致的誤差融合到相關濾波中，學習跟蹤目標的外觀變化，解決了跟蹤過程中由于目標和背景變化導致的失敗現象.雖然相關濾波方法取得較好的跟蹤性能，但是該類方法大多采用灰度、顏色、紋理等手工特征，只適用于像素級目標定位，對旋轉變形的魯棒性很差，導致跟蹤準確性和跟蹤成功率的性能不高.部分相關濾波類方法采用卷積特征，改善了跟蹤效果.在采用邊緣計算設備（如英偉達Jetson AGX Orin 32GB）作為無人機平臺計算資源時，跟蹤速度大多小于30 幀/s，難以滿足無人機平臺實時的跟蹤需求.

深度學習類跟蹤方法采用離線訓練網絡模型提取跟蹤目標的深度特征，能夠有效地進行目標表征，在保證跟蹤速度的同時，大大提升了跟蹤性能.Bertinetto 等[10]將全卷積孿生神經網絡(fully-convolutional siamese networks, SiamFC)應用到目標跟蹤領域，通過學習搜索區域與目標模板的相似度響應圖來確定目標位置，該方法顯著提升了基于深度學習目標跟蹤的速度.Li 等[11]在SiamFC 基礎上提出孿生候選區域生成網絡(siamese region proposal network, SiamRPN)，將目標跟蹤看成局部單目標檢測任務，在保證較快跟蹤速度的同時，有效提升了跟蹤性能.SiamFC 和Siam-RPN 都是采用淺層神經網絡提取出目標特征，限制了目標的深層表征能力.Li 等[12]突破深層神經網絡不能應用到目標跟蹤領域的限制，結合目標淺層和深層特征，在多個跟蹤數據集上取得較好的跟蹤性能.Xu 等[13]提出改進版全卷積孿生神經網絡(fully convolutional siamese tracker++, Siam-FC++)算法，同時引入分類和狀態估計分支，進一步提高了跟蹤準確度.目前深度學習類目標跟蹤算法取得突破性進展，大部分采用深度神經網絡提取目標特征，加大計算復雜度，難以適應無人機平臺的硬件配置.本研究提出注意力聚集無錨框的孿生網絡無人機目標跟蹤算法，在3 個無人機數據集上進行測試仿真，實現對目標位置和所占區域的準確估計.

1 SiamFC 跟蹤算法

SiamFC 算法將目標跟蹤問題轉化為相似度學習任務，通過學習相似度度量函數f(z,x) 來比較模板圖像z和搜索圖像x的相似性：

式中：φ(·) 為特征提取器， ? 為互相關運算，b·I為響應圖中每個位置的取值，I為單位矩陣.響應圖中取值最高的位置，即是跟蹤目標的位置.

雖然SiamFC 算法比較簡單，兼顧了跟蹤復雜度和跟蹤準確度，但是當跟蹤目標出現遮擋、快速運動、背景雜亂時，容易出現錯誤累加，導致跟丟目標.SiamFC 跟蹤算法如圖1 所示.

圖1 SiamFC 算法的流程圖Fig.1 Flowchart of SiamFC algorithm

2 注意力聚集無錨框孿生跟蹤算法

2.1 算法整體框架

針對無人機的有限計算資源，本研究提出注意力聚集無錨框的孿生網絡無人機跟蹤算法(attention aggregation siamese network with anchor free scheme for UAV tracker, AASAF)，算法流程圖如圖2所示，主要包括以下4 個方面.

圖2 AASAF 算法的流程圖Fig.2 Flowchart of AASAF algorithm

1） 構造以輕量級模型AlexNet 為主干網絡的孿生跟蹤框架，同時在2 個模板分支上引入高效通道注意力機制，使得跟蹤算法具有較強的特征表達能力.

2） 融合雙層相關響應，同時引入空間注意機制，能夠有效聚合注意力特征，擴大模型的視野范圍，充分利用特征的內在相關性.

3）引入無錨框機制來預測目標的位置和回歸框，大大降低算法的復雜度，有效地提升了跟蹤速度和跟蹤性能.

4）在3 個無人機跟蹤數據集上進行仿真實驗，與當前比較流行的算法進行對比實驗，驗證了所提AASAF 算法的優越性.

使用AlexNet 淺層網絡提取模板圖像和搜索圖像特征，φ4(z)和φ5(z) 分別為模板分支第4 層和第5 層提取的模板特征，φ4(x)和φ5(x) 分別為搜索分支第4 層和第5 層提取的搜索圖像特征.分別將φ4(z) 和φ5(z) 輸入到高效通道注意力模塊[14](efficient channel attention, ECA)，提高模板特征的網絡表達能力，對應新的模板特征分別為和，并對2 條支路的特征圖分別進行深度互相關操作：

式中：R4、R5分別對應兩層深度互相關操作 ? 得到的響應圖，g(·) 為卷積操作模塊.將響應圖R4、R5進行拼接操作，輸入到空間注意力模塊，調整響應圖的上下文信息，并分別輸入到分類回歸網絡和錨點建議網絡，確定目標位置和尺度.

2.2 通道注意力機制

傳統SiamFC 算法使用AlexNet 網絡提取圖像特征，由于沒有考慮通道信息，導致當跟蹤場景比較復雜以及目標發生較大變化時容易跟丟目標.為了增強模板的表征能力，Rahman 等[15]直接將通道和空間注意力機制[16](convolutional block attention module, CBAM)加到傳統SiamFC 算法的模板分支中，雖然改善了跟蹤效果，但是由于CBAM模塊的引入，增加了模型的復雜度，降低了算法的跟蹤速度.為了有效地提升圖像的表征能力，使得算法在提高跟蹤性能的同時具有較高的跟蹤速度，所提算法在AlexNet 網絡模板分支的第4 層和第5 層分別引入高效的通道注意力模塊，考慮到每個通道及其鄰域通道，通過一維卷積快速完成通道權重的計算，實現對不同通道賦予不同的權值，有選擇地加強有用通道信息，抑制無用通道信息.通道注意力模塊的結構如圖3 所示.

圖3 通道注意力的結構圖Fig.3 Mechanism diagram of channel attention

每個通道的權重因子為

式中：j為鄰域通道變量；i為當前第i個通道；為當前所增強的特征；為特征對應的權重；為特征對應的k個鄰域的集合； σ (·) 為激活函數，σ(x)=(1+e-x)-1.為了減少計算量，加快計算速度，采用一維卷積完成通道間的交互：

式中： C1Dk為一維卷積，只有k個參數.

通過引入殘差結構，經過通道聚集后的特征為

式中：C為特征yi的通道數.

2.3 空間注意力機制

以往大部分孿生類跟蹤方法都是將得到的響應圖直接用于跟蹤目標位置的確定和目標框的回歸，忽略響應圖中的特征依賴關系，導致算法在復雜場景下跟蹤效果不佳.為了更好地提升響應圖的特征聚合能力以及提高算法的魯棒性，受Fu 等[17]的啟發，在響應圖中引入空間注意力模塊，學習響應圖中相似特征的依賴關系，以便更加準確地確定目標位置以及回歸目標框的大小，其中空間注意力模塊結構如圖4 所示.

圖4 空間注意力結構圖Fig.4 Mechanism diagram of spatial attention

響應圖RC×H×W分 別通過3 個卷積層，得到3 個特征圖Q、K、V，并將空間維度分別重塑為C×(H×W)，然后將轉置后的Q與重塑后的K相乘，并通過歸一化指數函數得到空間特征權值S(H×W)×(H×W)，S矩陣中的每個元素為

式中：sj,i為響應圖中位置i處對位置j處的影響.將S轉置與重塑后的V做乘積后再乘以尺度系數 α ，并將空間維度重塑為C×H×W，最后與原始響應圖R相加得到最終加權后的響應圖中每個元素為

2.4 無錨框機制

SiamRPN 系列跟蹤算法依賴錨點進行目標的分類和回歸，雖然在部分視頻上取得較好的跟蹤效果，但是當跟蹤目標遇到較大形變和尺度變化時，錨點與錨框的先驗尺寸和長寬比限制了算法的魯棒性，容易跟丟目標.為了克服錨點式跟蹤器的缺點，引入無錨框分類回歸子網絡，在響應圖中的每個位置產生一個錨點 (i,j) ，同時對應搜索圖像x上位置：

式中：ws和hs分別為搜索圖像x的寬和高，s為網絡的步長.為了更加準確地確定目標位置及目標框大小，從響應圖R′引出3 個分支，即1 個分類分支和2 個回歸分支，如圖2 所示.分類分支輸出3 個分類特征圖：中的每個點 (w,h,:) 包含一個二維向量，用于指示每個錨點是正例錨還是負例錨.將與真實標注包圍框交并比（intersection over union, IoU）大于0.7 定為正例錨，將IoU 比率小于0.3 定為負例錨.中的二維向量分別表示搜索圖像中前景和背景的分數，當落入真實邊界框內，則為前景，反之，則為背景.用來評估每個預測框的質量，輸出每個點的質量得分為

式中：l、t、r、b為在輸入搜索圖像中從相應位置到邊界框的4 個邊的距離，具體定義為

式中： (x0,y0) 和 (x1,y1) 分別為真實邊界框的左上角坐標和右下角坐標， (x,y) 為錨點 (i,j) 在搜索圖像上的對應位置.

綜合3 個分類分支，可知總分類損失函數為

式中：Lcls1和Lcls2為交叉熵損失函數，Lcls3為二進制交叉熵損失函數， λcls1、 λcls2、 λcls3分別為對應的權值.

為搜索圖像上位置 (x,y) 回歸到真實目標框4 個邊界的距離，定義同式（11）.輸出搜索圖像到真實目標框的偏移計算式為

式中：gx、gy、gw、gh分別為真實目標框的中心點坐標和寬、高，px、py、pw、ph分別為預測圖像框的中心點和寬、高.綜合2 個回歸分支可知，總回歸損失函數為

式中：Lloc1為IoU 損失函數，Lloc2為平滑l1損失函數.λloc1和λloc2分別為對應的權重參數.

綜合分類損失和回歸損失，整體損失函數為

式中： λ1和 λ2分別為分類和回歸權重系數.

3 實驗與分析

3.1 實驗平臺及參數設置

所提算法的實驗平臺如下：CPU 為Inter Xeon(R) Silver 4216@2.10 GHz，內存為512 GB，顯卡為Tesla V100 32 G，操作系統為Ubuntu 16.04，編程環境為基于python 3.6 的Pytorch.

訓練數據如下：包含91 類目標、32.8 萬個影像、250 萬個標簽的COCO 數據集[18]；含有30 個基本類別、200 個子集的Image VID 數據集[19]；含有563 個目標類別、87 種運動模式、超過1 萬條視頻的GOT-10K 數據集[20]；含有38 萬個視頻片段、23 個類別、560 萬個手動標注邊界框的Youtube-BB 數據集[21].

參數設置如下：所提算法采用AlexNet 作為主干模型，采用隨機梯度下降法訓練網絡，迭代次數為50，每批次處理圖像124 對.前10 個迭代次數特征提取網絡的參數被凍結，后40 個迭代次數對整個網絡進行端到端的訓練，學習率隨著迭代次數變化從0.005 指數衰減到0.000 5，動量設置為0.9.模板圖像的大小為1 27×127 像素，搜索圖像的大小為 287×287 像素.

3.2 實驗結果與分析

為了驗證所提算法的跟蹤性能，在UAV123@10fps[22]、UAV20L[22]和DTB70[23]這3 個廣泛應用的無人機數據集進行仿真實驗.

3.2.1 定量分析 表1給出所提算法分別在UAV123@10fps、UAV20L 和DTB70 數據集上與SiamAPN[24]、ECO[25]、MCCT[26]、DeepSTRCF[27]、AutoTrack[8]、ARCF[7]、Ocean[28]、BiCF[9]、STRCF[27]、SESiam_FC[29]等算法的對比實驗結果.對于數據集UAV123@10fps，所提算法在跟蹤準確度P和跟蹤成功率S這2 個指標上分別取得了0.755 和0.570，相比最優的基于相關濾波的跟蹤算法ECO，分別提升了6.2%和9.6%.對于UAV20L 數據集，所提算法在跟蹤準確度和跟蹤成功率上都取得了最優，分別為0.744 和0.571，相比SiamAPN 分別提高了3.2%和5.9%.對于DTB70 數據集，所提算法跟蹤準確度達到0.809，跟蹤成功率達到0.608，相比其他算法在指標數值上具有明顯的優勢.從表1可以看出，所提算法在3 個無人機數據集上以及2 個跟蹤綜合跟蹤指標上都取得了最好的跟蹤性能，具有較好的泛化性能.

表1 11 種跟蹤算法在3 個無人機數據庫上的跟蹤準確度和成功率對比Tab.1 Comparison in terms of precision and success rate for eleven tracking algorithms on three UAV datasets

為了準確比較不同算法在各種挑戰性場景下的跟蹤性能，圖5 給出7 種跟蹤算法在3 個無人機數據集上不同屬性的跟蹤準確度和成功率對比.第1 列為不同屬性的跟蹤準確度對比，第2 列為不同屬性的跟蹤成功率對比.無人機跟蹤視頻一般具有下列幾種挑戰性屬性，分別為寬高比變化（aspect ratio variation, ARV）、背景雜亂（background clutter, BC）、形變（deformation, DEF）、相機快速運動（fast camera motion, FCM）、平面內旋轉（in-plane rotation, IPR）、運動模糊（motion blur,MB）、遮擋（occlusion，OCC）、平面外旋轉（out-ofplane rotation, OPR）、視野外（out-of-view, OV）、尺度變化（scale variation, SV）、相似物體干擾（similar objects around, SOA）、完全遮擋（full_occlusion,FOC）、部分遮擋（partial_occlusion, POC）、快速運動（fast_motion, FM）、光照變化（illumination_variation, IV）、視角變化（viewpoint change, VC）、長程跟蹤（long-term tracking, LTT）.從圖5 可以看出，所提AASAF 算法相比其他較好的6 種跟蹤算法，幾乎在所有的挑戰性屬性上，無論是跟蹤準確度還是跟蹤成功率指標都取得了最好的成績.

3.2.2 定性分析 為了驗證所提算法的優越性，圖6 給出7 種不同算法在3 個無人機數據集上的部分跟蹤仿真結果.圖像中左上方的“#數字”表示跟蹤結果的幀號.圖6 (a)person17_1、(b)car1_2 來自UAV123@10fps 數據集，圖6 (c)car6 和(d)person7 來自UAV20L 數據集，圖6 (e)Yacht4、(f)ChasingDrones 和(g)BMX5 來自DTB70 數據集.

在圖6 (a)中，當行人經過路邊樹木時，存在嚴重遮擋（如190 幀），樹葉顏色與行人衣服非常接近，SiamAPN、BiCF 算法難以準確對目標人物和遮擋樹木進行識別，從而跟丟目標.所提算法由于采用通道注意力機制對不同通道特征進行加權，能夠分辨出目標人物，從而實現準確跟蹤.

在圖6 (b) 中，由于無人機距離目標汽車較遠，利用傳統相關濾波算法難以獲取目標信息，導致視頻中汽車占據的面積較小.當轉彎時（如205 幀），ECO 算法跟丟目標汽車；當遇到遮擋時（如293 幀），MCCT 和BiCF 都完全跟丟目標，所提算法和SiamAPN 算法在整個視頻全過程中都能實現小目標的準確定位與跟蹤.

圖6 (c)的car6 視頻屬于長時跟蹤視頻，幀數多達4 000 多幀.在對目標車輛進行跟蹤過程中，由于無人機角度及高度變化，目標汽車存在較大的形變及尺度變化.所提算法采用無錨框機制，直接確定目標中心點到邊框的距離，能夠較準確地回歸目標框尺寸，實現對目標的準確定位.在其他大多數算法中，目標框雖然也在目標汽車上，但是難以獲得汽車的準確尺寸.

在圖6 (d) 中，目標人物在草地上快速跑動，無人機大部分場景在目標人物上方，同時在部分場景中，目標人物跑到無人機視野外（如700 幀）.當目標重新出現時，由于所提算法采用空間注意力機制，能夠獲取全局信息，從而能夠重新對目標進行定位.

在圖6(e)中，多個快艇出現在視野中，同時目標快艇被前面大艇遮擋（如240 幀），其他多數算法都偏移到干擾快艇上，只有所提算法能夠始終實現對目標的定位，同時準確獲取快艇的目標框.在圖6(f)中，目標無人機在空中快速飛行，目標小且速度快，同時存在形變及背景干擾（如160 幀）.可以看出，多數算法難以適應空中小目標的快速移動，從而跟丟目標，利用所提算法能夠克服其他算法缺點，獲得目標的魯棒特征，從而實現準確的定位.在圖6 (g)中，騎行運動員在場地內快速移動、目標人物外觀變化比較頻繁，可以看出，雖然多數算法能夠實現對目標的定位，但是不能獲得準確的目標框，只有所提算法和SiamAPN 算法能夠獲得準確的目標框.

3.3 跟蹤速度對比

表2 給出不同算法在UAV123@10fps、UAV20L和DTB70 數據集上的跟蹤速度對比.所有算法都在相同的實驗平臺上進行仿真.可以看出，AASAF算法和SiamAPN 算法在保證跟蹤性能的同時，在3 個數據集上的平均速度v超過150 幀/s，能夠滿足實時跟蹤的要求.基于深度神經網絡提取目標特征的相關濾波算法的計算量比較大，跟蹤速度較慢，難以滿足無人機平臺輕量級計算資源的需求.為了驗證所提算法在實際無人機平臺搭載邊緣計算模塊運行的可行性，利用AASAF 算法在英偉達Jetson AGX Orin 32GB 開發平臺上進行仿真實驗.在3 個無人機數據集上的平均跟蹤速度達到36.2 幀/s，能夠實現實時跟蹤，表明所提算法在滿足無人機平臺搭載輕量級計算資源的前提下，可以實現快速魯棒跟蹤.

3.4 消融實驗

表3 給出基準算法baseline 在通道注意力機制、空間注意力機制作用下，分別在3 個無人機數據庫上的跟蹤準確度和跟蹤成功率對比.基準算法baseline 表示沒有采取上述2 種注意力機制.從表3 可以看出，基準算法在3 個數據庫上的跟蹤準確度和跟蹤成功率均最低；當通道注意力機制和空間注意力機制分別單獨作用時，與基準算法baseline 相比，跟蹤性能均有一定程度的改進，表明通道注意力機制的特征聚合作用和空間注意力機制的擴大視野范圍對baseline 算法的跟蹤性能均有一定程度的提升作用.當2 種注意力機制同時作用在baseline 算法時，AASAF 算法的跟蹤準確度和跟蹤成功率2 個指標改進最大.

表3 基準算法與不同注意力機制結合在3 個無人機數據庫上的跟蹤性能對比Tab.3 Comparison of tracking performance conducted on baseline algorithm with different attention schemes on three UAV datasets

3.5 與Transformer 跟蹤方法的對比

Transformer 在計算機視覺領域取得了巨大的成功，并被廣泛應用于目標跟蹤領域.由于Transformer 具有良好的捕獲長距離依賴關系能力，在長時程視頻以及目標被遮擋時，表現出較好的跟蹤性能.如表4 所示為所提算法與4 種基于Transformer 的跟蹤方法在UAV20L 數據集上的跟蹤性能對比.可以看出，Transt、TrDiMP 和SiamTPN 這3 種算法在UAV20L 數據集上的跟蹤準確度和跟蹤成功率都取得比AASAF 算法更好的跟蹤性能，但是這3 種算法的跟蹤速度相比所提算法較慢，限制了其在無人機平臺上的部署應用.HCAT 算法雖然取得了較快的跟蹤速度，但是跟蹤性能相比AASAF 算法較低.綜合跟蹤性能和跟蹤速度，相比其他4 種基于Transformer 的跟蹤算法，AASAF算法在無人機平臺上具有較好的應用前景.

表4 與基于Transformer 跟蹤方法在UAV20L 數據集上的跟蹤性能對比Tab.4 Comparison of tracking performance with transformer based trackers on UAV20L

4 結 論

(1) 在傳統AlexNet 主干網絡輸出的2 個模板分支中引入高效通道注意力機制，能夠顯著提升模型的特征提取能力和判別能力.

(2) 將兩層相關響應進行融合，引入空間注意力機制，通過聚合注意力特征，擴大模型的全局視野，能夠提取更多有效的語義信息.

(3) 引入無錨框機制，直接在每個像素上分類和預測回歸框，有效降低運算復雜度，提升跟蹤性能.

(4) 在UAV123@10fps、UAV20L 和DTB70 3 個無人機數據集上的跟蹤結果表明，所提算法的跟蹤準確度分別達到0.755、0.744 和0.809，跟蹤成功率分別達到0.570、0.571 和0.608，且在較高的跟蹤準確度和跟蹤成功率下，Tesla V100 32 GB上的平均速度可達155.2 幀/s，邊緣計算設備Jetson AGX Orin 32GB 上的平均速度可達36.2 幀/s，在無人機平臺上具有較好的應用前景.

未來將搭建無人機實際飛行跟蹤的測試平臺，在長時程及遮擋方面提高無人機在真實環境下的跟蹤性能，驗證算法在高空平臺上的實際跟蹤效果，從而滿足無人機實時跟蹤的實際工程需求.