基于雙注意力混洗的無人機航拍目標跟蹤算法

金國棟，薛遠亮，譚力寧，許劍錕

(火箭軍工程大學 核工程學院，西安 710025)

無人機因其操作簡單、體積小和成本低等優勢，在各個領域有著廣泛的應用。作為無人機應用的關鍵技術之一，目標跟蹤漸漸成為計算機視覺領域的研究熱點，在給定目標第一幀后，對后續幀中出現的該目標進行持續不斷的定位跟蹤。隨著無人機的飛速發展，研究穩健準確且高效的跟蹤技術對于無人機的應用有著十分重要的意義。

相較于地面平臺，無人機視角下目標尺寸相對較小，目標包含的像素點較少，并且無人機飛行過程中容易出現相機抖動和飛行速度變化，造成目標模糊和形變等問題，都對跟蹤算法提取特征的能力有著更高的要求。目前的目標跟蹤算法主要分為2 類，即相關濾波方法和深度學習方法。其中，相關濾波方法大多使用傳統特征提取算法，對目標的表征能力不夠[1]，不能有效應對無人機對目標的跟蹤任務。而卷積神經網絡(convolutional neural networks,CNN)提取的特征能有效表征目標，在目標跟蹤領域發揮著重要作用。Bertinetto 等[2]提出了一種基于全卷積孿生神經網絡(fully-convolutional Siamese networks, SiamFC)的跟蹤算法，將目標跟蹤任務看作為目標模板與搜索圖像之間相似度學習的問題，盡管網絡層數不深，但算法的準確率和速度分別為53.35%和86 幀/s(frames per second，FPS)。后續研究大多都在孿生神經網絡的基礎上進行，Huang 等[3]發現淺層特征足以完成簡單場景下的跟蹤，因此在孿生神經網絡每一層連接一個判別器，當該層的特征圖的得分大于閾值時停止神經網絡的后續計算，有效降低了運算成本。SiamRPN[4]在SiamFC 上引入區域建議網絡[5](region proposal network, RPN)，將在線跟蹤過程看作局部的目標檢測任務，實現了精度和速度的提升，在多個數據集上表現優異且速度高達160 FPS，有效證明了基于深度學習的目標跟蹤算法在精度和速度上的良好平衡。SiamRPN++[6]打破了特征提取能力更強的深層神經網絡不能應用在目標跟蹤領域的限制，在多個數據集上排名第一。針對無人機的跟蹤算法主要有：Fu 等[7]提出一種融合了語義特征的無錨框(anchor-free)跟蹤算法，跟蹤器的速度和跟蹤效果都有所上升，但跟蹤框的回歸成為難題；劉芳等[8]提出一種基于殘差學習的自適應無人機目標跟蹤算法，在深度網絡上引入殘差連接和空洞卷積強化特征提取能力，使用分塊策略應對無人機跟蹤過程中的尺度變化，但是受到網絡層數限制，特征提取能力有所不足；又提出自適應Siamese 網絡[9]，結合高斯混合模型更新目標模板，有效解決了目標遮擋、形變等問題，但跟蹤速度達不到實時要求。

注意力機制也漸漸應用在孿生神經網絡上。SASiam[10]在SiamFC 上加入語義分支，并受到SE-Net[11]的啟發，引入通道注意力，利用外觀特征和語義特征的互補，取得了不錯的跟蹤效果。鐘莎和黃玉清[12]提出了一個基于孿生區域候選的注意力機制網絡算法，在改進過的ResNet-50[13]網絡上引入通道注意力排除干擾，并融合2 個RPN 網絡實現了分類與邊界框回歸。

綜上所述，針對無人機視角下跟蹤目標尺寸小、相似物干擾和尺度變化等問題，本文提出了一種基于雙注意力混洗的多尺度無人機目標跟蹤算法。首先，對ResNet-50 網絡中的殘差連接進行改進，融合了軟采樣和硬采樣的方法，有助于目標分類和定位。然后，為了更好地利用特征，將特征圖一分為二，分別使用空間注意力和通道注意力，二者輸出由混洗(shuffle)操作[14]有效結合起來。最后，跟蹤框生成階段將不同深度卷積層的RPN 輸出進行融合并分配不同權值，有效解決尺度變化問題。實驗表明，本文算法能更有效地應對尺度變化、小目標、運動模糊和部分遮擋等問題，提升了算法的跟蹤效果，并且速度達到37.5 FPS，滿足實時性要求。

1 相關工作

1.1 殘差模塊

He 等[13]發現隨著網絡層數的加深，信息傳遞的難度加大，網絡因學習到的有效信息變少而出現退化現象。而ResNet 網絡層數可以達到很深，是因為殘差模塊中的捷徑連接相當于在網絡層的輸入和輸出之間構建了一種映射關系，確保信息能有效傳遞，避免網絡出現退化現象。圖1 為2 種殘差模塊的示意圖。圖中：第l層殘差模塊的輸入為x[l]、輸出為x[l+1]；conv 1×1、conv 3×3 分別代表大小為1、3 的卷積；ReLU 為修正線性單元激活函數；BN(batch normalization)為批量歸一化操作。

圖1 殘差模塊Fig. 1 ResBlock

ResNet 殘差網絡由數個殘差模塊堆疊而成，殘差模塊的定義表達式如下：

1.2 注意力機制

注意力在人類的知覺中起著重要的作用[15]。人類視覺系統的一個重要特性是人類不會試圖一次處理整個場景。相反，為了更好地捕捉視覺內容，人類會利用一系列局部的觀察，并有選擇地聚焦于想要關注的內容[16]。計算機視覺中的注意力機制同樣可以幫助神經網絡著重地關注輸入中的重要信息，排除不重要信息的干擾。主要分為通道注意力和空間注意力，分別旨在捕捉通道間和像素間的依賴關系[17]。

文獻[18]提出一種空間轉換器，將空間信息進行變換，提取其中關鍵信息。SE-Net[11]分別使用全局平均池化(global average pooling, GAP)和2 個全連接層達到對通道的壓縮、激勵，使模型更加關注信息量更大的通道特征。

ECA-Net[19]用一維的卷積構建高效的通道注意力模塊，避免了通道降維，且有效捕獲了跨通道交互的信息。之后的CBAM[20]、DANet[21]在前面研究基礎上將通道注意力和空間注意力結合起來，證明了2 種注意力結合的效果比單個注意力的效果更好。

2 基于雙注意力混洗的孿生跟蹤算法

基于孿生神經網絡的跟蹤算法將跟蹤任務看作為目標模板與搜索圖像之間的相似度度量問題。孿生神經網絡主要分為特征提取部分和相似度度量部分。特征提取部分根據目標模板z和搜索圖像x，分別使用權值共享的神經網絡 φ(.)提取特征，本文提取的特征相當于一種更為抽象、更為泛化的描述子。如式(2)所示，相似度度量部分根據輸入的描述子，使用度量函數f(z,x)計算描述子之間的相似度，得到響應圖。響應的分數越高，則二者相似度越高。

式中：“*”代表互相關運算；b.I為響應圖每個位置的偏差值。

本文算法的網絡結構如圖2 所示，主要分為3 個 部 分：雙 采 樣 融 合 的ResNet-50 (double sample integration ResNet-50, DSI-ResNet)、雙注意力混洗模塊(dual attention shuffle, DAS)和多區域建議網絡加權融合，因此算法命名為SiamDAS。

圖2 本文算法網絡結構Fig. 2 Structure of the proposed algorithm network

2.1 雙采樣融合的ResNet-50 和DSI-ResNet

經典孿生跟蹤算法MDNet[22]、SiamFC[2]和Siam-RPN[4]使用網絡層數較少的VGG[23]和AlexNet[24]作為特征提取的主干網絡，導致提取到的淺層特征缺少語義信息。當無人機跟蹤過程中目標發生外觀變化和運動模糊時，淺層特征描述物體能力不夠，容易出現跟蹤失敗的情況。因此，更好地利用豐富的語義信息建立魯棒的目標模型才是無人機跟蹤算法的關鍵。ResNet-50 因其特征提取能力更強而被廣泛使用在計算機視覺其他領域。本文主干網絡DSI-ResNet 也是在其基礎上根據無人機跟蹤任務而進行改進。

ResNet-50[13]殘差模塊中的映射是傳遞信息的主要路徑。每次映射都會增加特征圖的通道數，當輸入和輸出的特征圖尺寸不一致時，還需要對特征圖進行下采樣。圖3(a)為ResNet 中的下采樣，使用一個步長Stride 為2、大小為1 的卷積核對特征圖進行逐步長的卷積運算，一次性完成了通道升維和空間下采樣。如圖4 所示（藍色為使用到的像素，黃色為卷積核），步長為2 導致下采樣過程中忽略了75%的特征信息，不適合無人機視角下目標尺寸小和運動模糊等情況，本文提出的DSI-ResNet 改進原有的采樣方式，將2 種各有優點、相互互補的“軟下采樣”和“硬下采樣”進行融合，保留更多的細節信息和背景信息。

圖3 投影映射的下采樣Fig. 3 Down-sampling of projection mapping

圖4 步長為2、大小為1 的卷積過程Fig. 4 Convolution process with a step of 2 and size of 1

下采樣中常用的最大池化操作，即“硬下采樣”，從模板中選擇激活度最高的元素作為輸出，有利于目標分類。而圖1(b)中殘差部分使用的下采樣是步長為2、大小為3 的卷積，相比于最大池化，輸入輸出之間的計算更平滑，因此稱為“軟下采樣”。卷積運算會考慮特征圖上的全部信息包括背景信息，有助于網絡更好地定位。

如圖3(b)所示，“硬下采樣”由一個步長為2、大小為3 的最大池化和一個步長為1、大小為1 的卷積來實現。空間下采樣與通道升維分為2 步進行：第1 步，最大池化會全面考慮空間信息并從中選擇最大激活值，作為卷積的輸入；第2 步，利用步長為1、大小為1 的卷積實現跨通道的信息融合。將投影映射中“硬下采樣”的輸出和殘差部分中“軟下采樣”的輸出相加，有效結合2 種下采樣方法，使其更適合無人機下目標像素點少、運動模糊的跟蹤任務，還不會增加運算成本。

2.2 雙注意力混洗

基于孿生神經網絡的跟蹤算法為了提升運算速度，采用的是在大型數據集上離線訓練跟蹤模型，在線跟蹤過程中不會更新目標模板，需要網絡有很強的泛化能力和辨別能力。網絡僅根據給定的第1 幀初始圖像，既要提取到目標的語義信息，又要捕獲目標特有的細節信息。語義信息保證網絡在各個場景下跟蹤目標的泛化能力，細節信息則是排除同類物體干擾、提高網絡辨別能力的關鍵。

根據上述分析，能提取到豐富語義信息的DSIResNet，辨別能力仍有不足，主要體現在：①通過卷積生成特征圖的過程中，對輸入的特征圖的每個位置有著一樣的關注，而這特征圖上不僅有要跟蹤目標的信息，也有干擾信息。如果能在特征提取階段就將干擾信息排除，就可以有效提高跟蹤算法的準確度。②互相關運算中，各個通道上的特征圖對于計算相似度的貢獻都是一樣的，而往往不同通道代表著不同類別的物體，對于只跟蹤特定目標的跟蹤任務來說，對所有類別都給予相同的權重不適用于跟蹤任務。

單獨的通道注意力或空間注意力不能解決上述問題，而這兩者的效果是互補的，同時使用就能解決上述問題。文獻[20]提出的CBAM 級聯空間注意力和通道注意力模塊，相比于單一注意力，能幫助網絡更好地關注目標，實驗表明，雙注意力融合起來效果更好。但是CBAM 的設計不夠輕量化，不適合無人機跟蹤任務。為了提高網絡的辨別能力，在DSI-ResNet 上引入了一種輕量化的雙注意力混洗模塊，如圖5 所示。首先，將特征圖按通道進行分組，生成子特征圖；然后，子特征圖上按通道一分為二，分別使用空間注意力和通道注意力，2 個注意力模塊的輸出相加得到新的子特征圖；最后，所有子特征圖組合生成新的特征圖，混洗子特征圖上的信息，加強不同通道間信息交流。

圖5 雙注意力混洗Fig. 5 Dual-attention shuffling

2.2.1 特征圖分組

給定輸入的特征圖為X∈RC×H×W，其中，C、H和W分別為特征圖的通道數、高度和寬度。為了降低計算成本，將X在通道維度上分為G組子特征圖，X=[X1,...,Xk,...,XG],Xk∈RC/G×H×W, 因為子特征圖 是按通道劃分的，所以在訓練過程中每個子特征圖都能捕獲到特定的語義信息。子特征圖Xk一分為二，得到Xk1,Xk2∈RC/(2G)×H×W，一個使用通道注意力捕獲通道間的相互關系，另一個則使用空間注意力尋找特征之間的空間關系。因此，通過注意力模塊的權重分配，網絡更好地知道關注什么和關注哪里才是有意義的[17]。

2.2.2 通道注意力

深層網絡的特征圖上，不同通道代表著不同的語義信息[25]。通道注意力分配權重的過程可以看作是為不同的通道選擇語義屬性的過程[11]。本文選用的是SE-Net[11]中的全局平均池化GAP 壓縮Xk1通道上的特征層，得到結果s：

將特征圖按照不同的語義信息進行權重分配，目標所在通道的權重最大。在互相關運算時，其他通道上的響應受到抑制，明確網絡應該關注什么類別(what)的目標。

2.2.3 空間注意力

式中：W2,b2∈RC/(2G)×1×1和 δ (.)用 于加強Xˉk2的表示能力。

空間注意力響應對特征圖各個位置的權重設計有效抑制了相似物的干擾，明確網絡應該關注圖像上什么位置的目標。

2.2.4 混 洗

圖6 通道混洗Fig. 6 Channel shuffle

2.2.5 可 視 化

為了直觀展現雙注意力混洗模塊的作用，使用Grad-CAM[27]對加入雙注意力混洗的ResNet-50 分類網絡最后一層卷積層(見圖2 中Layer4 的第2 層卷積)生成類激活熱力圖。圖7 為預測狗類別的類激活熱力圖。溫度代表網絡對圖像中目標類別的認識，網絡認為該區域越接近目標類別，則類激活值就越高，因此圖中溫度越高。可以看出，加入雙注意力混洗后，網絡對感興趣目標（狗）的辨別能力得到提升，抑制干擾目標（貓）的影響，有效證明了雙注意力混洗模塊對特定目標的辨別能力。因此，當雙注意力混洗模塊用于提取跟蹤任務中目標特征時，也能很好地將網絡注意力限制在跟蹤目標上。

圖7 Grad-CAM 熱力圖Fig. 7 Heatmap of Grad-CAM

2.3 多區域建議網絡融合

2.3.1 區域建議網絡

SiamRPN[4]引入RPN 模塊代替傳統金字塔式的尺度估計方法，預先定義尺度、大小不同的k個錨框完成對目標的多尺度估計，主要包括上通道互相關運算(UP-channel Xcorr)、邊界框回歸分支BW×H×4k和分類分支SW×H×2k。上通道互相關運算是整合模板分支與搜索分支特征信息的關鍵運算，其核心思想是把模板分支的特征圖 φ(z)當作卷積核，與搜索分支的特征圖 φ(x)進行卷積運算，得到響應圖。回歸分支與分類分支根據響應圖，分別得到目標的預測位置與分類得分，其中得分最高的目標及其預測位置作為輸出。

式中：“ *”代表上通道互相關運算； φ(.)為特征提取網絡；W、H和2k、4k分別為特征圖的寬度、高度和通道數。

SiamRPN++[6]發現SiamRPN 中的上通道互相關運算需要對特征圖進行通道升維，導致RPN 模塊與特征提取模塊的參數嚴重不平衡（RPN 的參數為20×106，而特征提取部分參數只有4×106），容易出現訓練困難。因此，提出一種輕量化的深度互相關運算，實現了更高效的信息整合，參數減少了10 倍。得到的多通道響應圖還具有正交特性，同類物體在特定通道上的響應最大，其他通道上受到抑制。

圖8 為本文使用的SiamRPN++中的RPN 模塊。其中，深度互相關運算得到的多通道響應圖具有正交特性，結合雙注意力混洗模塊能更好地提高跟蹤準確度。

圖8 RPN 模塊Fig. 8 Region proposal network module

2.3.2 加權融合多區域建議網絡

淺層特征有助于物體跟蹤的精確定位[28]，淺層特征主要描述物體的外觀，包括顏色、大小等細節信息，這對于物體的定位是不可缺少的；深層特征主要描述物體的語義信息，對物體的描述更抽象，也更具有泛化能力，能有效應對跟蹤目標發生外觀變化和運動模糊等情況。因此，對于無人機目標跟蹤來說，充分利用神經網絡提取出來的細節信息和語義信息是至關重要的。

SiamRPN 只利用最后一層語義信息，在辨別背景和目標時判別力不夠[29]。由于不知道跟蹤目標的先驗信息，跟蹤過程中預先定義的anchor 想要一次性、準確地估計目標的大小和位置是比較困難的。為了利用多層特征信息和目標的準確定位，采用多個RPN 融合的方式輸出跟蹤結果（見圖2）。與SiamRPN++平均加權融合相比，重新設計了各層融合的權重。

式(8)為加權融合結果的計算過程，Si和Bi分別為第i層RPN 的分類輸出和回歸輸出。考慮到無人機視角下的目標特征信息少、尺寸小和更容易出現運動模糊的情況，給淺層特征更多的關注，即α3＞α4=α5,β3＞β4=β5，保證網絡能更多地利用細節信息完成無人機視角下的目標跟蹤。

2.4 算法實現步驟

跟蹤算法的流程如圖9 所示。具體實現步驟如下：

圖9 算法實現步驟Fig. 9 Algorithm flowchart

步驟 1 輸入視頻序列。

步驟 2 利用模板分支提取視頻序列的第1 幀目標圖像，作為模板特征。

步驟 3 利用搜索分支提取后續幀中搜索區域的圖像特征作為搜索特征。

步驟 4 雙注意力混洗模塊對模板特征與搜索特征根據進行權重分配，生成各自的加權特征圖。

步驟 5 深度互相關運算完成對2 個分支的加權特征圖的信息整合，生成多通道響應圖，其中最大響應位置為目標的粗略位置。

步驟 6 多個區域建議網絡逐步完成對目標位置、邊界框大小的精確評估。

步驟 7 輸出預測的目標位置。

步驟 8 重復步驟3～步驟7，直至視頻結束。

3 實驗與分析

3.1 實驗平臺及參數設置

1） 實驗平臺：①操作系統為 Ubuntu18.04；②CPU為Intel Core i7-9700 @3.6 GHz；③GPU：NVIDIA Ge-Force RTX 2080Ti，內存12 GB。

2） 訓練數據集：包含38 萬個視頻片段，560 萬個人工標注的邊界框，跟蹤23 個類別的日常物體的YouTube-BoundingBoxes[30]；有30 個基本級別的類別，200 個子集的ImageNet VID[31]和ImageNet DET[31]；包含91 個對象類型，328 000 張圖像，共有250 萬個標注的COCO[32]。以圖像對的方式訓練網絡，模板分支圖像的大小為127×127，搜索分支圖像大小為255×255。

3） 參數設置：特征圖分組數量G=64；多個RPN 融合權重為α3=β3=0.5,α4=α5=β4=β5=0.25；與SiamRPN++一樣，使用隨機梯度下降法(SGD)訓練網絡，epoch=20，其中每個epoch 訓練圖像數量為600 000 對，batch size=28，即 每 批 次 處 理 圖 像14 對。前5 個epoch 訓練RPN，學習率為0.001；后15 個epoch 對整個網絡進行端對端訓練，學習率從0.005 指數衰減到0.000 5，衰減權重為0.000 5，動量為0.9。損失函數是分類損失和回歸的標準平滑L1 損失的總和。需要注意的是，SiamRPN++只對ResNet-50 的Layer2、Layer3、Layer4 進行訓練，而本文因為有雙注意力混洗模塊的加入，還加入了Layer1 參與訓練以保證效果。

3.2 實驗結果與分析

本文的測試數據集為UAV123[33]數據集，包含123 個無人機拍攝的高分辨率視頻序列，視頻平均幀數為915，主要分為3 個子集：子集1 使用一架專業級無人機(DJI S1000)，在5～25 m 的高度跟蹤不同的目標，所有序列以720 p 和30 FPS 的速度提供，用垂直邊框標注；子集2 具有較低的質量和分辨率，并包含合理數量的噪聲；子集3 是無人機模擬器捕獲的8 個合成序列。

UAV123 數據集包含城市景觀、道路、建筑、田野、海灘、港口和碼頭等場景，以及汽車、卡車、船只、人員、團體和空中交通工具等目標。目標的活動模式有步行、騎自行車、滑水、駕駛、游泳和飛行等。包含常見的視覺跟蹤挑戰：小目標、完全和部分遮擋、尺度變化、光照變化、視角變化、背景干擾、攝像機動作等。因其包含場景多、目標廣泛、運動模式復雜多元，能整體評估跟蹤算法，已經成為無人機跟蹤算法評測的基準。

3.2.1 定性分析

本文算法(SiamDAS)與7 種主流的跟蹤算法DSST[34]、Struck[35]、MEEM[36]、SAMF[37]、SRDCF[38]、SiamFC[2]、SiamRPN[4]在UAV123 數據集上進行實驗對比。DSST、Struck、MEEM、SAMF、SRDCF 是基于相關濾波的跟蹤算法，其中，SAMF、DSST 和SRDCF 算法使用傳統金字塔式尺度估計的方法來應對目標的尺度變化。而SiamFC 和SiamRPN 是基于孿生神經網絡的跟蹤算法，其中，SiamRPN 是使用預定義多個anchor 完成對跟蹤目標的尺度估計。為保證評估的公平性，所有跟蹤結果來自數據集官網和作者提供的跟蹤結果。算法在數據集上的部分跟蹤結果如圖10 所示。

圖10 部分跟蹤結果Fig. 10 Some tracking results

1） car16_1 序列。跟蹤目標為一個快速運動的汽車，且無人機視角在變化。加入尺度估計的DSST、SAMF、SRDCF 算法，因目標運動過快而不能及時估計目標尺度變化，導致DSST、SAMF 和SRDCF算法的跟蹤框過小，丟失了大部分的正樣本信息，在第358 幀已經跟蹤失敗；當視角發生變化后，SRDCF 算法的跟蹤框變大，存在過多的干擾信息，影響后續跟蹤。本文算法和SiamRPN 都能靈活適應跟蹤目標的尺寸變化，由于有多個RPN 加權融合，本文算法的跟蹤框更加貼近目標實際大小。

2） truck1 序列。跟蹤目標有著尺度變化，且隨著目標的行駛，背景出現較多的相似干擾物體。第63 幀時，孿生跟蹤算法SiamFC、SiamRPN 和Siam-DAS 得益于提取到的深度特征，能準確定位目標，而相關濾波類的算法已經出現跟蹤漂移情況。第305 幀時，只有SiamFC 和SiamDAS 能從干擾物中辨認出跟蹤目標，其余算法出現跟錯目標或找不到目標的情況。本文算法因為有雙注意力混洗模塊，提高了算法的辨認能力，有效降低了相似干擾物的影響。

3） wakeboard1 序列。隨著目標的運動，目標的尺度逐漸變小，且伴隨著背景的干擾。Struck 和MEEM 算法因為沒有尺度估計，跟蹤框大小始終不變，當目標變小時，過多的背景信息干擾了正樣本信息，導致出現跟蹤錯誤目標的情況。本文算法相較于其他尺度估計的算法，跟蹤結果更加準確，有良好的尺度自適應性。

4） truck2 序列。跟蹤目標在視野中很小，所含特征信息少，對算法有著很高的要求。因為辨認能力不足，受到背景信息的干擾，所以絕大多數算法出現跟蹤失敗的情況。本文算法因為有DSIResNet 深層網絡提取的深層特征，保留了小目標更多的細節信息，能持續有效地跟蹤。

5） person16 序列。不僅目標尺寸小，還存在遮擋情況和相似目標干擾。出現遮擋前，全部算法均能準確跟蹤目標。當遮擋情況出現時，并且遮擋物和目標有著相似的外觀信息，誘導了大多數算法，將遮擋物誤認為目標。只有SiamRPN 和本文算法在目標重新出現時，準確迅速地完成了再跟蹤，證明了本文算法較好的辨認能力。

6） person7_1 序列。目標在跟蹤過程中有快速運動和突然變換方向的特點，大部分算法都很難跟上目標的快速運動，導致跟蹤失敗。但目標突然變化方向時，只有本文算法實現了目標的及時跟蹤，有著較強的適應能力，足以應對突發情況。

3.2.2 定量分析

為了進一步驗證算法的能力，采用一次通過評估模式(one-pass-evaluation, OPE)、通過成功率和準確率對算法進行評估[38]。成功率是指成功率曲線與坐標軸圍成的面積(area under curve, AUC)，其中成功率曲線是計算重疊率(intersection over union,IOU)大于某個閾值的跟蹤結果與真實值的數量百分比；準確率即中心定位誤差(center location error,CLE)。計算被跟蹤目標中心位置與真實中心位置之間的平均歐氏距離，當距離小于閾值（一般為20 個像素）時，被視為跟蹤成功。準確率由成功跟蹤的圖像數量和視頻序列數量的百分比得到。

1） 8 種算法在UAV123 數據集上的整體評估結果如圖11 所示。本文算法(SiamDAS)的成功率和準確率分別為60.3%和79.3%，相較于SiamRPN提升了4.6%和2.5%。當成功率的閾值變高，準確率誤差閾值變低(小于20 像素)，本文算法的成功率和準確率都高于其他算法，說明在更高要求的跟蹤任務中，本文算法的效果更好，也證明了DSI-ResNet、雙注意力混洗模塊和多層RPN 加權融合的方法能夠提升網絡的整體性能。同時，速度達到37.5 FPS，滿足實時性要求。

圖11 不同算法在UAV123 數據集上的整體評估結果Fig. 11 Overall evaluation results of different algorithms on UAV123 dataset

2） UAV123 數據集對每個視頻序列都標注了類別屬性，用于分析跟蹤算法在各個屬性上的表現。圖12 為8 種算法在不同屬性上的評估結果。UAV123 數據集中最多的2 種屬性為目標的尺度變化和邊界框的長寬比變化，分別為89%和55%，這也是所有無人機目標跟蹤算法都要解決的問題。相比于其他算法，本文算法在尺度變化和長寬比變化屬性上的成功率和準確率有著較大幅度的上升，是適合無人機目標跟蹤任務的。在處理無人機跟蹤過程中經常出現的相似物體、視角變化、部分遮擋、快速運動和出視野等情況時，都取得了較好的效果。

圖12 不同算法在UAV123 數據集上各屬性的評估結果Fig. 12 Evaluation results of different algorithms in terms of different attributes of UAV123 dataset

3.3 在無人機航拍視頻上測試

為驗證算法在實際應用中的跟蹤效果，將本文算法應用在無人機航拍視頻中進行測試。按照COCO 數據集[32]中目標面積小于或等于 32×32像素的目標為小目標，無人機拍攝的視頻序列中目標都為小目標且包含尺度變化部分遮擋、快速運動等多種挑戰，能夠檢驗跟蹤算法的工程應用能力。圖13為本文算法的部分跟蹤結果。

圖13 無人機拍攝視頻跟蹤結果Fig. 13 Tracking results of UAV shooting video

1） 序列1。第97 幀中，跟蹤目標出現部分遮擋情況，本文算法仍能識別出被遮擋的目標，準確跟蹤。第140 幀中，跟蹤目標與相似目標的相遇并未影響本文算法對跟蹤目標的跟蹤效果，可見本文算法在實際應用中也有著較好的辨認能力和抗干擾能力。

2） 序列2。跟蹤目標尺寸小且隨著目標運動，外觀和光照都在變化，DSI-ResNet 提供目標的細節信息和深度特征信息，保證本文算法能夠準確跟蹤小尺寸目標。

3） 序列3。快速運動的跟蹤目標，其尺度變化大且迅速，對算法的尺度適應能力要求高。包含深度互相關運算的多RPN 加權融合模塊，使得本文算法能夠靈活快速地感知目標的尺度變化，有著較好的尺度自適應能力。

4 結 論

1） 融合2 種下采樣方式，設計了DSI-ResNet 深層特征提取網絡，這些特征既保留了目標的背景信息，有助于定位，又利用最大池化尋找最大激活值，有助于目標分類。

2） 為了從深層特征中篩選跟蹤目標的特征，設計雙通道注意力混洗模塊，提升了算法的辨別能力，有效解決無人機跟蹤過程中出現的相似物干擾、快速運動和部分遮擋等情況。

3） 在不同特征層上使用多層RPN，深層語義信息和淺層細節信息的結合使用，有助于目標分類和定位。RPN 模塊代替傳統尺度估計方法，更準確地定位目標，并針對無人機跟蹤目標特點，重新分配融合權重。對于尺度和長寬比變化情況，有很好的適應能力。