基于像素分類的多尺度無人機航拍目標旋轉跟蹤算法

薛遠亮，金國棟，譚力寧，許劍錕

基于像素分類的多尺度無人機航拍目標旋轉跟蹤算法

薛遠亮，金國棟*，譚力寧，許劍錕

（火箭軍工程大學 核工程學院，西安 710025）（ ? 通信作者電子郵箱641797825@qq.com）

針對無人機（UAV）跟蹤過程中垂直跟蹤框在處理尺度變化、相似物體和縱橫比變化時限制了跟蹤精度提升的問題，提出一種基于像素分類的多尺度UAV航拍目標旋轉跟蹤算法。首先，設計MS-ResNet以提取目標多尺度特征；然后，在具有正交特性的多通道響應圖上設計像素二分類模塊，從而進一步精確細化分類和回歸分支的結果；同時，為了提高像素分類精度，使用并行通道空間注意力（scSE）模塊在空間域和通道域上篩選目標特征；最后，在像素分類基礎上生成貼合目標實際大小的旋轉跟蹤框，從而避免正樣本受到污染。實驗結果表明：所提算法在無人機跟蹤數據集UAV123上的成功率和準確率分別為60.7%和79.5%、與孿生區域建議跟蹤網絡（SiamRPN）相比，成功率與準確率分別提升了5個百分點、2.7個百分點，同時速度為67.5 FPS，滿足實時要求。所提算法具有良好的尺度適應能力、辨別能力和魯棒性，能有效應對UAV跟蹤任務。

無人機；目標跟蹤；像素分類；多尺度特征；旋轉跟蹤

0 引言

視覺目標跟蹤是計算機視覺的基礎領域之一，也是研究的熱點。它被廣泛應用在民用和軍事方面，如自動監控、車輛導航、人機交互和目標精準打擊等場景［1-2］，但是復雜多變的目標及場景對跟蹤算法提出了挑戰，特別是無人機（Unmanned Aerial Vehicle， UAV）視角下的目標有尺度小、尺度變化大、快速運動、相似物體干擾、遮擋和出視野等特點，對無人機跟蹤算法的性能有著更高的要求。

目前主流的跟蹤算法分為基于相關濾波的算法和基于深度學習的算法。相關濾波跟蹤算法有最小輸出平方誤差和（Minimum Output Sum of Squared Error， MOSSE）算法［3］、核相關濾波（Kernelized Correlation Filter， KCF）算法［4］將信號處理領域的相關濾波用來計算目標模板與后續搜索區域的相關性，實現對目標的持續跟蹤，因為相關濾波的計算是在頻域中完成的，所以極大減少了運算量，提高了運算速度。為了解決相關濾波不能應對目標尺度變化的問題，區別尺度空間跟蹤（Discriminative Scale Space Tracker， DSST）算法［5］、尺度自適應與多特征跟蹤（Scale Adaptive with Multiple Features tracker， SAMF）算法［6］引入了多尺度搜索策略，但跟蹤速度受到影響。空間正則化辨別相關濾波器（Spatially Regularized Discriminative Correlation Filter， SRDCF）［7］針對目標快速運動時產生的邊界效應，加入正則化約束以抑制背景信息，提高算法的準確度。相較于傳統跟蹤算法，基于相關濾波的跟蹤算法無論是跟蹤速度還是跟蹤準確度，都得到了提升。

相較于傳統特征（顏色、邊緣等），卷積神經網絡（Convolutional Neural Network， CNN）提取的深度特征魯棒性好、特征描述能力強，因此基于深度學習的目標跟蹤算法漸漸成為主流。孿生實例搜索跟蹤（Siamese INstance search Tracker， SINT）算法［8］是第一個使用孿生神經網絡的目標跟蹤算法，創造性地將目標跟蹤任務看作是相似度度量問題，為后續研究提供一種全新的思路。Bertinetto等［9］提出的基于全卷積孿生神經網絡（Fully-Convolutional Siamese network， SiamFC）的跟蹤算法，使用互相關運算完成相似度的計算，進一步提升了孿生跟蹤算法的通用性。SiamRPN（Siamese Region Proposal Network）［10］拋棄了耗時的多尺度估計方法，引入了區域建議網絡（Region Proposal Network， RPN）［11］，快速且有效地解決了目標尺度估計問題，不僅跟蹤精度超過相關濾波算法而且跟蹤速度可達160 FPS（Frames Per Second），實現了跟蹤速度和跟蹤精度的有效平衡。為了進一步提高跟蹤算法的精度，SiamRPN++［12］使用了層數更多的神經網絡ResNet-50［13］提取目標特征。另外也有使用輔助信息來提高跟蹤精度的方法——加入語義分支的SA-Siam（Semantic and Appearance twofold branch Siamese network）［14］證明了語義特征和外觀特征的結合使得算法更加魯棒。Siam R-CNN（Siamese Re-detection CNN）［15］、SiamMask［16］、判別式一次性分割跟蹤（Discriminative Single-Shot Segmentation tracker， D3S）算法［17］結合目標分割任務完成目標的跟蹤，不同的是Siam R-CNN使用的是現成的分割網絡對目標二次處理，會造成錯誤累計，導致跟蹤漂移，并且也達不到實時性要求；SiamMask和D3S是在跟蹤網絡中加入分割分支進行聯合訓練，簡單高效地完成對目標的分割跟蹤。

針對無人機的目標跟蹤算法主要有：突變抑制相關濾波器（Aberrance Repressed Correlation Filter， ARCF）［18］。為了克服背景干擾，引入正則項來抑制偏差：Li等［19］設計的自適應時空正則約束下的跟蹤框架AutoTrack，減少在污染樣本上無意義和有害的訓練，提高了跟蹤速度和準確度。Fu等［20］設計了一種融合了語義特征的自適應無錨框（anchor-free）無人機目標跟蹤算法，解決了基于錨框的跟蹤算法不能很好地適應大尺度變化的問題。

考慮到絕大多數無人機目標跟蹤算法忽視了垂直跟蹤框在背景干擾、尺度變化和縱橫比變化情況下的局限性，本文在SiamRPN的基礎上提出一種基于像素分類的多尺度無人機航拍目標旋轉跟蹤算法。首先，使用網絡層數更深的ResNet-50提取深層特征并改進特征提取的卷積層，有助于多尺度特征的提取；然后，為了提高對背景干擾和縱橫比變化的適應能力，對目標與背景進行像素級的二分類，并根據目標的分類結果生成最小外接矩形框，抑制背景信息的干擾；最后，引入圖像分割任務中的并行通道空間注意力（concurrent spatial and channel ‘Squeeze & Excitation’，scSE）模塊［21］，在通道和空間上篩選特征、分配權重，進一步提高像素二分類的精度。實驗結果表明，本文算法能有效應對無人機中最常見的尺度變化、縱橫比變化和背景干擾等情況，提高算法的多尺度辨別能力和像素級分類能力，并且旋轉框的使用能有效抑制背景信息的干擾。

1 基于像素分類的多尺度無人機旋轉目標跟蹤算法

1.1　多尺度特征提取網絡MS-ResNet

SiamRPN的特征提取網絡為淺層網絡AlexNet［22］，主要提取淺層特征而缺少物體的語義特征。無人機目標跟蹤任務中的目標通常具有外觀變化大、尺度變化大、運動模糊等特點，主要描述物體外觀的淺層特征是難以應對上述情況，因此本文使用網絡層數更深的ResNet-50提取魯棒性更好、描述能力更強的語義特征，并改進卷積層來提取多尺度的目標特征，以應對目標的尺度變化，因此命名為MS-ResNet。

MS-ResNet提取多尺度特征的原理如式（1）所示：

除了第一個子特征圖，其他子特征圖都進行卷積處理，并且上一個卷積得到的特征圖作為下一個卷積的輸入。子特征圖每通過一次3×3卷積，生成的子特征圖就具有更大的感受野，則特征圖能感知的物體尺度也就隨之變大。通過級聯3×3卷積和融合輸入的方法，殘差塊能得到感受野不同的特征圖組合，實現對尺度特征的提取又不會過多地增加計算負擔。MS-ResNet提供的具有多尺度和豐富語義信息的特征圖，能有效提高目標跟蹤算法的尺度適應能力和模糊目標辨別能力。

圖2　殘差塊

1.2　深度互相關運算

1.3　像素分類和旋轉跟蹤框

1.3.1像素分類

1.3.2旋轉跟蹤框的生成

目標跟蹤數據集VOT2016［24］和VOT2018［25］中目標都是采用的旋轉矩形框進行標注，目的就是進行更全面的定位精度評估。目前的無人機跟蹤算法大多數都是基于垂直矩形框的，而無人機視角下的目標縱橫比變化大、背景干擾多和相似物體的干擾，垂直矩形框應對上述情況時不夠靈活，限制了跟蹤準確度的提高。圖3為SiamRPN垂直跟蹤框結果圖，可以看出垂直矩形框跟蹤過程中會包含過多的、不必要的背景信息，污染正樣本信息甚至導致跟蹤失敗。

圖3　垂直跟蹤結果展示

因此本文在像素二分類的基礎上，利用OpenCV［26］中的findContours函數得到目標的輪廓，再使用minAreaRect函數生成輪廓的最小外接矩形框，即旋轉跟蹤框。相較于垂直跟蹤框，靈活變換方位的旋轉跟蹤框，能更好地貼近跟蹤目標的實際大小，排除大部分的背景信息干擾，確保正樣本信息不會受到污染，進一步提升跟蹤準確度。

1.4　并行通道空間注意力模塊scSE

無人機跟蹤過程中相似物體和運動模糊會影響跟蹤目標與背景的分割，為了提高算法的辨別能力和像素分類的準確度，加入并行通道空間注意力模塊scSE［21］。scSE是受到圖像分類領域的SEnet（Squeeze-and-Excitation network）［27］的啟發，為圖像分割領域設計的注意力模塊。scSE主要分為通道注意力和空間注意力模塊，同時在通道和空間域上為特征圖分配權重，結構如圖4所示。

圖4　scSE結構

1.4.1通道注意力模塊cSE

1.4.2空間注意力模塊sSE

1.5　損失函數

2 實驗環境及參數設置

2.1　實驗環境和訓練數據集

實驗環境 1）操作系統為Ubuntu18.04；2）CPU為Intel Core i7-9700 @3.6 GHz；3）GPU為NVIDIA GeForce RTX 2080Ti，內存12 GB。

訓練數據集 1）包含91個物體類別，共328 000幅圖像、250萬標注框的COCO［28］；2）有30個類別，200個子集的ImageNet VID［29］和ImageNet DET［29］；3）包含3 252個YouTube視頻片段和78個類別，包括普通物體和人類活動的YouTube-VOS［30］。訓練集包含目標類別多，訓練的算法泛化能力強，不會對特定類別產生過擬合。訓練時以圖片對的方式輸入孿生神經網絡，模板分支和搜索分支的圖片大小分別為127×127、255×255。

2.2　參數設置

3 實驗與結果分析

3.1　測試準備

本文測試的數據集為UAV123［31］，是目前無人機目標跟蹤算法評測的基準數據集，主要由123個無人機視角下的視頻序列組成，視頻平均長度為915幀。拍攝場景復雜多變，主要包括城市景觀、道路、建筑、田野、海灘、港口和碼頭；跟蹤目標類別廣泛，有人、汽車、船只、卡車和無人機等；目標的運動模式變化多樣，有步行、跑步、騎自行車、滑水、駕駛和飛行。數據集中最常見的挑戰就是尺度變化和縱橫比變化，所占比例為89%和55%，此外還有運動模糊、相似物體、背景干擾、部分遮擋、出視野等挑戰。

3.2　定性分析

將本文算法和7種具有代表性的算法進行比較，分別是：額外訓練一個濾波器進行尺度估計的DSST［5］；基于熵最小化的多專家（Multiple Experts using Entropy Minimization， MEEM）魯棒跟蹤算法［32］；使用多尺度搜索策略跟蹤的SAMF［6］；空間正則化相關濾波算法（SRDCF）［7］；全卷積孿生跟蹤算法（SiamFC）［9］；加入區域建議模塊的孿生跟蹤算法（SiamRPN）［10］；結構化支持向量機（Support Vector Machine， SVM）進行自適應跟蹤的Struck［33］。本文使用的對比算法結果均來自數據集官方公布結果和算法作者提供結果。圖5為在UAV123數據集上的部分跟蹤結果，每一幀的幀數及序列名字分別在圖片的左上角和左下角。

圖5（a）中跟蹤目標在跟蹤過程中出現尺度變化和相似物的干擾，Struck的目標模板受到相似物的污染，導致跟蹤失敗。其他算法雖然能跟蹤上目標但是垂直跟蹤框不能準確地框出目標，影響跟蹤精度的提升。本文算法因為MS-ResNet提取的多尺度特征，所以能準確捕捉發生尺度變化的目標，并使用了旋轉框跟蹤提升跟蹤精度，跟蹤效果好于其他算法。

圖5（b）目標在由遠至近地快速運動，導致跟蹤過程中尺度變化明顯且迅速，相關濾波算法中只有SRDCF表現出尺度適應能力，其他相關濾波算法因多尺度搜索能力不足和尺度變化過快導致跟蹤框過小，丟失大部分正樣本信息。本文算法的多尺度特征是同時提取的且不增加過多的計算負擔，因此能及時準確地跟蹤快速運動的汽車。

圖5（c）中跟蹤目標會與相似目標出現重疊，目標像素點少且存在相似物干擾，考驗跟蹤算法的辨別能力。在跟蹤目標和相似目標靠近的第95幀時部分算法受到相似物干擾，已經出現跟蹤失敗的情況。521幀中重疊情況發生時，其他算法都錯誤地將相似目標當作跟蹤目標，只有本文算法未受干擾，說明并行通道空間注意力模塊能抑制相似目標的干擾，提高算法的辨別能力，保證算法的魯棒性。

圖5（d）初始幀中目標尺度大，而隨著目標運動、尺度變小。大部分算法尺度變化不及時，包含過多的背景信息和干擾信息，導致目標模板受到污染，出現跟蹤失敗情況。只有SiamFC和本文算法展現出較好的尺度適應能力，而得益于目標和背景的像素二分類和注意力模塊，本文算法準確分類目標的像素點，因此跟蹤精度更高。

圖5（e）在嚴重背景干擾情況下跟蹤快速運動的目標。Struck和MEEM尺度適應能力不足，跟蹤框大小幾乎不變，過多的背景信息容易干擾正樣本信息。本文算法因為有像素分類模塊和貼合目標實際大小的旋轉跟蹤框，跟蹤結果準確度更高。

圖5　部分跟蹤結果

3.3　定量分析

為進一步驗證算法的整體性能，采用一次性通過評估（One Pass Evaluation， OPE）模式，評價指標為成功率（success）和準確率（precision）［34］。成功率由成功率曲線與坐標軸圍成的面積計算得到，其中成功率曲線代表交并比（Intersection-over-Union， IoU）大于閾值的幀數的百分比。準確率由預測的中心位置與實際中心位置的歐氏距離小于閾值（一般為20個像素）的幀數百分比得到。

1）整體性能評估：9種算法的評價指標如圖6所示，本文算法的成功率和準確率分別為60.7%和79.5%。因為加入了多尺度特征提取網絡MS-ResNet和并行通道空間注意力模塊scSE，本文算法相較于第2名SiamMask的成功率和準確率分別提高了2.7個百分點、2個百分點，比SiamRPN的成功率和準確率分別提高了5個百分點、2.7個百分點。可以發現：當成功率閾值變高和準確率閾值變低時，本文算法的成功率和準確率都高于其他算法，說明在高要求的跟蹤任務中本文算法的效果更好。證明多尺度特征提取網絡MS-ResNet、像素二分類模塊、并行通道空間注意力模塊和旋轉跟蹤框能夠協同配合，發揮各自優勢，有機地構建一個高效的無人機目標跟蹤算法。同時速度達到67.5 FPS（>30 FPS），足以勝任無人機實時跟蹤任務。

2）各個屬性評估：UAV123數據集提供各個視頻序列的挑戰屬性，能更加全面地評價算法的性能。無人機跟蹤過程中目標尺度變化和縱橫比變化是出現情況最多的兩種挑戰，如圖7所示：本文算法在尺度變化屬性上的成功率和準確率為58.5%、76.9%，在縱橫比變化屬性上的成功率和準確率為57.0%、75.4%，在9種主流算法在排名第一，更加適合無人機目標跟蹤任務。此外在背景干擾、相似物體、低分辨率和出視野屬性上也取得較好表現，只是當準確率閾值變高，任務要求不高情況下，本文算法在相似物體的準確率略低于SiamRPN算法。

圖6　不同算法在UAV123數據集上的整體性能評估

圖7　算法在UAV123數據集上不同屬性的評估結果

3.4　在無人機航拍數據集上測試

為了驗證算法的實際應用性能，將本文算法應用在無人機航拍視頻中進行測試，其中視頻的分辨率為4 000×3 000，幀速為30 FPS。部分跟蹤結果如圖8所示。

圖8（a）跟蹤目標在第773幀時完全跑出視野，跟蹤算法丟失目標；調整無人機視角后，第835幀目標重新出現，本文算法重新發現目標并繼續跟蹤。可見基于像素分類的本文算法在實際應用中也有著較好的目標辨認能力。圖8（b）隨著跟蹤目標的快速運動，目標的尺度變化較大且迅速，本文算法能及時感知出目標的尺度變化并準確框出跟蹤目標。證明了MS-ResNet網絡提取的多尺度特征信息提高了算法的尺度適應能力。圖8（c）主要檢測算法的長時跟蹤能力（序列長度>600幀），目標在長時間的跟蹤過程中其尺度反復變化，并且多次出現被遮擋情況。第617幀時目標信息被障礙物所干擾、第1 163幀中目標被其他車輛所遮擋，本文算法仍準確估計出目標的狀態信息，可見算法的抗干擾能力和辨認能力較強，提高了在長時跟蹤過程中的跟蹤性能。

算法在航拍視頻上的測試結果表明：算法有著較好的尺度適應能力、抗干擾能力和辨認能力，能有效應對尺度變化、背景干擾、遮擋、出視野等挑戰。該航拍數據集中的視頻分辨率較高，因此算法跟蹤速度有所下降為38 FPS，但是仍滿足實時跟蹤任務要求。

圖8　無人機航拍視頻的跟蹤結果

4 結語

針對無人機跟蹤過程中垂直跟蹤框在處理背景干擾、相似物體和縱橫比變化時限制跟蹤精度提升的問題，本文提出一種基于像素分類的多尺度無人機旋轉目標跟蹤算法。本文算法采用MS-ResNet提取多尺度特征、基于像素分類的旋轉跟蹤框生成機制和并行通道空間注意力模塊篩選目標特征。實驗結果表明：多尺度特征的提取能有效提高算法的尺度適應能力，像素分類模塊和注意力模塊的協同使用進一步提高了跟蹤精度和辨別能力，旋轉跟蹤框的設計也減少了背景干擾和正樣本受污染的可能。由于跟蹤過程中模板是固定不變的，未來將加入模板更新機制以提高對目標變化的適應能力。

[1] 孟琭，楊旭. 目標跟蹤算法綜述［J］. 自動化學報， 2019， 45（7）： 1244-1260.（MENG L， YANG X. A survey of object tracking algorithms［J］. Acta Automatica Sinica， 2019， 45（7）： 1244-1260.）

[2] 盧湖川，李佩霞，王棟. 目標跟蹤算法綜述［J］. 模式識別與人工智能， 2018， 31（1）： 61-76.（LU H C， LI P X， WANG D. Visual object tracking： a survey［J］. Pattern Recognition and Artificial Intelligence， 2018， 31（1）： 61-76.）

[3] BOLME D S， BEVERIDGE J R， DRAPER B A， et al. Visual object tracking using adaptive correlation filters［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010： 2544-2550.

[4] HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（3）： 583-596.

[5] DANELLJAN M， H?GER G， KHAN F S， et al. Accurate scale estimation for robust visual tracking［C］// Proceedings of the 2014 British Machine Vision Conference. Durham： BMVA Press， 2014： No.38.

[6] LI Y， ZHU J K. A scale adaptive kernel correlation filter tracker with feature integration［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8926 . Cham： Springer， 2015： 254-265.

[7] DANELLJAN M， H?GER G， KHAN F S， et al. Learning spatially regularized correlation filters for visual tracking［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 4310-4318.

[8] TAO R， GAVVES E， SMEULDERS A W M. Siamese instance search for tracking［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1420-1429.

[9] BERTINETTO L， VALMADRE J， HENRIQUES J F， et al. Fully-convolutional Siamese networks for object tracking［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9914 . Cham： Springer， 2016： 850-865.

[10] LI B， YAN J J， WU W， et al. High performance visual tracking with Siamese region proposal network［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 8971-8980.

[11] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 91-99.

[12] LI B， WU W， WANG Q， et al. SiamRPN++： evolution of Siamese visual tracking with very deep networks［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4277-4286.

[13] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.

[14] HE A F， LUO C， TIAN X M， et al. A twofold Siamese network for real-time object tracking［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4834-4843.

[15] VOIGTLAENDER P， LUITEN J， TORR P H S， et al. Siam R-CNN： visual tracking by re-detection［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 6577-6587.

[16] WANG Q， ZHANG L， BERTINETTO L， et al. Fast online object tracking and segmentation： a unifying approach［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision Pattern Recognition. Piscataway： IEEE， 2019： 1328-1338.

[17] LUKE?I? A， MATAS J， KRISTAN M. D3S — a discriminative single shot segmentation tracker［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 7131-7140.

[18] HUANG Z Y， FU C H， LI Y M， et al. Learning aberrance repressed correlation filters for real-time UAV tracking［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 2891-2900.

[19] LI Y M， FU C H， DING F Q， et al. AutoTrack： towards high-performance visual tracking for UAV with automatic spatio-temporal regularization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11920-11929.

[20] FU C H， CAO Z A， LI Y M， et al. Siamese anchor proposal network for high-speed aerial tracking［C］// Proceedings of the 2021 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2021： 510-516.

[21] ROY A G， NAVAB N， WACHINGER C. Concurrent spatial and channel ‘squeeze & excitation’ in fully convolutional networks［C］// Proceedings of the 2018 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 11070. Cham： Springer， 2018： 421-429.

[22] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.

[23] GAO S H， CHENG M M， ZHAO K， et al. Res2Net： a new multi-scale backbone architecture［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（2）： 652-662.

[24] KRISTAN M， LEONARDIS A， MATAS J， et al. The visual object tracking VOT2016 challenge results ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9914. Cham： Springer， 2016： 777-823.

[25] KRISTAN M， LEONARDIS A， MATAS J， et al. The sixth visual object tracking VOT2018 challenge results ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11129. Cham： Springer， 2019： 3-53.

[26] KAEHLER A， BRADSKI G. Learning OpenCV 3： Computer Vision in C++ with the OpenCV Library［M］. Sebastopol， CA： O’Reilly Media Inc.， 2016：407-413.

[27] HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023.

[28] LIN T Y， MAIRE M， BELONGIE S， et al. Microsoft COCO： common objects in context［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8693. Cham： Springer， 2014： 740-755.

[29] RUSSAKOVSKY O， DENG J， SU H， et al. ImageNet large scale visual recognition challenge［J］. International Journal of Computer Vision， 2015， 115（3）： 211-252.

[30] XU N， YANG L J， FAN Y C， et al. YouTube-VOS： sequence-to-sequence video object segmentation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11209. Cham： Springer， 2018： 603-619.

[31] MUELLER M， SMITH N， GHANEM B. A benchmark and simulator for UAV tracking［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 445-461.

[32] ZHANG J M， MA S G， SCLAROFF S. MEEM： robust tracking via multiple experts using entropy minimization［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8694. Cham： Springer， 2014： 188-203.

[33] HARE S， GOLODETZ S， SAFFARI A， et al. Struck： structured output tracking with kernels［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（10）： 2096-2109.

[34] WU Y， LIM J， YANG M H. Object tracking benchmark［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1834-1848.

XUE Yuanliang， born in 1996， M. S. candidate. His research interests include unmanned aerial vehicle detection and object tracking.

JIN Guodong， born in 1979， Ph. D.， associate professor. His research interests include artificial intelligence， computer vision.

TAN Lining， born in 1985， Ph. D.， lecturer. His research interests include computer vision， artificial intelligence.

XU Jiankun， born in 1986， M. S. candidate. His research interests include unmanned aerial vehicle object tracking and location.

Pixel classification-based multiscale UAV aerial object rotational tracking algorithm

XUE Yuanliang， JIN Guodong*， TAN Lining， XU Jiankun

（，，’710025，）

A pixel classification-based multiscale Unmanned Aerial Vehicle （UAV） aerial object rotational tracking algorithm was proposed for the UAV tracking process， in which the vertical tracking box limited the tracking accuracy when dealing with scale changes， similar objects and aspect ratio changes. Firstly， MS-ResNet （MultiScale ResNet-50） was designed to extract multiscale features of the object. Then， a pixel binary classification module was designed on the multi-channel response map with orthogonal characteristics to further refine the results of classification and regression branches accurately. Meanwhile， to improve the pixel classification accuracy， the concurrent spatial and channel “Squeeze & Excitation” （scSE） module was used to filter the object features in the spatial and channel domains. Finally， a rotational tracking box fitting the actual size of the object was generated based on pixel classification to avoid the contamination of positive samples. Experimental results show that the proposed algorithm has the success rate and precision on the UAV tracking dataset UAV123 of 60.7% and 79.5% respectively， which are 5 percentage points and 2.7 percentage points higher than those of Siamese Region Proposal Network （SiamRPN） respectively， and has the speed reached 67.5 FPS， meeting the real-time requirements. The proposed algorithm has good scale adaptation， discrimination ability and robustness， and can effectively cope with UAV tracking tasks.

Unmanned Aerial Vehicle (UAV); object tracking; pixel classification; multiscale feature; rotational tracking

TP391.41

A

1001-9081（2022）07-2239-09

10.11772/j.issn.1001-9081.2021040689

2021?04?30；

2021?06?29；

2021?06?29。

薛遠亮（1996—），男，四川遂寧人，碩士研究生，主要研究方向：無人機目標檢測及跟蹤； 金國棟（1979—），男，安徽池州人，副教授，博士，主要研究方向：人工智能、計算機視覺； 譚力寧（1985—），男，河南許昌人，講師，博士，主要研究方向：計算機視覺、人工智能； 許劍錕（1986—），男，河北石家莊人，碩士研究生，主要研究方向：無人機跟蹤及定位。