基于孿生區域建議網絡的無人機目標跟蹤算法

楊帥東，諶海云，徐釩誠，趙書朵，袁杰敏

（西南石油大學電氣信息學院，成都 610500）

0 概述

在智能化時代，無人機被廣泛應用在無人駕駛、航空拍攝、交通監控［1］、農藥噴灑、目標跟隨、人機交互［2］、自動駕駛等領域。無人機目標跟蹤是基于視頻圖像對感興趣區域進行篩選和定位的技術。在復雜場景下，無人機圖像跟蹤受光照、遮擋、小目標迅速移動等影響，導致跟蹤效果不佳，因此，提高其穩定性及可靠性成為當前的研究熱點。

無人機跟蹤目標移動迅速且跟蹤目標通常較小，存在目標遮擋的問題。視覺跟蹤是根據當前視頻圖像第一幀［3］給出的邊界框，準確估計目標對象在后續幀中視頻圖像位置的過程。目標跟蹤算法有均值漂移算法［4］、光流法等?；谙嚓P濾波的目標跟蹤算法起源于MOSS［5］算法，其將相關濾波引入目標跟蹤算法中，CSK［6］算法引入核循環矩陣，通過計算高斯核相關矩陣判斷相鄰兩幀之間的相似度，進而實現目標跟蹤。KCF［7］算法引入核技巧以及多通道特征處理方式進行目標跟蹤，大大簡化了在跟蹤過程中的計算量，奠定了相關濾波目標跟蹤算法的理論與實踐基礎，例如SAMF［8］、DSST［9］、SRDCF［10］、BACF［11］、STRCF［12］等。文獻［13］提出的AlexNet 網絡，是深度學習發展的重要階段，深度學習中以SiamFC［14］為代表的相關目標跟蹤算法在精度和速度取得很好的平衡，采用全卷積神經網絡結構，通過模板幀與測試幀匹配進行相似性度量，對目標進行后續定位。SiamRPN［15］在SiamFC 的基礎上通過加入區域候選網絡（Region Proposal Network，RPN）解決原始的多尺度問題。很多工作都是基于SiamRPN完成，以提高模型的泛化和判別能力，DaSiamPRN［16］在訓練階段不僅擴大訓練數據，而且加入不同類別和相同類別的困難負樣本以提升跟蹤性能。SiamDW［17］對特征提取主干網絡進行加深，如ResNet［18］、VGG［19］、ResNeXt［20］等，使得VGG 等網絡可以提取更深層次的語義信息。文獻［21］提出SiamRPN++網絡以解決絕對平移不變性的問題，采用空間感知采樣策略打破空間不變性。SiamC-RPN［22］級聯多個RPN 網絡，加深網絡結構以充分利用深層與淺層特征信息，使得對目標的定位和檢測框的回歸更精確。但是這些孿生網絡都是在加深網絡的基礎上進行特征提取，沒有充分考慮到網絡本身的空間特征信息和上下文聯系，跟蹤精度的提高主要依賴網絡深度和模型復雜度，導致網絡更為復雜，大輻降低模型的跟蹤速度。

本文考慮空間語義信息對網絡的影響，基于SiamRPN 算法提出一種新的目標跟蹤算法DAPSiamRPN。通過加入通道注意力機制和條帶空間池以提升跟蹤的精確率和成功率，并優化原始算法中交并比計算方法，運用距離交并比機制解決目標預測框訓練發散問題。

1 相關工作

1.1 孿生網絡目標跟蹤算法

在目標跟蹤中，孿生網絡目標跟蹤算法通過模板幀與測試幀的相似性匹配，完成最終目標跟蹤任務。因卷積神經網絡（Convolutional Neural Network，CNN）對視頻圖像特征提取表現較優，推動計算機視覺對各類任務的發展。近年來，CNN 被廣泛應用在目標識別、檢測和視頻分割中，CNN 預訓練一個模型，將訓練好的模型應用在圖像處理中。

AlexNet 網絡推動了深度學習的發展，SiamFC的出現推動了目標跟蹤領域從相關濾波到深度學習的蔓延。將ImageNet［23］作為訓練數據完成模型訓練，通過全卷積神經網絡對圖像進行目標特征提取以完成后續跟蹤任務。首先，對第一幀視頻圖像進行剪裁作為模板的提取，提供目標準確位置；其次，在后續視頻幀中進行候選區域搜索，匹配響應最大的目標框得分；最終，孿生網絡利用相似性學習函數進行模板匹配，得出最終目標的真實位置，完成跟蹤任務。相似性學習函數如式（1）所示：

其中：x、z分別為目標模板圖像和目標搜索區域圖像；*為圖像卷積操作；bI為圖像中每個位置的值；φ為由神經網絡進行特征提取。函數的輸出并不是一個純向量，而是有空間信息的特征映射。由于在訓練過程中正樣本較少，不可避免會出現過擬合現象，邊界框并沒有進行回歸調整。因此，在跟蹤過程中易發生目標的漂移。

雖然在訓練階段孿生網絡會進行大量計算，消耗較多時間，但訓練出的模型在跟蹤過程中具有較高的快速性和準確性，是研究者未來重點研究方向。因加入邊界框的回歸，SiamRPN 的出現取得了良好的跟蹤效果，但并沒有考慮網絡本身對空間信息的利用。因此，在目標發生光照變化、背景干擾、遮擋等問題時，模型會發生目標漂移情況。

1.2 通道注意力和空間池化網絡

注意力機制主要分為通道注意力機制和空間注意力機制。通道注意力機制是在不同任務中找到不同功能間的相關性，并突出一些重要功能。在跟蹤過程中，高層卷積可以將每個通道視為一種分類任務，各通道間存在相互依賴關系，通過調節各通道間所占比重，使其相互建立依賴關系進而加強對目標特征的提取?？臻g注意力機制主要對特征圖中每個位置的特征信息進行加權，然后將輸入特征信息與加權后的位置信息進行相乘或相加，進一步加強目標特征的提取能力。傳統孿生網絡并沒有考慮網絡中通道信息和空間位置信息對目標特征提取能力的影響，常采用更深層次的卷積結構增強目標特征的提取。在跟蹤過程中，因圖像需要進行填充操作，在特征提取時會導致網絡平移不變性［21］被破壞。同時，加深網絡結構和提升模型的復雜度將大輻降低模型的跟蹤速度。

注意力機制能夠捕捉時空上下文的依賴關系，對空間維度信息與特征維度上的信息進行融合，以提取視覺場景中的局部或全局信息，廣泛應用在目標檢測、目標分割、語義分割等領域［24-26］，在圖像中對每個像素點分配語義標簽，擴大網絡的感受野。但是，傳統的注意力網絡很難對各種場景進行優化，自注意力機制［27］優化傳統注意力網絡中遠程上下文依賴關系，會引入大量的計算和內存消耗。用于遠程上下文建模的方法［28］主要通過擴張卷積擴大網絡的感受野。

因此，在網絡中加入條帶池［29］和全局上下文模塊，在減少計算量的情況下，有效建立遠程上下文關系，擴大主干網絡感受野，完成區域建議網絡前景與背景的分類和邊界框的回歸。

1.3 基于交并比邊界框計算

交并比主要計算預測邊界框與真實邊界框之間交集與并集的比值，也是在邊界框的回歸任務中，判斷邊界框與真實邊界框距離最直接的指標，常用于目標檢測中。泛化交并比［30］優化傳統交并比的計算方法，考慮重疊框對結果的影響，但是會出現在訓練過程中發散的情況。距離交并比［31］可以有效緩解交并比出現在目標檢測中訓練發散的問題，將最小的預測框與真實邊界框進行歸一化計算，使回歸的邊界框更精準。本文通過改進交并比的計算方法，在訓練跟蹤階段能夠有效緩解對邊界框選擇的問題，在訓練過程中，可以得到精準的交并比計算，使得網絡在非極大化抑制過程中篩選出精準的預測框。

2 基于SiamRPN 的UAV 跟蹤算法

2.1 DAPSiamRPN 網絡結構

單目標跟蹤DAPSiamRPN 網絡結構如圖1 所示。網絡中2 個輸入圖像尺寸分別為127×127×3 和255×255×3，網絡中包含孿生網絡進行特征提取和區域建議網絡進行邊界框的預測，區域建議網絡包含2 個子網絡：1）進行前景和背景的分類網絡；2）進行邊界框的回歸網絡。整個網絡結構可以進行端到端的訓練。在搜索分支上通過加入輕量級的全局上下文網絡塊提取全局上下文信息，用于邊界框的回歸。在模板分支中，加入輕量級條帶池化捕捉上下文空間信息，用于區域建議網絡目標與背景的分類和邊界框的回歸，使得主干網絡能夠長期依賴目標模板提取出特征。因此，本文對交并比計算策略做出改進，運用距離交并比方法，針對重疊面積、中心點距離以及長寬比3 種度量方式進行優化選擇，選取更精準的預測框，完成無人機的跟蹤任務。

圖1 DAPSiamRPN 網絡結構Fig.1 Structure of DAPSiamRPN network

2.2 注意力機制

注意力機制利用CNN 進行場景解析或語義分割，但是通過堆疊局部卷積或池化操作使得CNN 感受野增長緩慢［29］，因此網絡中不能考慮足夠有用的上下文信息。本文引入條帶池化操作，針對目標特征提取進行空間維度加權，使得網絡對目標位置自動分配較大比例的權重，增強網絡對目標的判別能力，使網絡進一步解析跟蹤場景。

首先在標準的平均池化中，x∈RH×W表示輸入的二維張量；H和W分別表示空間的高度和寬度；然后進入平均池化層，h×w表示池化窗口大小，得到輸出y，其高和寬為H0=H/h，W0=W/w，平均池化操作如式（2）所示：

其中：0 ≤i0

同樣的，條帶池化在水平方向如式（4）所示：

通過長且窄的內核建立遠程上下文關系，擴大主干網絡的感受野并利于跟蹤過程中目標和背景的分類，因此，條帶池化使得孿生網絡在跟蹤過程中捕捉上下文關系，條帶池模塊結構如圖2所示。

圖2 條帶池模塊結構Fig.2 Structure of strip pooling module

輸入x∈RC×H×W，其中C表示通道數。首先，將x輸出到水平和垂直路徑上內核大小為3 的一維卷積，用來調制當前位置和相鄰位置信息，得到有用的全局先驗信息，在水平和豎直方向上得到yh∈RC×H以 及yV∈RC×W，擴大感受野之后，最終輸出ZV∈RC×H×W，然后將yh和yV合并在一起，得 到y∈RC×H×W，即：

最終得到輸出z，如式（6）所示：

其中：Sc函數為逐元素相乘，是一個sigmoid 激活函數；f為1*1 卷積，在條帶池的池化窗口中分別設置池化尺寸為16×16 和12×12。在每個卷積層的過程后，條帶池都通過批標準［32］（Batch Normalization，BN）進行歸一化處理，ReLu 非線性激活函數在最后一層。

在檢測模板中，為了更好地建立網絡遠程上下文的依賴關系，在當前無人機跟蹤場景中加深網絡的全局理解能力，在檢測模板的孿生網絡中將全局上下文網絡塊加入到區域建議網絡中，能自動提升與目標特征相關的通道比重，同時降低與目標特征無關的通道比重，改變不同通道間的依賴性，使得邊界框回歸更精準。全局上下文模塊結構如圖3所示。

圖3 中C為網絡通道數，H和W分別為輸入特征圖的高和寬，×為矩陣相乘，+為矩陣相加，r為通道壓縮比。在實驗中，C表示通道數256，高和寬分別為22 和22，r表示4。

圖3 全局上下文模塊結構Fig.3 Structure of global context module

首先，在上下文建模部分，在網絡中將C×H×W特征圖進行1×1 的卷積，將通道壓縮為1，將一個通道上整個空間特征編碼為一個全局特征，得到1×H×W特征圖；然后將此特征圖進行重新調整為HW×1×1，通過softmax 全連接層，得到HW×1×1 注意力權重；最后與調整過的原始特征圖進行全連接層后注意力權重的矩陣相乘，得到上下文模板的輸出。在下面的通道轉化部分類似于文獻［25］中所述，完成信息轉換，并且給各個通道分配相應的上下文信息，建立通道之間的依賴關系，通過1×1 卷積在通道之間建立聯系，C通道數壓縮到C/r，經過歸一化和非線性激活層（ReLu），可以提升模型的泛化能力和增強模型的非線性，有利于網絡的訓練和優化，然后在進行1×1 的卷積層，將通道數重新轉換為C，在此過程中，計算量和參數量被減少，最終C×1×1 以廣播的形式發送，與原始特征圖進行元素之間的相加，如式（7）所示：

通過上下文模塊后得到一個權重向量α，經過卷積層與非線性激活函數得到最終分配的通道集合，如式（9）所示：

2.3 邊界框預測優化

邊界框預測直接影響視頻跟蹤的性能，交并比（IOU）是目標檢測常用的指標，不僅可以區分正負樣本，而且還可以評估輸出邊界預測框和目標真實邊界框的距離，如式（10）所示：

其 中：B=(x，y，w，h) 為輸出的預測框；Bgt=(xgt，ygt，wgt，hgt)為真實的邊界框；x和y分別為邊界框的中心坐標；h和w分別為邊界框的高和寬。由于將區域建議網絡加入到跟蹤網絡中，因此交并比的計算可以很好反映跟蹤過程中預測框和真實框的效果，并進行后續跟蹤指標的評估。

本文算法將交并比改進為距離交并比計算，使預測出的邊界框更符合網絡回歸機制，距離交并比示意圖如圖4 所示。

圖4 距離交并比示意圖Fig.4 Schematic diagram of distance and intersection over union

考慮到目標和邊界框之間的距離、重疊率以及尺度變換，使得回歸框更穩定，在訓練過程中避免原始交并比出現發散問題，距離交并比（DIOU）如式（11）所示：

其中：ρ為預測框和真實框之間的中心點距離；b和bgt分別為預測框和真實框的中心點；c為預測框和真實框相交后的區域對角線距離。

本文算法區域建議網絡分類分支的損失函數中交叉熵損失和回歸分支的損失函數為L1 范數損失，將Ax、Ay、Aw、Ah分別表示預測邊界框的中心坐標和寬高，Tx、Ty、Tw、Th表示真實邊界框的中心點坐標和寬高，進行正則化處理，如式（12）所示：

因此，平滑（so）L1 損失函數如式（13）所示，回歸的總損失函數如式（14）所示，在訓練過程中總的損失函數如式（15）所示：

2.4 無人機跟蹤步驟

無人機跟蹤流程如圖5 所示，主要步驟如下：1）加載DAPsiamRPN 預訓練網絡，判斷網絡是否為第一幀圖像，在輸入圖像中提取視頻第一幀圖像大小為127×127×3 作為模板分支的輸入，將圖像大小為255×255×3 作為搜索分支的輸入；2）將輸入的模板分支圖像和檢測分支圖像經過DAPSiamRPN 網絡中，在區域建議網絡的分類分支和回歸分支中進行互相關運算，生成最后的響應2k個特征圖和4k個回歸的邊界框，實驗中k值為5，得到目標和背景的分類得分，通過邊界框的回歸，優化邊界框的大小，得到目標的位置；3）在后續的視頻圖像中，擴大搜索區域，通過檢測分支找到與上一幀視頻圖像響應最大的特征圖，進行后續跟蹤。如果跟蹤模板需要更新，則重復上述步驟。最終判斷是否為最后一幀圖像，如果是，則跟蹤結束。

圖5 無人機跟蹤流程Fig.5 Tracking procedure of UAV

3 仿真實驗

3.1 實驗數據

實驗平臺為ubuntu16.04 LTS 系統，運用pytorch1.4版本的深度學習框架，設備為Inter Core i7-9700F CPU 3.00 GHz×8，采用單GPUGeForce GTX 2060Super 8 GB。

本文實驗的訓練數據是從ILSVRC2017_VID［23］數據集和Youtube-BB［33］數據集中提取符合跟蹤場景的視頻數據，在ILSVRC2017_VID 數據集中提取44 976 個視頻序列，從Youtube-BB 數據集中提取904 個視頻序列，共有一百多萬張帶有真實標簽的視頻圖像，訓練過程中采用Alexnet 網絡作為預訓練模型，并且作為主干網絡進行視頻圖像的特征提取，然后進行20 輪訓練，每輪進行12 000 次迭代，訓練總時長為13 h，采用隨機梯度下降法，動量設置為0.9，為防止訓練過程中出現梯度爆炸，梯度裁剪設置為10，設置動態學習率從0.03 下降到0.00 001，候選框采用5 種比例分別為0.33、0.5、1、2、3。在視頻第一幀時送入模板分支進行模板采集，后續幀都是經過搜索分支送入區域建議網絡進行分類和回歸，得到響應最大的位置及所在的邊界框，為后續幀的跟蹤做準備，最終完成整個跟蹤任務。

為驗證本文算法的有效性，本次實驗測試數據選取UAV123［34］數據集，UAV123 數據集是無人機在低空狀態下所采集的數據，具有123 個視頻序列，總量超過1.1×105frame，包含各種各樣的跟蹤場景，例如人、船只、汽車、建筑等。涉及到多種屬性的變化，例如光照變化、尺度變化、快速移動、背景模糊、背景遮擋等12 種不同類型。在跟蹤過程中無人機常出現相機抖動、尺度多變以及跟蹤場景和相機拍攝角度不一致的情況，導致跟蹤困難，具有很大難度的挑戰性。跟蹤性能主要有成功率和精確率兩個評價標準，成功率是指邊界框與真實標注的邊界框的重疊面積大于所設定的閾值占當前視頻圖像總邊界框數量的比例，精確率是指邊界框距離真實邊界框的中心誤差小于所設定閾值占當前視頻圖像總邊界框數量的比例。

本次實驗中當交并比設定大于0.6 時，視為正樣本，小于0.3 時視為負樣本，在一個視頻圖像中計算從邊界框選出的候選邊界框有1 805 個，由于數量過大，因此在一組訓練過程中限制總樣本數量共為256 個，正樣本數量與負樣本數量比例為1∶3。本文算法在無人機數據集測試時長為1 064 s，幀率約106 frame/s，原始SiamRPN 測試時長為1 066 s，幀率約為106 frame/s，本文算法比原始算法快2 s。

3.2 實驗結果分析

為驗證本文算法（DSPSiamRPN）在背景模糊、光照變化等情況下的有效性，將本文算法與當前9 種目標跟蹤算法進行結果對比，包含SiamRPN、SiamFC、KCF、CSK、SAMF、DSST、SAMF、ASLA［35］、MUSTER［36］、IVT［37］算法。實驗測試數據為UAV123 數據集，不同算法的實驗結果如表1 所示。

表1 在光照變化和背景模糊場景下不同算法的實驗結果對比Table 1 Experimental results comparison among different algorithms on lighting changes and blurred background scenes

相比原始單目標跟蹤算法SiamRPN，本文算法在背景模糊下精確率提升6.45%，成功率提升11.63%，在光照變化情況下，精確率提升5.87%、成功率提升10.09%，本文算法同樣優于其他目標跟蹤算法。在模板分支中加入條帶池模塊，可以加強空間語義對主干網絡的依賴性，以適應光照的變化。同時在搜索分支中加入上下文網絡塊輸入區域建議網絡的回歸，加強網絡對全局上下文的理解能力，使回歸的邊界框更精準，因此在背景模糊和光照變化較大的情況下，本文算法具有很好的跟蹤效果。

本文與所有算法的對比均在UAV123 數據集上進行測試，測試數據有123 個視頻序列，共有12 個不同場景的屬性，實現跟蹤的成功率和精確率對跟蹤結果進行定量分析，本文算法的成功率達到0.542，精確率達到0.754。因此，在不同場景下本文算法相比SiamRPN算法的處理能力較高，與SiamRPN 算法均有較好的泛化能力，在其他測試數據集上也同樣適用。在各場景不同算法的實驗結果對比如表2 和表3 所示，本文算法在尺度變化、目標快速移動、部分和完全遮擋、相機抖動等場景下均表現出較好的性能，尤其是在背景干擾和光照變化場景下體現出較大的優異性。

表2 在尺度變化、長寬比變化等場景下不同算法的實驗結果對比Table 2 Experimental results comparison among different algorithms on scale variatio，aspect ratio change and other scenes

表3 在超出視野、視野變化等場景下不同算法的實驗結果對比Table 3 Experimental results comparison among different algorithms on out of view，viewpoint change and other scenes

從表2 和表3 可以看出，在11 種不同屬性的場景下，本文算法具有良好的精確性、穩定性和魯棒性。在算法中加入輕量級條帶池和全局上下文模塊進行網絡建模，能夠較好地適應跟蹤場景的變化，并不影響網絡訓練時長和跟蹤效果。條帶池沿著水平和豎直兩個方向部署長而窄的內核，能夠捕捉到狹小區域的遠程關系，有利于建立局部上下文信息，而且可以防止在跟蹤過程中無關區域對前景和背景分類以及邊界預測框的干擾，使網絡能夠同時聚合全局上下文關系。在區域建議網絡回歸分支，通過加入全局上下文網絡塊對回歸邊界框的預測有良好的穩定性和精確性。區域建議網絡廣泛應用在目標檢測，因此，在跟蹤中優化交并比的計算也同樣重要。在網絡訓練過程中，運用距離交并比計算預測邊界框和真實邊界框之間的距離，重疊率以及尺度都考慮，使邊界框的預測更準確，實現無人機目標跟蹤效果達到良好的性能。

4 結束語

針對無人機視頻目標跟蹤過程易受光照變化和背景干擾的問題，本文提出一種基于SiamRPN 算法的無人機視頻目標跟蹤算法DAPSiamRPN，通過降低無人機跟蹤場景中多變性對網絡輸出性能的影響并優化回歸邊界框提升跟蹤器的性能。實驗結果表明，相比SiamFC、SiamRPN、MUSTER 等目標跟蹤算法，DAPSiamRPN 具有較高的精確率和成功率。后續將在不影響跟蹤速度的前提下加入全局檢測或局部檢測過程，使算法在長時間遮擋和尺度變化大的情況下不易發生跟蹤目標漂移的現象。