增強特征信息的孿生網絡無人機目標跟蹤方法

周文豪，楊帥東，趙書朵

(1.西南石油大學 電氣信息學院，四川 成都 610500；2.西南石油大學 信息學院，四川 南充 637001)

0 引 言

近年來，基于無人機視覺的目標跟蹤逐漸成為計算機視覺領域的熱門研究課題，應用于智能交通、視頻檢索以及軍事偵察等眾多領域[1]。無人機因跟蹤目標移動較快且目標通常較小目標很容易受到光照、遮擋、小目標快速移動等因素影響。設計精度高、魯棒性強的無人機目標跟蹤方法成為當前研究的重點[2]。

主流的單目標跟蹤算法主要分為兩大類：①相關濾波類算法；②深度學習類算法。相關濾波類以KCF[3]算法(kernel correlation filter)為代表，其引入了核技巧以及多通道特征處理，大大簡化了計算量，后續如SAMF[4]、DSST[5]、SRDCF[6]等。C-COT[7]、ECO[8]等算法將深度學習與相關濾波結合。將CNN作為特征提取方式加入到相關濾波跟蹤框架。深度學習類中Bertinetto等提出的SiamFC[9](fully-convolutional siamese networks)利用相似性匹配的思想，以孿生神經網絡作為核心框架，通過模板幀與搜索幀進行相似度匹配度量，得出目標的位置響應。由于僅使用5個全卷積層進行端到端的離線訓練，跟蹤時在線相似評估的策略，因此在跟蹤精度與時效性方面得到了很好的平衡。SiamRPN[10](siamese region proposal network)在SiamFC的基礎上，加入候選區域生成網絡解決了視頻幀中目標在尺度變化這一特定場景下跟蹤丟失問題。為解決目標對象因形變、遮擋等跟蹤難點，Siam R-CNN[11]再檢測算法利用第一幀模板和前一幀預測的重新檢測來對目標進行建模，該方法在目標受到長時間遮擋后能夠更好地重新跟蹤目標。Guo等[12]提出一種動態變化的孿生網絡，建立一個快速轉換學習模型可有效地改善前一幀目標的外觀變化和背景抑制。文獻[13]在孿生網絡中引入全局上下文特征模塊的DenseNet，Dong等[14]通過將表達性深度特征加入到Siamese網絡中用于代替成對損失進行訓練，近年來以上方法有效提高算法在無人機視覺下對目標的跟蹤效果。

SiamFC算法采用數據集ILSVRC 2015-VID[15]訓練跟蹤模型，以改進Alexnet[16]網絡作為主網絡，其卷積核不能有效分離目標與背景信息導致特征提取類型不足，并且訓練數據集包含的目標類別較少，導致跟蹤器在無人機視頻的復雜場景下跟蹤不準確甚至跟蹤失敗。因此本文基于SiamFC提出MFFSiamFC(multi feature fusion SiamFC)算法，將原訓練模型的數據集ILSVRC 2015-VID替換成GOT-10K[17]，使得訓練出的模型對目標信息的提取更具有判別能力，與原始訓練數據集相比，能有效區分跟蹤場景中的前景與背景信息；其次在卷積過程中將帶有高語義信息和低細節的淺層特征融入到深卷積層中，減少目標細節信息的丟失，增強網絡對目標特征的提取能力；最后帶有空間池化操作加強在空間中目標特征信息，調節目標在特征空間中每個位置信息的比重。進而通過條帶池化輸出特征信息與原始卷積輸出的特征圖帶有的目標信息進行融合完成目標的特征圖提取。然后與搜索分支中的視頻圖像信息進行互相關運算，得到的最終特征圖比原始網絡輸出更具有前景信息。

1 本文算法

1.1 算法網絡構架

本文算法基于SiamFC跟蹤網絡模型進行改進實現對無人機視覺下目標進行跟蹤。如圖1所示，網絡中包含模板分支和搜索分支。模板分支和搜索分支分別輸入兩張大小為127×127×3和255×255×3的圖像，記為Z和X， 經過卷積神經網絡進行特征提取。首先模板分支中將經過第一個卷積所得特征圖輸入到第四個和第五卷積層中與之進行特征融合得到特征圖z1。 用淺層特征包含著更多的目標信息這一特性增強深層特征圖的細節信息，此操作彌補了卷積操作對目標信息丟失的缺點；在模板特征圖z1后面引入條帶池化[18]結構，使條帶池化輸出特征與模板特征z1進行融合得到模板分支最終輸出特征圖n， 然后與搜索分支輸出特征x進行相似性匹配，得到孿生網絡模型最終的輸出特征響應圖，完成后續的跟蹤任務。其中特征圖均表示圖像經網絡中卷積核特征提取后呈高亮形式變得更集中于中心點，高亮部分從1到0以浮點形式向周圍分布。

圖1 MFFSiamFC網絡結構

孿生網絡結構各層所對應參數見表1，包括5個卷積層和兩個pooling層，除第五層外每個卷積層后面都有一個ReLU非線性激活層。

1.2 淺層特征融合

針對多層卷積提取特征丟失目標細節信息問題。淺層神經元經過較少的卷積層，其對應感受野較小，其對應輸出特征圖中包含更多的目標細節信息。隨著卷積層數的增加，神經元的感受野越大，但與之而來的更多卷積運算使提取到的特征變得越加抽象，目標的細節丟失較為嚴重。本文采取尺度變換方式調節淺層卷積輸出特征圖的尺寸輸入到深層卷積層中進行融合卷積來增強網絡對目標細節信息的表征，利用網絡的淺卷積層具有高語義和低細節信息特

表1 孿生網絡結構參數

性使得模板分支卷積后輸出的特征圖更具依賴性。

尺度變換[19]是通過改變原特征圖的通道數實現其尺寸的縮放，圖2為特征圖尺度變換示意圖，設原始輸入特征圖尺寸為H×W×C×r2，H和W分別表示特征圖的高和寬，C×r2表示特征圖的通道數。特征圖經尺度變換的關系表達式為

(1)

其中，x,y表示特征圖的維度大小，c表示單個像素點的通道數，整個變換過程是像素值周期排列的過程，變換后的第一個通道上一個r×r像素塊的像素值相當于是原來前r×r個通道上1×1像素值的重新排列，在不增加任何參數的情況下完成了不同尺度特征的提取。

圖2 尺度變換

尺度變換僅通過改變通道數實現特征圖的尺寸縮放，沒有額外參數加入進行計算。卷積神經網絡的各卷積層的輸入輸出計算公式為

N=(W-F+2P)/S+1

(2)

式中：N為特征圖輸出大小，W為特征圖輸入大小，F為卷積核大小，P為填充值大小，S為步長。通過將第一層輸出特征輸入到第四層，第五層卷積層，彌補目標所在位置信息，使得網絡得到更有效的目標特征；設第一層，第三層，第四層，第五層卷積輸出特征圖分別為I1，I3，I4，z1。I1通過式(1)和式(2)計算得到I′1，I″1， 大小分別為10×10和8×8，分別輸入到第四層，第五層卷積層，由此各特征圖之間的關系如下

I4=φ4(I3+I′1)

(3)

z1=φ5(I4+I″1)

(4)

式中：φ4，φ5分別代表第四層和第五層的卷積操作。至此網絡卷積操作得到目標特征圖z1， 將淺層提取的特征分別融入到最后兩個深卷積層中，幫助網絡尋找在堆疊卷積中丟失的高語義信息和低細節信息，使得模板分支獲取第一幀目標特征更具權威性，有利于完成后續的相似性學習。

1.3 條帶池化操作

針對堆疊卷積提取特征使得卷積神經網絡感受野增長緩慢問題，為有效區分目標前后景信息，本文算法對模板分支進行卷積后的目標特征引入條帶池，帶有空間池化操作的特征目標與原有卷積后的目標特征進行加權融合，使得目標每個位置信息在特征空間自動分配較大的比重，增強網絡在跟蹤場景中對目標特征的提取。

條帶池化操作沿窗口分為兩個方向進行池化

(1)沿窗口垂直方向池化表示為

(5)

(2)沿窗口水平方向池化表示為

(6)

其中，設池化窗口尺寸為 (H,1) 或 (1,W)， 輸入為u，u∈RH×W表示輸入為二維張量，H和W分別表示空間的高度與寬度。y為輸出。

通過長且窄的卷積內核建立空間特征關系，擴大跟蹤過程中主干網絡的特征感受野，更有效進行目標和背景的分類。條帶池模塊如圖3所示，首先，輸入二維張量u∈RC×H×W， 通道數為C， 將u分別輸出為具有一維卷積且內核大小為3的水平和垂直兩個方向，用于調節當前每個位置及其相鄰位置信息，得到有效全局先驗信息；經過水平和垂直方向的一維卷積池化后得到yh∈RC×H和yV∈RC×W， 對yh和yV進行合并融合，得到y∈RC×H×W， 然后將y與輸入u進行計算，得到條帶池化操作最終特征輸出MV∈RC×H×W

(7)

m=Scale(u,σ(f(y)))

(8)

其中， (i,j) 表示某像素點，Scale函數為sigmoid激活函數，表示輸入u與σ(f(y)) 逐元素相乘，f表示1×1卷積，分別設置條帶池化窗口的尺寸為16×16和12×12。在整個條帶池模塊中，特征經過每個卷積層后都使用歸一化處理[20](batch normalization，BN)。

圖3 條帶池化模塊操作過程

全卷積孿生網絡SiamFC是通過模板分支的輸入z與搜索模板的輸入x經過共享權重的卷積網絡φ進行特征提取，最終利用相似性學習函數對z和x的特征進行模板匹配得到響應圖f(z,x)， 表示為

f(z,x)=φ(z)*φ(x)+b

(9)

結合本文算法的網絡結構與條帶池模塊分析，融合后的特征n由模板分支輸出特征z1與條帶池模塊輸出特征m相加得到，如下式所示

n=z1+m

(10)

因此，最終的相似性學習函數可以定義為

f((z+m),x)=φ(z1+m)*φ(x)+b→f(n,x)=φ(n)*φ(x)+b

(11)

新引入條帶池化操作后的特征與模板分支的特征加權融合，幫助孿生神經網絡在跟蹤過程中增強目標在特征空間中的位置信息，更好地完善跟蹤性能。

1.4 跟蹤流程

無人機目標跟蹤流程如圖4所示。

圖4 跟蹤流程

(1)加載本文算法MFFSiamFC預訓練網絡模型，判斷當前是否為第一幀圖像。當前輸入視頻圖像是第一幀，截取大小為127×127×3的圖像作為模板分支的輸入；當前輸入視頻圖像不是第一幀，截取大小為255×255×3的圖像作為搜索分支的輸入。

(2)經過判斷之后，模板分支和搜索分支的輸入圖像進入MFFSiamFC網絡，對圖像進行卷積，在此過程中將淺層特征融入到深層卷積層中獲得特征，再利用引入的條帶池模塊輸出特征與模板分支輸出特征進行加權融合，新的模板分支特征與搜索分支特征進行互相關運算，獲取最后的響應特征圖，進而得到目標與背景的分類得分，最終確定目標位置。其中模板分支中的輸出特征在第一幀已經確定，在后續幀中保持不變，后續幀作為搜索分支的輸入進行特征提取進而與模板分支輸出特征進行互相關運算。

(3)進入后續視頻幀圖像，對其進行搜索分支的一系列特征提取操作，與上一幀視頻圖像特征進行相似性匹配，獲取響應最大的特征圖，對目標進行跟蹤。如果模板分支特征圖需要跟新，則重復(1)、(2)步驟。最終判斷視頻圖像是否為最后一幀，是則結束跟蹤。

2 實驗結果分析

2.1 實驗數據

本文算法軟件環境實驗平臺基于Ubuntu 16.04系統，采用pytorch1.4深度學習框架。所有實驗均在CPU為Inter Core i7-9700F 3.00 GHz×8，GPU為GeForce GTX 2060Super 8 G的設備上進行。

MFFSiamFC采用GOT-10K數據集替換ILSVRC 2015-VID訓練網絡模型，本次實驗的訓練集GOT-10K包括超過10 000個視頻，563個類別，對比SiamFC的訓練集ILSVRC 2015-VID，分別用于跟蹤模型的訓練、驗證、測試視頻3862段，555段，937段， 30個基本類別，GOT-10K有著更海量的視頻圖像，類別，使得模型能適應更多的跟蹤場景，提高跟蹤性能。在訓練時，沿用去除全連接層后AlexNet網絡，并只在前兩個卷積層后面加上池化層。初始學習率設為0.001，訓練過程分為50個階段，每個階段訓練5000個樣本對。訓練總時長為14個小時。

本次實驗測試選取無人機低空視頻圖像UAV123[21]數據集來驗證所提出算法的性能，包含123個視頻片段，標注的幀數超過100千幀，包含多種跟蹤對象，如人、船只、鳥、汽車等。涉及到光照變化，低分辨率，復雜背景，遮擋等12種不同場景屬性。該實驗跟蹤性能采用精確度和成功率圖兩種評價指標，精確度指跟蹤視頻中跟蹤成功幀數占總幀數的比例，成功率指目標框與真實標注的目標框的重疊面積大于設定閾值與視頻總幀數的比率。

2.2 算法對比分析

為驗證本文所提出算法的魯棒性和有效性，本節將所提出算法與SiamFCGOT(替換訓練集后的SiamFC)和當前8種具有代表性跟蹤算法進行對比，分別為SiamFC、MUSTER[22]、SAMF、ASLA[23]、DSST、KCF、CSK、IVT。圖5展示了各算法在UAV123數據集上的平均成功率圖5(a)與平均精確度圖5(b)。圖5(a)中橫坐標代表覆蓋閾值，縱坐標代表成功率；圖5(b)中橫坐標代表位置誤差閾值，縱坐標代表精確度。本次實驗將覆蓋閾值設為0.5，精確度閾值設為20像素。

圖5 各算法在UAV123數據集的總對比結果

從圖5和表2可以看出改進模型在成功率和準確率上都高于所有對比算法。改進模型在SiamFC的基礎上替換原有數據集，再融合池化特征后的算法在成功率與精確度上有了較大幅度的提升，分別達到了54.2%和74.6%。相較于更換訓練集的SiamFCGOT、SiamFC，本文算法MFFSiamFC的成功率分別提升了8.40%和12.92%，精確率分別提升了3.46%和7.18%。SiamFCGOT與SiamFC相對比可以看出更換數據集后的算法在成功率與精確度上分別提升了4.2%和3.6%。在跟蹤速度上該算法在測試數據集UAV123上耗費了20 min 52 s共跟蹤了112 578幀圖像，平均每秒幀數達到90幀，而基準算法SiamFC在實驗中測得平均每秒幀數92 幀，可以看出改進后的算法與SiamFC每秒幀數相差不大，滿足實時性要求。MFFSiamFC在大幅度提升精度的同時也保證了運行速度。由此可見所提出的改進策略得到有效的驗證，通過替換訓練集增強網絡對目標種類的識別能力，構造更深層次的語義信息；引入條帶池化操作與增強模板分支特征信息，擴大其特征感受野，幫助孿生網絡結構建立遠程上下文關系和增強特征信息，彌補了因卷積操作后目細節信息的丟失，有效地提升了算法對無人機視覺下目標的跟蹤效果。

表2 平均成功率和平均準確率及相對提高百分比

2.3 多屬性對比分析

因無人機視覺下目標所處場景干擾較多，為了詳細評估MFFSiamFC在UAV123數據集12種場景屬性下的無人機目標跟蹤性能，該實驗選取環境光照變化、目標被短時間完全遮擋以及目標快速移動時等場景數據對比分析，圖6為不同場景下各算法的成功率和精確度。

圖6 部分場景下各算法成功率與精確度

由圖6可知，可以看出本文算法在無人機視覺下多種場景的評價指標都有著很好的數據。在光照變化，完全遮擋和快速移動場景下本文算法比SiamFC算法在成功率上分別提升24.81%、22.89%和22.62%；精確度上提升了14.1%、13.42%、15.45%。而且同樣優于其它主流目標跟蹤算法，因為本文算法基于SiamFC采用數據集GOT-10K替換原訓練集，增強了模型對目標類別的感知能力，適應復雜場景的變化；在模本分支的卷積層中將淺層特征融合到深層卷積層中加強了模型對目標特征細節的提取，對輸出特征進行條帶池化操作，特征圖經過融合加強了空間語義對主干網絡的依賴性，有效區分場景的前景和背景信息。跟蹤模型更加適應環境光照變化影響，提高了模型對低分辨率情況下的目標特征提取能力。因而本文算法在光照變化較大，目標被完全遮擋，圖像低分辨率情況下可以更好完成跟蹤任務。

從消融角度來看，MFFSiamFC同樣優于只替換訓練集后的算法SiamFCGOT和其余具有代表性的目標跟蹤算法。在成功率上分別比SiamFCGOT提高19.61%、13.96%、17.20%；精確率上分別提高8.69%、10.29%、7.26%；說明了分層特征的融合方式與條帶池化模塊的引入有效提高了算法的魯棒性，能夠在干擾因素較多的無人機視覺視頻中表現出很好的跟蹤性能。

由表3可知，針對光照變化，完全遮擋和快速移動場景下本文算法比SiamFC算法在成功率上分別提升24.81%、22.89%和22.62%；由表4可知，在以上場景下精確度上提升了14.1%、13.42%、15.45%；而且MFFSiamFC同樣優于SiamFCGOT和其余具有代表性的目標跟蹤算法。基于SiamFC采用數據集GOT-10K替換原訓練集，增強了模型對目標類別的感知能力，適應復雜場景的變化;在模板分支的卷積網絡后加入條帶池模塊進行多特征融合，加強目標在特征空間的位置信息，有效區分場景的前景和背景信息。所以本文算法在光照變化較大，目標被完全遮擋和目標快速移動的場景下有很好的跟蹤性能。

表3 多屬性場景下消融實驗成功率參數對比

表4 多屬性場景下消融實驗精確度參數對比

2.4 定性對比分析

為了能夠直觀地看出該實驗各算法對視頻幀中的目標跟蹤結果，本小節從UAV123數據集中挑選出5組不同類別的視頻序列中部分圖片來展示本次實驗跟蹤算法的效果圖。圖7分別為boat9_1，person14_3_1，truck4_1_1，uav1_2_1，group3_1_1。圖中黑色預測框代表所改進算法，不同跟蹤算法分別用預測框不同的黑度線框表示。綜合各種場景中跟蹤效果來看，改進算法跟蹤效果更佳，有較強的魯棒性。

圖7 跟蹤算法在UAV123數據集上的跟蹤效果

5段視頻中都受到不同干擾因素的影響，在圖7(a)boat9_1中目標表現出尺度變化，第400幀左右各算法還能對船進行較為準確的跟蹤，但在第900幀左右時KCF、DSST等算法開始發生了漂移，MUSTER和CSK的預測預測框也不是很準確，在1399 幀時只有改進算法和SiamFC還能夠準確跟蹤目標；從圖7(b)person14_3_1和圖7(e)group3_1_1的遮擋以及背景干擾場景下，沒有特征加強的SiamFCGOT無法準確跟蹤目標，而改進模型在此場景中能夠很好地適應場景干擾；圖7(c)truck4_1_1和圖7(d)uav1_2_1中目標快速移動以及光照變化，且分辨率較低。DSST和KCF幾乎無法跟蹤目標，尤其在對特征信息較少的汽車跟蹤時，只有經過淺層特征融合策略和條帶池化操作的改進模型能夠準確追蹤到目標。與此同時，條帶池化中長而窄的內核對圖像前景和背景進行更精準的分離，使得邊界框回歸的更加精準。

3 結束語

為了提高SiamFC在無人機視角下被跟蹤目標快速移動，遮擋及環境的光照變化等場景下的跟蹤能力，本文提出一種多特征融合的無人機目標跟蹤算法MFFSiamFC。將訓練集替換為包含類別更多的GOT-10K數據集，提高網絡對更多目標在復雜場景下的識別能力。在卷積層中將淺層特征輸入到深層卷積層中，使得經過卷積得到的特征圖保留更多的目標細節信息。新加入條帶池模塊，將模板分支提取的特征與條帶池化操作后的特征進行加權融合，改善了原始特征提取的效果，提高了跟蹤器對目標的識別和定位能力。在UAV123數據集進行實驗并分析結果，通過精確度和成功率的評估驗證了本文算法的有效性。但是本文算法在目標高達2000幀以上的視頻幀中，目標過小或低分辨率等場景下，容易發生目標飄移甚至跟蹤丟失，所以下一步的研究方向是加入全局檢測機制和對邊界框的預測。