基于二階SiamRPN多重交并比回歸的無人機視覺導航

朱良彬，陳 宇

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

無人機具有飛行自主、靈活性高、功能擴展性強和造價低廉等優點，在國防、農業、測繪等行業中具有廣泛的應用前景[1]。準確的導航以及精準的定位是無人機實現眾多功能的基礎。目前無人機定位導航技術主要依賴全球導航衛星系統(Global Navigation Satellite System, GNSS)，但是GNSS信號不穩定，容易受到電磁環境與干擾技術的影響，自主性差。因此，探索GNSS失效環境下的無人機自主導航技術，對無人機的安全使用具有重要意義[2-3]。

隨著視覺傳感器、深度學習的發展，基于景象匹配的無人機視覺導航技術引起了廣泛關注。視覺導航技術通過無人機實時采集目標區域的航拍圖像，與預存儲的基準衛星圖像進行匹配，以獲取當前的具體位置[4]。視覺導航能同時兼顧準確性和自主性，可以作為獨立導航系統，也可以擴展其他導航技術進行聯合導航[5]。基于卷積神經網絡(Convolutional Neural Network, CNN)的計算機視覺方法已經在目標檢測、圖像檢索等任務中表現出了優異的性能，被作為通用的特征提取器廣泛應用于視覺導航定位中。袁浩等[6]使用長短時記憶網絡和深度強化學習進行了目標驅動的視覺導航，取得了良好的識別效果和收斂速度。Bertinetto等[7]首次使用全卷積孿生網絡(Fully-Convolutional Siamese Network)，通過權值共享的方式將網絡分為搜索支和模板支，然后進行特征圖的相關操作，匹配出響應最大的區域確定位置信息。孿生網絡(Siamese Network)結構簡單，可以進行端到端的訓練，兼具了匹配精度與速度，因此出現了一系列基于孿生網絡的改進算法，例如DSiam，SA-Siam等均取得了良好的效果[8]。Li等[9]在孿生網絡的基礎上，引入區域建議網絡(Region Proposal Network, RPN)構建了SiamRPN，在一個階段內實現了端到端的目標跟蹤，同時提升了網絡的匹配精度與速度。但無人機由于高度高、視野大，而目標物體占有的像素少(通常數量級為102)，因此圖幅中包含的相似干擾物較多，從背景中區分出目標的難度較大。另外無人機在行進中，實時圖像容易產生運動模糊、尺度變化和幾何形變等問題，進一步增加了圖像中目標識別與定位的困難。

針對以上問題，本文提出了基于二階SiamRPN多重交并比(Multiple Intersection over Union，MIoU)回歸網絡的無人機視覺導航算法。通過在孿生框架的CNN提取層引入歸一化協方差增加二階信息，增強特征對邊緣的表征能力，提高孿生網絡對特征的提取效果。使用區域建議模塊對匹配位置進行分類和錨定，并在網絡優化過程中提出MIoU損失函數，在一個階段內實現精確的端到端的特征提取與匹配過程，并在旋翼型無人機搭建平臺進行框架驗證。

1 相關工作與原理

1.1 深度孿生框架

孿生網絡將目標匹配的問題視為相似性學習，由2個分支組成，一個模板支用于提取參考圖像T的特征信息，另一個搜索支用于提取當前圖像I的特征信息，最終學習到一個相似性度量函數S(T,I)，原理性框架如圖1所示。相似性函數返回模板T與輸入I對應位置的相似度，并標記相似度最高的部分為匹配目標。經典的SiamFC與其深度改進算法，2個特征提取分支均為權值共享的CNN，通常為AlexNet，ResNet和DenseNet等。然后使用2支特征進行互相關聯運算得到相似性得分：

S(T,I)=f(T)?f(I)+bl，

(1)

式中，S(T,I)為模板圖像T與輸入圖像I的相似性得分；f(·)表示經過CNN提取到的深度特征；表示相關操作；bl表示當前位置像素的取值。

1.2 區域建議網絡

RPN首次在Faster-RCNN網絡中提出，在特征圖中以錨點(Anchor point)為中心，生成不同尺度的9個錨框(Anchor boxes)并進行前景-背景判斷，最終通過邊框回歸輸出目標物體的位置和物體參考分數[10]。多個錨框在深度特征圖上以滑動的方式進行枚舉，對一個特征圖同時進行多個區域的建議，并將結果輸入到框回歸層與分類層?？蚧貧w層通過計算生成框與樣本真實框之間的位移獲得精確的物體位置坐標，而分類層通過計算錨框和樣本真實框之間的交并比(Intersection over Union，IoU)進行前景-背景判斷。RPN避免了傳統的“選擇性”搜索，對不同尺度的目標都有快速且良好的性能和效果。

2 基于二階SiamRPN多重交并比回歸網絡的視覺特征點提取

基于視覺的導航技術是將無人機拍攝的實時圖像與預存儲的衛星圖像進行對比，匹配出相似度最高的目標并標記目標的坐標位置。SiamRPN通過在孿生網絡后接入RPN模塊，能夠在一個階段內完成特征的提取與匹配。但文獻[9]中SiamRPN的特征提取主干使用Alexnet，是傳統的層數較淺的一階網絡，對圖像的特征提取不夠充分。而在RPN模塊中，使用smooth-l1損失函數約束邊框中心、長、寬、高，不具備處理非重疊邊框問題的能力，容易產生錯位與梯度消失。因此，SiamRPN對大視角內中、小尺度的目標特征提取能力有限。

本文提出基于二階SiamRPN的MIoU回歸算法，通過使用ResNet50[11]替代AlexNet增加網絡深度，同時在ResNet50中引入歸一化協方差增加特征的二階信息，充分利用不同分辨率和不同階特征對目標邊緣的提升[12]。算法的優化過程中提出MIoU，增加了對邊框尺度和邊框中心點之間的約束項目，增強了算法在實時圖像非理想狀態下的魯棒性。

2.1 整體框架

圖2展示了本文提出的基于二階SiamRPN MIoU回歸網絡的框架，由孿生網絡和RPN兩部分組成。

圖2 二階SiamRPN MIoU回歸網絡框架結構Fig.2 Second-order SiamRPN MIoU regression network framework

孿生網絡由2個權值和結構完全相同的ResNet50構成模板支和搜索支，同時在最后一組殘差模塊嵌入基于歸一化協方差的二階信息，與一階殘差特征相加構成多階特征信息用于識別與檢測。搜索支的輸入為255×255×3并包含待匹配的目標物，模板支為127×127×3。2個分支同時對圖像的特征進行提取，隨后深層特征經過卷積相關后分別進入RPN網絡，然后進行相關操作進行類別與位置的預測：

(2)

(3)

式中，Cor表示相關操作后得到的特征，維度分別為w×h×2k和w×h×4k；Tcls和Treg是模板支輸入RPN的特征；fcls與freg為搜索支的輸入RPN的特征；表示卷積操作。在RPN模塊定義了新的MIoU回歸邊框調節方法，從2個邊框非重疊面積與邊框中心點2個角度進行聯合約束，使預測框與樣本真實框靠近。

2.2 基于歸一化協方差的二階特征

將CNN主干網絡替換為ResNet網絡，一定程度上增加了網絡深度，提高了特征的語義表示，但其本質上仍為一階特征。對于小目標邊緣的描述，需要二階特征的輔助。在殘差模塊中添加基于歸一化協方差的二階信息，將其設計為嵌入網絡的模塊化層次，如圖3所示。本小節主要介紹歸一化協方差的二階信息的生成方法。

圖3 二階殘差信息生成模塊Fig.3 Second-order residual information generation module

將圖像輸入孿生框架后，經過ResNet50提取后獲得一組一階特征fi∈h×w×c，將其轉置外積計算后獲得了通道間交互的二階協方差矩陣C：

(4)

式中，fi為提取的一階特征；I是單位矩陣；ε為一個小正數。但此時得到的協方差矩陣是高維度的小樣本，屬于黎曼流型結構，模型不能對其進行直接的魯棒估計。因此對C進行基于特征值分解的歸一化處理，如圖4所示。

圖4 歸一化協方差Fig.4 Normalized covariance

因為協方差矩陣C是對稱正定的，因此可以進行奇異值分解：

C=UΛUT，

(5)

式中，C為對稱正定的二階矩；Λ=(λ1λ2…λi)是由特征值λi構成的對角矩陣；U=[u1u2…ui]是其對應的特征向量ui組成的n維方陣。由式(5)可知，對于協方差C矩陣冪歸一化處理可以表示為特征值的冪運算：

Cα=UΛαUT。

(6)

當α=0.5時，即為矩陣的平方根規范化。由于GPU對矩陣分解的計算速度很慢，為了滿足導航實時高的需求，使用迭代計算矩陣的平方根[13]。設有矩陣Z，令C=Z2，則：

F(Z)=Z2-C=0。

(7)

使用Denman-Beavers公式對式(7)迭代求解[14]：

(8)

(9)

式中，給定迭代初始值Y0=C，Z0是單位陣I。則Yk和Zk分別全局收斂于C1/2與C-1/2。

歸一化協方差二階結構作為殘差塊中的嵌入層，是分段可微的，能夠通過反向傳播和矩陣計算進行端到端的訓練。損失函數L對C的偏導數由鏈式法則可知，能夠表示為：

(10)

式中，L為損失函數；C為二階特征矩陣；Λ為由特征值構成的對角矩陣；U為由特征向量組成的n維方陣；K為交錯矩陣，表示如下：

(11)

式中，kij表示矩陣元素λi對應的特征值，由此可得：

(12)

(13)

(14)

2.3 基于MIoU損失函數的區域建議模塊

以SiamRPN結構為框架的算法其損失函數L可以分為2部分，一部分為使用交叉熵損失表示的分類損失Lcls，用于優化目標分類的過程：

Lcls(yi,pi)=-(yi·ln(pi)+(1-yi)·(1-pi))，

(15)

式中，Lcls為損失函數值；yi為樣本標簽值；pi為該樣本對應的概率。由于一個目標僅為一個類別，則式(15)可以簡化為：

(16)

(17)

LIoU=-pln(IoU)-(1-p)ln(1-IoU)，

(18)

式中，IoU為交并比比值；LIoU為對應的損失函數；S1為預測錨框；S2為樣本真實框；p為其對應的概率。IoU表示2個邊框的重疊關系，顯然取值為[0,1]。但這種方式沒有考慮邊框不重疊的情況。使用MIoU對預測框的回歸進行多重優化，設計更完整的損失函數，其中包含廣義交并比(GIoU)與距離交并比(DIoU)。

GIoU主要關注2框的非重疊部分，其目標是從最小化非重疊面積的角度出發使得2個框無限接近，如圖5(b)所示[17]。

圖5 不同IoU示意Fig.5 Comparison of different IoU

GIoU首先找到能夠完全包裹S1，S2的最小邊框，再計算不包括2框占據的區域，即：

(19)

(20)

式中，GIoU為廣義交并比比值；S1為預測錨框；S2為樣本真實框；S3為完全包裹S1，S2的最小邊框。當預測框S1和樣本真實框S2沒有發生重疊(即IoU=0)，此時GIoU≠0，確保了損失函數的梯度可以反向傳播。但當S1包含S2時，GIoU退化為IoU，無法進行準確的回歸計算。因此引入DIoU，可視化如圖5(c)所示[18]。DIoU在回歸中加入對S1，S2中心距離的約束，更好地表征重疊信息，計算過程如下：

(21)

(22)

式中，DIoU為距離交并比比值；IoU為交并比值；d(S1,S2)為2個框中心點的距離；R為包含2個框的最小矩形的對角線。不同IoU之間的示意如圖2紫色框中所示。因此基于MIoU的回歸損失函數Lreg為GIoU的DIoU的組合：

(23)

式中，Lreg為回歸分支的損失函數；α與β為超參數。則整體框架的損失函數Loss可以表示為:

Loss=Lcls+Lreg，

(24)

即：

(25)

3 實驗結果及分析

3.1 實驗設置與實驗環境

本實驗選用旋翼型無人機為實驗載機，數據集為無人機采集的3 960張地形匹配圖，經過平移、縮放、模糊和翻轉等數據增強處理擴充為10 000張，地形涵蓋山地、森林、河流、湖泊、海岸線、城市十字路口、操場、工廠樓房、獨棟樓房、小區樓房、高架橋、公園、不帶綠化帶的馬路以及帶綠化帶的馬路等類別。

本文使用PyTorch框架搭建網絡，訓練的epoch為50，batch size為128，采用隨機梯度下降算法進行網絡優化，設置動量因子為0.9，權重衰減為0.000 1，前5個epoch使用Warmup預熱學習率從0.005增加到0.01，之后學習率以指數衰減方式從0.01到0.005。前10個epoch不訓練backbone只訓練模型剩余部分，10個epoch后訓練整個模型。超參數α與β經多次實驗后分別為0.41與0.53。實驗使用的CPU為Intel-Core i7-8700K@3.70 GHz，GPU為NVIDA RTX3090顯卡，顯存為24 GB。

為驗證二階SiamRPN MIoU回歸框架的有效性，使用精確度(Precision)、成功率(Success)和運行速度(FPS)對算法進行定量評價。Precision的像素閾值選擇20，Success采用重疊率作為標準。同時，使用目前匹配定位效果優異的算法SiamFC[7]，SiamRPN[9]，CFNet[19]進行了對比。

3.2 實驗結果

本文提出的二階SiamRPN MIoU回歸算法與其他基準算法的Precision和Success曲線如圖6和圖7所示，均使用曲線下面積作為標準。結果表明，二階SiamRPN MIoU回歸比結構相同的基準SiamRPN的精確度與成功率分別提升了0.023和0.022，運行速度基本持平，遠高于其他結構的算法框架，如表1所示。

圖6 成功率曲線Fig.6 Success curve chart

圖7 精確度曲線Fig.7 Precision curve chart

表1 二階SiamRPN MIoU回歸算法性能比較Tab.1 Performance comparison of second-order SiamRPN MIoU regression network with other methods

為了驗證所提MIoU的有效性，使用二階SiamRPN框架與多種Loss函數的組合，分別為二階SiamRPN+smooth-l1，二階SiamRPN+IoU，二階SiamRPN+GIoU，二階SiamRPN+DIoU以及二階SiamRPN+MIoU。其在自建數據集上的中心誤差值比較如表2所示，本文所提方法顯著好于其他組合。

表2 MIoU與其他損失函數平均中心誤差對比Tab. 2 Comparison of the mean central error of MIoU and other loss functions

圖8展示了本文所提二階SiamRPN MIoU回歸算法和SiamRPN算法對部分樣本的定位結果。其中，第1列為無人機實時航拍采集的圖像，第2列為本文所提算法匹配結果，第3列為SiamRPN算法匹配結果。

(a)本文所提方法與基準SiamRPN均定位正確樣本

(b)本文方法定位正確，但基準SiamRPN定位錯誤樣本圖8 無人機實時定位結果Fig.8 Real-time location results of the UAV

圖8(a)展示了正確匹配并定位的結果，可以看出當圖像中出現比較明顯的特征(例如鮮艷的顏色、特殊的邊緣)，2種方法都有優異的效果。但當檢索圖像中目標比較模糊或與周圍有相似輪廓時，傳統的SiamRPN比較容易發生錯誤定位，而二階SiamRPN MIoU回歸方法依然能正確定位，如圖8(b)所示。算法性能的提升主要在于二階協方差信息的融合，使骨干CNN對目標物體特征的提取更加充分，對模糊邊緣的可分性增強。另外，由于MIoU損失函數納入了多重回歸因素，錨框的定位更加準確。

4 結束語

目前，基于深度學習的視覺導航在GNSS拒止條件下給無人機提供導航定位。但無人機由于高度高、視野大，在行進中有抖動，實時圖像中存在目標物體像素少、運動模糊、尺度變化、幾何形變和部分遮擋等問題，需要特征提取與定位能力強的算法框架。為此本文提出了基于二階SiamRPN MIoU回歸算法，包括雙流孿生特征提取模塊、二階協方差信息生成模塊、多重約束的興趣區域產生模塊。通過Res50主干網絡對模板圖像和搜索圖像的特征進行提取，同時生成二階協方差信息對特征進行描述，提升網絡對模糊邊緣的表征能力；將孿生框架的信息進行交互操作，分別進入分類與定位分支；設計基于GIoU和DIoU雙重約束的MIoU損失函數對RPN的定位回歸進行優化，同時提高了定位精度和成功率。最后搭載旋翼型無人機，自制數據集進行驗證測試，分別與當前先進的多種算法進行了對比，驗證了本文所提算法的有效性。未來的工作將進一步研究提升基于深度學習的視覺導航實時性與輕量化，推動機載導航硬件部署的一體化。