一種基于多目視覺的無人機實時定位方法

王 辰，鄭順義，朱鋒博，桂 力

(武漢大學遙感信息工程學院，湖北 武漢 430079)

隨著無人機技術和產業的發展，無人機在生活中變得越來越常見，無人機飛行安全成為一個備受關注的話題，飛行精度是無人機質量檢測的重要指標。為配合第三方質檢機構對無人機進行質量檢測，本文提出了一種基于多目視覺的無人機實時定位方法。

基于視覺的目標檢測定位方法可以分為3類：基于單目視覺的目標定位、基于雙目視覺的目標定位和基于多目視覺的目標定位。基于單目視覺的目標定位是一個二維恢復三維的問題，需要一些輔助設備或信息來獲取深度信息，如剛體表面的多個相對位置已知的附加或自身標識[1-2]、目標在某已知面內運動[3-4]、參考數據[5-7]等。基于附加或自身標識的方法在距離較遠時存在標識識別困難的問題，限制目標運動軌跡在某一面內不適用于無人機定位情形，參考數據不能適應不同型號的無人機，且在無人機距離較遠時存在特征丟失、匹配困難的問題。雙目視覺通過模擬人眼立體觀測原理來實現目標定位，在智能交通[8]、機器人抓取引導[9-10]等領域有著廣泛應用，其主要缺點在于觀測視角有限。多目立體視覺原理和雙目立體視覺相同，但相比雙目立體觀測，多相機的使用一方面可以擴大觀測范圍[11-12]，另一方面也可以提供更多的多余觀測，提高定位結果的可靠性。

相比一般的運動目標定位，無人機定位具有范圍大、型號多樣、逆光成像等特點，導致無人機成像暗，紋理、輪廓等信息丟失，人工發光或反光標識難以識別。針對以上問題，本文提出了一種基于多目視覺的無人機定位方法。該方法使用多個標定后的相機對飛行中的無人機進行軟觸發同步圖像采集，使用背景差分、連通域分析、前方交會、重投影等技術實現無人機的自動檢測和定位。最終統計實際定位結果與預先設計的無人機飛行航線間水平和豎直方向偏差、偏差最大值及偏差標準差，以作為無人機飛行質量評價的參考指標。

1 多目視覺無人機自動定位系統設計與實現

1.1 系統設計

為實現較大范圍的區域覆蓋，本文采用了多臺相機和多臺計算機組建局域網的方式。如圖1所示，無人機定位系統由數據采集端(相機)、控制與處理端(計算機)和數據傳輸通道(光纖、網線、路由器等)3部分構成。單臺計算機和若干相機連接構成一個分組，負責目標范圍內一塊區域無人機的定位，包括圖像同步采集、無人機自動檢測與定位等。其中圖像同步采集是指對運動目標進行定位時，為保證定位精度，需要控制多臺相機同時曝光，以保證定位結果精度[13]。這里采用的是計算機向與其相連的多臺相機同時發出觸發指令的方式來實現多相機同步采集圖像。多臺計算機間通過網線和路由器連接，構建一個局域網。

圖1 無人機自動定位系統設計示意圖

構建局域網的目的為完成多計算機間的時間校準和無人機定位結果的匯總。其中多計算機間的時間校準采用如下方式實現：選擇一臺計算機充當服務器端，提供時間基準。其他計算機充當客戶端，向服務器端發出時間查詢請求，并記錄當前客戶端時間t1。服務器端收到時間查詢請求時，將其當前時間t2發送給相應客戶端，客戶端收到t2時，記錄下客戶端當前時間t3，則客戶端和服務器端時間差Δt=t2-(t1+t3)/2。此過程通過局域網TCP通信實現，在采集圖像前進行，為多計算機的定位結果合并提供參考。無人機定位結果的匯總是指客戶端把其無人機定位結果發送到服務器端進行匯總，得到無人機整體的飛行航跡。

1.2 相機標定

相機標定包括內方位元素、畸變參數標定和外方位元素標定。內方位元素和畸變參數通過控制場檢校獲取。外方位元素使用輔助標志點過渡的方法獲取。

圖2 相機外殼輔助測量標識示意圖(2個標志點被遮擋)

(1)

(2)

Rout=RinRt

(3)

(4)

1.3 背景差分檢測無人機

背景差分法是采用圖像序列中的當前幀和背景參考模型作差來檢測運動物體的一種方法，具有檢測運動目標速度快、檢測準確、易于實現的特點，其關鍵是背景圖像的獲取[14]。因采集圖像在無人機起飛前開始，本文采用各相機采集序列影像的第一張影像作為初始背景圖。基于背景像素灰度值時間分布符合高斯函數模型的假設，使用一個全局的高斯函數模型

(5)

來表示某像素由環境變化引起的當前影像與背景之間灰度值差值Idif(t)的概率分布P(Idif(t))，根據差值絕對值大小，使用閾值T1把當前幀分為背景和前景，T2確定背景更新的范圍，即當Idif(t)絕對值小于等于T2時才對背景圖相應的區域進行更新。背景圖使用如下更新函數進行更新

B(t)=B(t-1)+ROUND(Idif(t)w(Idif(t)))

(6)

式中

(7)

式(7)是高斯函數的一個變體，表示權值。使用該函數計算權值的依據是一定時間內，灰度值變化滿足高斯分布，以當前背景灰度值作為高斯分布的均值，當前幀與背景灰度差值越大，其發生的概率越小；α是一個正常數，α和T2的值越大，背景更新越快；ROUND()表示四舍五入取整；B(t)表示t時刻背景灰度取值；Idif(t)表示t時刻對應幀I(t)與背景B(t-1)的灰度差值。

圖3為α=8、T1=10、T2=14時進行運動目標檢測的測試結果。從圖中可以看出，本文使用的背景更新和差分方法可以有效地檢測到無人機。需要注意的是，在使用Idif(t)判斷前背景時，并不對其取絕對值，因為背景是天空，無人機所在的區域會變暗，而非變亮。這樣，即便初始背景(第一幀)有無人機，只要無人機運動后的位置不與初始位置重合就不影響后續的檢測。

圖3 背景差分結果示意圖

1.4 無人機定位與篩選

因無人機在圖像上所成像為面狀，在使用背景差分獲得運動目標二值圖后得到的僅僅是像素級的變化顯著區域，并不具備物理含義。為了找到無人機對應的區域，這里首先使用行掃描的方法[15]對二值圖進行連通域標記，并對鄰近連通域進行合并，然后使用連通域的大小、包圍盒寬高比、包圍盒填充度(連通域大小和其包圍盒面積之比)等參數對連通域進行分析篩選，找到無人機對應的連通域。

由于噪聲、鳥等的干擾，實際在單張影像上得到的無人機候選連通域可能不止一個，在使用不同影像上連通域的中心點進行前方交會獲得無人機三維空間坐標時需要進一步進行篩選。事實上，無人機的自主飛行是按照預先設計好的航線來進行的，此航線信息可以預先獲取，假設無人機在飛行過程中不會偏離航線很遠，那么可以使用定位點坐標距離預設航線的距離作為一個約束條件對交會結果進行篩選。另外，本文還使用了無人機飛行速度(大小和方向夾角)作為一個約束條件。如果使用上述約束仍然得到多個交會結果，則將重投影像點誤差最小的交會點作為無人機三維空間坐標最優結果。

2 試驗驗證與分析

為了測試系統的圖像采集幀率、處理實時性和無人機定位精度，進行了兩個試驗測試。測試1主要驗證圖像采集幀率和處理實時性，使用Basler相機，分辨率為2592×1944像素，鏡頭水平視場角約為60°；測試2用于測試系統的定位精度。

測試1使用3組相機同時進行圖像采集和處理測試，統計結果見表1，所得航跡如圖4所示。

表1 圖像采集與處理效率試驗結果

從表1可以看出，3組相機圖像同步采集幀率在10 fps以上；單組數據處理時間小于0.1 s，達到了實時處理的水平。圖4為3臺計算機處理得到的無人機飛行軌跡，灰色為預設航線，(a)中不同顏色的線表示不同計算機的處理結果，(b)中淺灰色線為合并后的結果，S為無人機起降位置。本次飛行僅沿內側環形預設航線飛行，部分軌跡缺失由線塔遮擋引起。

測試2通過在一組相機公共視野內尋找兩個檢查點，分別使用全站儀和本系統量測檢查點坐標，比較兩種方法量測結果偏差來進行，結果見表2。

表2 系統測量精度驗證結果 m

從表2可以看出，兩個檢查點的全站儀測量結果與本系統測量結果各坐標分量偏差均小于0.5 m，點位距離偏差分別為0.48和0.28 m。用于測試的兩個相機的坐標分別為(191.57,-24.21,-0.01)和(232.09,-24.49,-0.08)，與檢查點的距離約為80 m，由此可以看出，該系統百米定位精度達到了0.5 m。

3 結 語

本文提出了一種基于多目視覺的無人機定位方法，并設計、實現了一套系統以驗證方案的可行性、效率與精度。該系統通過多計算機和多相機聯合組網的分布式設計與并行處理，一方面擴大了無人機觀測范圍，提高了定位結果的可靠性；另一方面也提高了數據的處理效率，達到了實時處理的水平。此外，該系統在圖像采集時的曝光時間確定，以及處理過程中圖像上無人機的檢測和無人機三維空間坐標的解算均自動完成，極大地降低了工作量和對操作人員的要求。

參考文獻：

[1] 解邦福.基于單目視覺的剛體位姿測量系統研究[D].哈爾濱：哈爾濱工業大學，2009.

[2] BENALLAL M，MEUNIER J.Pose Estimation of Polygonal Object in Monocular Vision Using Parametric Equations of Vertices[C]∥IAPR Conference on Machine Vision Applications.[S.l.]：DBLP，2002:342-345.

[3] LIU C，ZHANG Y.3D Trajectory Reconstruction from Monocular Vision Based on Prior Spatial Knowledge[J].IEEE Sensors Journal，2016，16(3):817-822.

[4] JUNG S，JANG D，KIM M.An Approach to 3D Object Localization Based on Monocular Vision[J].Journal of Korea Multimedia Society，2008，11:1658-1667.

[5] XU S，LIU M.Feature Selection and Pose Estimation from Known Planar Objects Using Monocular Vision[C]∥IEEE International Conference on Robotics and Biomimetics.Shenzhen: IEEE，2014:922-927.

[6] DOIGNON C，ABBA G，OSTERTAG E.Recognition and Localization of Solid Objects by a Monocular Vision System for Robotic Tasks[J].Intelligent Robots & Systems Advanced Robotic Systems & the Real World Ir，1994(3):2007-2014.

[7] HOERMANN S，BORGES P V K.Robot Localization Using 3D-models and an Off-board Monocular Camera[C]∥IEEE International Conference on Computer Vision Workshops.Barcelona：IEEE，2011:1006-1013.

[8] LIU W，WANG Z，NING X，et al.An Object Recognition and Location Based on Binocular Stereo Vision[C]∥International Forum on Computer Science-Technology and Applications.Chongqing：IEEE Computer Society，2009:97-99.

[9] HUANG G，CHENG C.3D Coordinate Identification of Object Using Binocular Vision System for Mobile Robot[C]∥Automatic Control Conference.Nantou：IEEE，2014:91-96.

[10] 羅陸鋒，鄒湘軍，葉敏,等.基于雙目立體視覺的葡萄采摘防碰空間包圍體求解與定位[J].農業工程學報，2016，32(8):41-47.

[11] 王磊，胡超，吳捷,等.基于多相機的人臉姿態識別[J].計算機應用，2010，30(12):3307-3310.

[12] 陳磊，高升，袁寶峰,等.基于多相機的空間機械臂視覺系統[J].航天返回與遙感，2014，35(3):35-42.

[13] 馮文灝.近景攝影測量[M].武漢：武漢大學出版社，2002.

[14] 萬纓，韓毅，盧漢清.運動目標檢測算法的探討[J].計算機仿真，2006，23(10):221-226.

[15] 馬吉甫，高雪峰.基于掃描線的連通域搜索算法[J].福建電腦,2006(12):121.