一種自主空中加油視覺導航圖像處理方法

吳 玲， 孫永榮， 趙科東

(1.南京航空航天大學導航研究中心， 南京 210016； 2.南京航空航天大學金城學院機電工程與自動化學院， 南京 211156)

自主空中加油技術(autonomous aerial refueling，AAR)能夠有效擴大無人機飛行半徑，延長無人機留空時間，大大提高了無人機的性能，在軍事和民用方面都具有較大的應用潛力。其中，軟管-錐套式加油由于可以同時為多架無人機加油，并且成本低，方式簡單，而應用廣泛[1-3]。針對軟管-錐套式自主空中加油技術，對加油錐套相對位置和姿態的高精度、實時測量，是實現加油對接的關鍵。而基于視覺導航的錐套的檢測與跟蹤是實現相對位姿測量的前提，首先需要準確獲取捕獲圖像中錐套的位置，然后才能進一步確定受油機探頭與錐套的相對位置[4-5]。

視覺導航技術是解決軟管-錐套式空中加油近距相對導航的最有效的方法，越來越受到廣大學者的關注。軟管-錐套式加油技術的視覺系統可分為主動視覺系統和被動視覺系統[6]。主動視覺系統常采用明顯的特征標記，如彩色記號或者LED(light emitting diodes)信標來定位錐套。VisNav(vision-based navigation)是一種常用的主動視覺系統，已在一些AAR研究中得到應用[7]。主動視覺系統中，錐套目標捕獲處理時間短，可靠性高，但該方法需要對加油機的結構進行改變為信標供電。被動視覺系統無需安裝額外的硬件而易于實現。Martinez 等[8]針對自主空中加油任務提出了一種僅依靠錐套自身特征的被動視覺方法。Yin等[9]提出了一種基于錐套口近似圓形和內部黑暗特征的錐套檢測和跟蹤方法，并利用邊緣圖像提取圖像特征。Gao[10]提出了一種基于局部多特征的低秩稀疏分解的錐套檢測算法，并將錐套圖像系列分解為低秩背景和稀疏運動目標。Wang等[11]采用了在錐套上增加紅色環形標記以加強機器視覺的方法來進行錐套的檢測與識別。Qin等[12]針對內部加油口特征，提出了一種粗精兩級檢測結構，利用圖像局部區域的行列掃描方法獲得較高精度的形狀參數。被動視覺導航系統的關鍵在于提高圖像處理的實時性和可靠性[13]。針對目前軟管-錐套式自主空中加油視覺導航仍存在可靠性與實時性等性能不足的問題，提出了一種實用的基于單目視覺的錐套檢測與跟蹤方法，并采用真實的、1∶1尺寸的錐套進行算法驗證，無需安裝專門的硬件(如信標)。通過一個基于微型六旋翼無人機的高保真試驗平臺，對所提出的圖像處理方法進行實時性及可靠性的評估。

1 視覺導航圖像處理策略

在軟管-錐套式空中加油中，將攝像頭安裝在受油機上，然后對攝像頭捕獲的圖像進行分析處理，需要快速、可靠、準確地提取錐套特征從而確定錐套相對于受油機的三維位置是AAR視覺導航的主要任務。采用狀態機進行圖像處理操作，設計的狀態機具有初始狀態、捕獲狀態、鎖定狀態和退出狀態四種情況。如圖1所示。狀態機從初始狀態開始，其中計數器C被初始化為0。當在當前幀圖像中不能檢測到目標時，將計數器C增加1，當計數器達到最大設定值Cmax時，進入退出狀態，停止任務。一旦檢測到目標，將從初始狀態轉移到捕獲狀態，然后采取錐套跟蹤方法，在跟蹤過程中如果捕獲目標失敗將重新回到初始狀態進行目標檢測。如果檢測成功并跟蹤到目標，則轉移到鎖定狀態，最后輸出圖像定位結果，并求解基于視覺的相對位置，否則再重新回到初始狀態，等待新一幀圖像進行檢測。

1.1 錐套檢測方法

圖2為加油錐套的基本結構，當受油機位于加油機近后方或者近距對接時，捕獲的錐套圖像中加油口內部成像為近似圓形的黑色塊，這將是錐套檢測和跟蹤的主要特征。提出的錐套檢測方法由5個步驟組成，圖3為錐套檢測流程圖。首先，通過對原始圖像進行閾值分割得到二值圖像，然后應用數學形態學方法進行濾波處理，消除圖像干擾，尤其是錐套傘骨架干擾，其次利用輪廓提取方法得到所有的輪廓，并通過距離條件、面積條件、圓度條件和橢圓擬合條件進行判斷，最后選擇圓度最大的輪廓作為目標候選值進行目標檢測。

圖2 加油錐套基本結構

圖3 錐套檢測流程圖

1.1.1 閾值分割處理

對圖像進行閾值分割可以將圖像分割為多個區域，每個區域在顏色和亮度上具有較高的均勻性。由于捕獲的錐套圖像內加油口為近似圓形的黑色塊，因此內加油口像素點的灰度值較低，采用反閾值提取方法可以較容易地將其提取為前景區域。

讀取錐套灰度圖像S0，通過式(1)轉換進行閾值分割為二值圖像I0。

(1)

式(1)中：tb為二值化灰度閾值；(x,y)為對應的像素點坐標；S0(x,y)和I0(x,y)分別為相應圖像在(x,y)處的像素值。

1.1.2 形態學濾波處理

在閾值分割后進行數學形態學濾波，可消除傘骨線和后方加油軟管帶來的干擾。在數學形態學中，將二值圖像看成一個二維點集，利用設計的結構元素和形態學算子對集合中的像素值進行變換[14]。假設僅考慮白色像素點，選擇圓形結構元素Rd與二值化圖像I0進行開運算，即

I1=I0°Rd=(I0?Rd)⊕Rd

(2)

式(2)中：I1為經過形態學濾波的圖像；°為開運算符；?為腐蝕運算符；⊕為膨脹運算符。

1.1.3 輪廓提取處理

經過形態學濾波處理后，可將二值圖像中的目標區域(內加油口)與其他區域分離，然后采用等高線提取方法對各分割區域進行邊緣提取。輪廓提取主要包括兩步：①鏤空區域內的點，僅保留邊界點；②根據連通性規則跟蹤所有連通區域的輪廓線。

對圖像I1進行輪廓提取，可得到所有連通區域的輪廓點集P，定義為

P={Pi|i=1,2,…,N},Pi={(xim,yim)|m=1,2,…,ni}

(3)

式(3)中：N為連通區域個數；Pi為第i個連通區域的輪廓點集；ni為輪廓點個數；(xim,yim)為第m個輪廓點。

1.1.4 目標輪廓判斷

輪廓提取后需要對目標區域輪廓進行判斷。這里采用范圍條件、面積條件、圓度條件和橢圓擬合條件來逐步搜索目標輪廓。

對于每一個輪廓點集Pi，進行上述4個條件的判斷，符合條件的輪廓集記為Psc={Pj|j=l1,l2,…,lq}，其中l1，l2,…,lq表示輪廓候選值序號。

自主空中加油視覺系統中，只有受油機靠近錐套時才能正常工作，此時圖像中的內加油口看起來應該足夠大。因此目標輪廓必須滿足約束條件為

xd>trx,yd>try,xd>trsyd,yd>trsxd

(4)

式(4)中：trx,try分別為x軸和y軸的閾值范圍；trs為閾值比；(xd,yd)為輪廓點集Pi中的像素坐標范圍，即xd=max{xim}-min{xim}，yd=max{yim}-min{yim}。

根據成像原理，圓在圖像中會成像為一個橢圓圖形。因此一旦輪廓線滿足上述3個條件后，將采用最小二乘橢圓擬合方法對輪廓數據點進行擬合[15]。橢圓擬合函數表示為

f(x,y)=x2+e1xy+e2y2+e3x+e4y+e5=0

(5)

(6)

式(6)中：(exm,eym)為橢圓點(xim,yim)的歸一化坐標，其計算公式為

(7)

1.1.5 目標確定

經目標輪廓判斷后，如果最終目標輪廓候選個數為0，則在當前圖像中找不到目標。如果等于1，則確定輪廓橢圓。如果大于1，則選擇圓度最大的候選輪廓作為目標輪廓，并將其橢圓擬合結果作為目標特征定位結果。定義對數圓度為

(8)

式(8)中：ai,bi分別為候選輪廓Pi經橢圓擬合結果的長半軸和短半軸。

1.2 錐套跟蹤方法

空中加油過程中，加受油機需保持穩定的飛行狀態，假設視頻圖片幀流中錐套圖像變化緩慢，且錐套在當前圖像中的位置與最后一幀圖像中的位置非常接近。因此，可利用最后一幀圖像中錐套的位置作為先驗信息來減少圖像處理時間，并保證當前幀圖像的可靠性。

錐套跟蹤基于最后一幀圖像定位的結果進行。如圖4所示，(a,b,θ,xp,yp)表示最后一幀內加油口的橢圓形狀參數，然后在當前幀圖像中選取最后一個檢測區域周圍較大的區域ABCD，并通過1.1節所述的錐套檢測方法在ABCD區域中搜索并解算錐套的位置。所選的矩形區域ABCD大小計算公式為

圖4 橢圓參數及跟蹤矩陣提取示意圖

(9)

式(9)中：ex、ey為擴展區域尺寸；rext為擴大系數。

2 實驗結果及分析

通過自主空中加油試驗臺進行了算法驗證。如圖5所示，試驗臺由加油機、受油機和地面站組成。其中加油機由一個二維移動平臺模擬，并將加油錐套安裝在上面。為了達到高保真度試驗，所使用的錐套是與實際應用中相同尺寸和顏色的1∶1錐套模型。受油機采用六旋翼飛行器模擬，并在其安裝攝像頭來模擬視覺系統，地面站對系統運行進行監控，以保證實驗在可控、安全的條件下進行。所使用的相機為羅技C270，該相機能夠捕捉30 Hz的圖像，分辨率為1 280×720。為了減小圖像處理時間，進行圖像處理的分辨率設為640×480，捕捉速度為25 fps。所提出的圖像處理方法在C++中開發完成，并使用OpenCV庫管理圖像數據。實驗中采集了四段視頻進行本文算法的性能驗證，每段視頻包含800幀錐套不同運動的圖像，并將本文方法與文獻[9]方法進行比較。

圖5 自主空中加油試驗臺

2.1 錐套檢測方法可靠性測試

利用所提出圖像處理方法對所采集的所有圖像進行檢測，其中視頻#1有4幀(第545～548幀)沒有找到目標，視頻#4有2幀(第61幀和77幀)沒有找到目標，視頻#2和#3中的所有幀圖像均準確檢測到目標，并利用肉眼觀察可判斷錐套檢測結果正確。圖6為部分幀圖片的錐套檢測結果。

圖6 部分幀圖片的錐套檢測結果

表1列出了兩種方法對所有3 200張圖像進行錐套檢測的成功率對比結果。其中，文獻[9]方法成功率為97.38%，本文方法成功率為99.81%。

表1 兩種方法下錐套檢測成功率

2.2 錐套檢測方法時間測試

對所有圖像進行錐套檢測計算時間進行統計，如圖7所示。可見，本文方法的所有幀圖像在30 ms內檢測完成，采用文獻[9]方法所用的平均計算時間為54.21 ms，與文獻[9]方法進行比較統計結果如表2所示。可見，本文方法計算時間更短。

表2 兩種方法下錐套檢測時間比較

圖7 錐套檢測計算時間統計

2.3 錐套跟蹤方法實時性測試

由于錐套檢測時間較長，采用錐套跟蹤方法可以減少圖像處理的計算時間。將所提出的錐套檢測和跟蹤方法相結合，可實現無人機自主空中加油視覺系統圖像處理的高可靠性和實時性。對前述4

個視頻采用錐套跟蹤算法處理，計算時間如圖8所示。可見，所有幀的跟蹤時間均小于5 ms，可顯著提高圖像處理實時性。與文獻[9]方法進行比較統計結果如表3所示。

圖8 錐套檢測與跟蹤計算時間統計

表3 兩種方法下跟蹤時間比較

3 結論

基于視覺的相對導航技術是自主空中加油近距導航的關鍵技術，其中加油錐套的檢測與跟蹤是實現高精度視覺導航的前提。針對自主空中加油系統，提出了一種錐套檢測和跟蹤方法相結合的視覺導航圖像處理策略，并在一個高保真自主空中加油試驗臺上進行了試驗驗證。得出如下結論。

(1)所提出的錐套檢測方法，具有較高的可靠性，檢測成功率可達99.8%；平均計算時間為26.89 ms。

(2)采用錐套跟蹤算法，有利于提高錐套識別實時性，減小錐套圖像處理時間，平均計算時間為1.0 ms。