空地協同機器人目標定位方法

黎榮華，汪 雙，張 華

西南科技大學 信息工程學院，四川 綿陽 621010

由無人機與地面無人車組成的空地協同機器人具有視野廣、載荷重等優勢，被廣泛應用于應急救援、環境探測等領域[1]。目標定位是無人機協同飛行、精準降落等自主控制技術的基礎。為了節省空間以在地面機器人上搭載更多傳感器，無人機起降平臺的面積通常極為有限，這就對目標定位的精度和實時性有較高要求。但由于無人機載重量有限，通常選擇搭載重量較輕但性能有限的嵌入式處理器進行實時數據處理。在嵌入式處理器低性能的限制下，兼顧目標定位的精度與實時性，是實現空地協同機器人中無人機自主控制的關鍵和難點。

視覺目標跟蹤技術是無人機與地面無人車之間相對定位的關鍵。視覺目標跟蹤方法主要分為三類：基于生成式模型的目標跟蹤方法、相關濾波類目標跟蹤方法和深度學習類目標跟蹤方法。早期目標跟蹤算法主要基于生成式模型，先建立目標特征模型，再依據目標模型匹配目標，進而實現目標跟蹤。但由于缺乏目標模型更新機制，目標外觀模型變化時，生成式模型算法魯棒性不佳。Wang等[2]提出一種改進Meanshift算法以適應目標尺度變化，但僅使用了顏色特征，導致目標與背景顏色相似時跟蹤效果易受影響。Zhang等[3]提出了一種基于卡爾曼濾波和Camshift多特征融合算法的跟蹤算法，解決了目標被短暫遮擋導致的跟蹤失敗問題，但不能實現長期跟蹤。Palafox等[4]、孫雨婷等[5]提出基于霍夫變換的標記識別方法實現了長期目標跟蹤，但算法幀率較低且跟蹤效果易受環境影響。陳菲雨等[6]在TLD框架下增加檢測自矯正環節，保證了長時間跟蹤的準確度，但由于實時性不夠高，只能通過將圖像無線傳輸回地面PC端進行處理，從而易受無線網絡狀況影響。近年來，隨著相關濾波和深度學習方法被引入目標跟蹤領域，目標跟蹤的性能得到顯著提升。Henriques等[7]提出的核相關濾波（kernelized correlation filters，KCF）算法顯著提升了目標跟蹤方法的實時性，但目標尺度變化、被遮擋或短暫消失導致跟蹤漂移甚至失敗的問題仍未被解決。林淑彬等[8]在相關濾波的基礎上，利用歷史視圖信息，通過像差抑制響應圖變換，解決在相機運動、尺度變化等無人機場景下跟蹤產生漂移的問題，然而在處理完全遮擋方面的性能相對較弱。Huang等[9]提出了一種抑制檢測過程中出現畸變的新方法，在KCF的基礎上，通過對檢測階段生成的響應圖的變化率進行限制，從而提高跟蹤目標的準確性，但仍未解決目標被遮擋或消失導致跟蹤失敗的問題。嚴飛等[10]提出一種基于FPGA的自適應跟蹤算法，具有較高的實時性和跟蹤精度，但跟蹤之前先要獲取第一幀的目標位置，才能將目標模板保存用于后續跟蹤，缺乏自主性。Karakostas等[11]、劉芳等[12]提升了跟蹤算法在目標發生遮擋時的魯棒性，但都存在實時性較差的問題。鐘莎等[13]解決了運動模糊、目標小、目標抖動等問題，但沿用的目標檢測算法的損失函數，對于目標的框選不是特別精確。YOLO（you only look once）系列（YOLO[14]、YOLOv2[15]、YOLOv3[16]、YOLOv4[17]）算法雖然在精度和速度上有了明顯提升，但在機載計算機上實時性仍不高。

在空地協同應用場景下，為了兼顧目標定位的精度和實時性，解決無人機對地面無人車的實時精準定位問題，提出一種新型定位標記及標記檢測方法，將定位標記部署于地面無人車上，通過檢測標記位置和方向，進而實現對地面無人車的識別與定位。該方法根據標記簡單易識別的特點，基于標記顏色和輪廓幾何特征，結合顏色分割和輪廓提取對圖像進行預處理，縮小目標識別范圍，并依據標記幾何性質，快速識別目標，從而保證方法具有較高的實時性。同時，該方法舍棄通用目標跟蹤方法的模型更新機制，犧牲抗遮擋性能和通用性，而避免因模型更新機制引入跟蹤漂移，以此獲取更高的定位精度，從而更適用于空地協同無人機自主控制場景。

1 標記設計與檢測

首先，結合雙邊濾波、顏色分割和輪廓提取等預處理方法，提取圖形中輪廓特征；然后，利用目標檢測算法從提取的輪廓特征中識別目標輪廓，并計算目標在圖像平面中像素坐標和方向；最后，基于針孔相機成像模型，估計目標在無人機機體坐標系下的位置和姿態，流程如圖1所示。

圖1 方法流程圖Fig.1 Flow chart of method

1.1 標記設計

為滿足無人機協同飛行目標定位需要，定位標記應滿足以下要求：（1）標記能夠提供位置和偏航角信息；（2）標記顏色特征明顯，以便和背景信息進行區分；（3）簡單易識別，以保證機載計算機能夠實時性處理。

本文設計的紅色雙圓形定位標記如圖2所示。標記為紅色，易與背景信息進行區分。標記采用易識別的圓形圖案設計，能夠保證實時性處理。將標記中大圓圓心作為標記位置，兩圓圓心連線作為偏航角參考線，可以提供位置和偏航角信息。與現有H型、矩形和三角形標記使用角點特征相比，此標記使用圓形輪廓特征，識別計算量小，在機載計算機上處理能達到更好的實時性。

圖2 定位標記Fig.2 Positioning mark

1.2 標記檢測

1.2.1 預處理

無人機圖像中背景信息通常較為復雜，若直接對圖像進行邊緣檢測，會提取到過多與目標無關的輪廓特征，而對目標輪廓識別產生干擾，且增加識別運算量。利用定位標記顏色特征較為明顯的特點，在Suzuki-Abe輪廓提取算法前引入顏色分割，只對圖像中與標記顏色相同的區域進行輪廓提取，可以減少提取到的輪廓特征數量，進而縮小識別范圍，提高識別成功率和實時性。

相機大多直接輸出RGB圖像，而RGB顏色模型受光照影響較大，不利于顏色分割。考慮到HSV顏色模型受光照影響較小，故先將圖像從RGB顏色模型轉換成HSV顏色模型再進行顏色分割，可以減小光照對顏色分割的影響。改進前后輪廓提取效果如圖3所示。可以看出，引入顏色分割后提取到的輪廓數量明顯減少，有利于減少誤識別和提高實時性。

圖3 輪廓提取效果對比Fig.3 Comparison of contours extraction effect

1.2.2 輪廓識別與定位

Hough變換常被用于圓形輪廓識別，但經過實際測試，在無人機處于傾斜姿態時，圓形標記在圖像中會形變為橢圓形，導致識別出的圓心位置不準確。針對此問題，提出一種圓形輪廓檢測方法，先利用圓的幾何性質識別圓形輪廓，再結合輪廓重心求解法計算圓心。

（1）圓形輪廓識別

由于圓具有周長的平方L2與面積S的比值為4π這一幾何性質，故通過計算輪廓周長平方和面積的比值，就可以判斷其形狀是否為圓，運算量相較于Hough變換更小，從而可以達到更高的實時性。

（2）圓心求解

由于圓形輪廓重心就是圓心，故利用輪廓幾何矩重心求解法得到圓心像素坐標，計算公式如下：

式中，f(x,y)為圖像在像素坐標(x,y)處的灰度值，m10、m01為輪廓一階矩，m00為輪廓零階矩。

兩種方法檢測效果如圖4所示。結果表明，在無人機姿態變化引起標記在圖像中發生形變的情況下，利用幾何矩計算目標重心，可以獲取更高的定位精度。同時，統計兩種方法對一百幀圖像的檢測耗時，得到所提方法每幀圖像平均檢測耗時約為0.5 ms，優于Hough變換的5 ms。

圖4 檢測效果對比Fig.4 Comparison of detection effect

將標記大圓圓心像素坐標作為目標位置，向量P1P2與U軸正向夾角θ′作為目標方向，示意圖如圖5所示。

圖5 標記位置和方向Fig.5 Location and direction of mark

求解大圓圓心像素坐標得到目標位置P1(u,v)，同理可得小圓圓心位置P2(u′,v′)，最后由兩圓圓心幾何關系即可得到目標方向θ′。

1.2.3 位姿估計

位姿估計是根據檢測到像素坐標系下目標的像素坐標P1(u,v)和方向角θ′，估計機體坐標系下目標點三維坐標P(x,y,z)和偏航角θ。假設固定安裝相機時已將相機坐標系與無人機機體坐標系對齊，則近似將相機坐標系作為機體坐標系。根據針孔相機成像模型，相機坐標系下目標三維坐標與像素坐標系下目標像素坐標間關系如下：

式中，K為相機內參矩陣，由相機標定得到，P為相機坐標系下目標三維位置矢量，z為目標深度信息，由雙目相機直接給出。求解此矩陣方程即可得到機體坐標系下目標三維坐標。同時，由成像模型幾何關系可知，目標機體坐標系下偏航角θ與像素坐標系下方向角θ′相等。

2 實驗與分析

為驗證所提方法有效性，搭建了如圖6所示空地協同機器人實驗平臺和動作捕捉系統實驗場地。動作捕捉系統能實時定位場地中物體，定位精度可達到亞毫米級，可近似作為理論真值，用于分析本文方法定位精度。

圖6 實驗平臺和場地Fig.6 Testsite and platform

本文主要從方法魯棒性、實時性、精度和有效性進行驗證，實驗硬件及環境配置如表1所示。

表1 硬件及環境配置Table 1 Hardware and environment configuration

2.1 主觀實驗

為驗證所提方法魯棒性，根據無人機實際飛行特點，在高度變化、姿態變化、光照變化、背景復雜和圖像模糊五種場景下進行目標檢測實驗，目標檢測效果如圖7所示。

圖7 目標檢測效果Fig.7 Target detection effect

實驗結果顯示，所提方法在無人機常見飛行場景下魯棒性較好。

2.2 量化實驗

為準確分析所提方法定位精度，將均方根誤差（root mean square error，RMSE）作為精度評價指標，并選取核相關濾波算法與本文方法進行對比實驗。

式中，x為估計值，x*為對應真值，n為數據量。實驗中無人機保持懸停，高度為1.5 m，控制地面無人車按一定軌跡移動，兩種方法定位數據如圖8所示。由于目標z軸位置由雙目相機直接給出，故只對算法x軸、y軸和偏航角定位數據進行分析。

圖8 定位數據對比Fig.8 Comparison of location data

實驗結果表明，在核相關濾波方法初始化目標時，無人機的輕微晃動會導致難以手動準確框選目標，從而在初始幀引入誤差。而且，核相關濾波方法定位精度會隨時間延長而下降。經過計算，本文方法x軸和y軸位置數據均方根誤差分別是3.9 mm和3.6 mm，優于核相關濾波方法的13.3 mm和14.3 mm。由于核相關濾波方法不能識別目標方向，因此僅將本文方法偏航角數據與真值對比，均方根誤差為1.5°。

為了分析所提方法實時性，將處理每幀圖像的平均耗時tˉ作為衡量方法實時性的指標。

實驗統計了一段時間內兩種方法處理每幀圖像的耗時，隨機選取其中30幀結果如圖9所示。經過計算，本文方法平均耗時約為12 ms，優于核相關濾波方法的56 ms。

圖9 耗時對比Fig.9 Comparison of time comsuming

2.3 自主跟蹤飛行實驗

為進一步驗證在無人機自主跟蹤地面無人車場景下方法的有效性，與無人機控制相結合，基于搭建的空地機器人實驗平臺和動作捕捉系統實驗場地，進行了無人機跟蹤飛行實驗。由于室內實驗場地高度限制，為保證機器人安全，故設置無人機與無人車相對高度1.5 m。利用動作捕捉系統記錄下無人機與無人車的二維平面軌跡，如圖10所示。對比無人機與無人車軌跡可知，無人機能夠穩定跟蹤地面無人車飛行。因此，本文所提相對定位方法能夠有效應用于無人機自主控制中對地面無人車的識別定位。

圖10 平面軌跡對比Fig.10 Comparison of plane trajectory

3 結語

針對空地協同機器人中無人機對地面無人車的實時精準定位問題，提出了一種新型定位標記及標記檢測方法。該方法首先根據標記顏色特征，在輪廓提取前引入顏色分割，排除背景干擾以減少誤識別，并縮小識別范圍以保證較高的實時性；然后，提出一種基于輪廓幾何特征和幾何矩理論的圓形輪廓快速識別定位方法，兼顧了目標定位的精度和實時性。實驗結果表明，所提方法滿足無人機對地面無人車的實時精準定位要求，為實際工程應用提供了有力的理論依據和數據支撐，具備顯著的工程意義。雖然本文方法在定位精度和實時性上有一定的示范效果，但后續還會針對目標發生遮擋導致識別定位失敗問題進行深入研究，以期達到更為魯棒的識別定位效果。