基于視覺的煤礦輸電線巡檢無人機自主降落系統

張傳江 劉險峰 陳幫干 曹金芳 孟祥宇

摘 ?要：面對煤礦中復雜的地形，巡檢無人機很難將降落地標與環境區分開，無法實現定點的精準降落。基于以上問題，提出了一種基于視覺導航的煤礦輸電線無人機自主降落系統。為了區分地標和環境區，將地標設計為一種拓撲模式，為了提高圖像二值化的檢測效率，提出了一種動態閾值方法。根據有效圖像信息計算水平面內的相對距離，用線性插值法求出相對高度。在相應平臺上進行降落實驗，實驗結果表明，提出的自主降落系統性能穩定，可以準確自主降落。

關鍵詞：計算機視覺;圖像二值化;無人機;自主降落

中圖分類號：V279;V249;TP391.41 ? ? ?文獻標識碼：A 文章編號：2096-4706（2020）04-0014-03

Abstract：Facing the complex terrain in the coal mine，it is difficult for UAV to distinguish the landing landmark from the environment and realize the precise landing at a fixed point. Based on the above problems，an autonomous landing system of UAV for coal mine transmission line based on visual navigation is proposed. In order to distinguish the landmark from the environment area，the landmark is designed as a topological mode. In order to improve the detection efficiency of two value image，a dynamic threshold method is proposed. According to the effective image information，the relative distance in the horizontal plane is calculated，and the relative height is calculated by linear interpolation. The landing experiment is carried out on the corresponding platform. The experimental results show that the proposed autonomous landing system has stable performance and can land accurately.

Keywords：computer vision;image binarization;UAV;autonomous landing

0 ?引 ?言

煤礦輸電線路自身老化和人為破壞及復雜未知環境對其的影響，都對電網的安全穩定運行及煤礦的正常開采提出了嚴峻的挑戰[1]。利用無人機對煤礦輸電線路進行巡檢是目前比較常用的手段，在整個煤礦輸電線巡檢無人機自主飛行的過程中，如何保證無人機在煤礦中的復雜惡劣環境下進行對目標的檢測、跟蹤和自主降落是提高無人機應用價值的重要目標[2]。實現這些目標的大多數傳統方法依賴于全球定位系統（GPS）和慣性導航的組合[3]。與傳統方法相比，基于視覺的導航系統具有很強的抗干擾能力，視覺傳感器可以實時捕捉外部環境中的運動信息[4]。因此，利用基于視覺的導航方法實現無人機在復雜環境中定點安全快速降落成為當前研究的熱點。

本文提出了一種基于視覺的煤礦輸電線巡檢無人機自主降落系統。設計了一個由兩個大小不同的等邊三角形組成的拓撲模式，無人機可以很容易地從復雜的周圍環境中識別出來。然后提出了一種動態閾值圖像二值化方法，如果識別成功，將稍微調整閾值，如果在連續幀中沒有檢測到目標，將重新搜索可能的閾值，從而提高檢測效率。為了估計無人機相對于降落平臺的相對位置和方向，利用圖像的有效信息來計算相對水平距離和航向角偏差，采用線性插值法逼近相對高度[5，6]。最后在相應平臺上進行實驗，以評估本文提出的無人機自主降落系統的性能。

1 ?無人機自主降落系統

整個無人機自主降落系統可分為飛行控制器、氣壓高度傳感器、慣性測量單元、全球定位系統、數據處理器和視覺系統幾個部分，如圖1所示。

本文主要針對視覺系統進行研究，其包括圖像采集和圖像處理兩個部分。本文使用帶有Linux操作系統中的樹莓派4B作為圖像處理單元，圖像由廣角175度高清攝像機獲取。

地標的可用性在很大程度上會影響識別的精度，因此專門設計了兩種拓撲結構圖作為無人機降落地標，如圖2所示，其由兩個大小不同的等邊三角形組成，最外面的三角形邊長42 cm，里面三角形邊長為24 cm，兩個三角形厚度都為6 cm，圖案是黑白兩色。

由于三角形具有方向性，所以該圖案可以指示無人機的方向，如圖2所示，右邊圖案還可以通過箭頭進行識別方向，箭頭從三角形的中心開始，指向外圍三角形的頂點。該設計可以為無人機提供與地標相關的偏航信息。當圖像的分辨率不變，且圖像中地標的大小或形狀隨無人機高度的變化而變化時，仍能識別出目標。在實際應用中，可以根據需要修改兩個等邊三角形的邊長和位置的關系。

2 ?基于視覺的降落點識別與定位

該系統利用OpenCV庫，利用機載廣角攝像機采集的圖像信息實現地標檢測[7]。

2.1 ?圖像預處理

攝像機保持垂直向下拍攝，分辨率為640×480。在目標檢測之前對采集到的圖像進行預處理，以減少冗余信息。為了達到這個目的，地標被放置在降落平臺上，相機獲取地標的視頻流。對于每一幀，首先將圖像大小轉換為固定值。然后使用高斯函數對圖像進行平滑和濾波處理。最后，在去除高斯噪聲后，將整個圖像進行黑白二值化[8，9]。

2.2 ?動態閾值

本文針對圖像二值化過程，設計了一種由兩部分組成的動態閾值方法：在每次識別成功后對閾值進行微調，并在連續幀中未檢測到目標時重新搜索可能的閾值。全局閾值的初始值在執行對象檢測之前設置，為目標區域創建感興趣區域（ROI），在該區域中，地標在前一幀中被成功檢測。如果當前幀的局部閾值和全局閾值之間的差值在一定范圍內，則使用局部閾值對下一幀進行二值化。如果目標在多個幀中連續丟失，則在該范圍內以固定步長搜索閾值，如果經過多次迭代搜索仍沒有找到目標，則擴展閾值的搜索范圍并減小搜索步長，如果在遍歷多次迭代后仍未找到正確的閾值，則認為目標已完全丟失。

2.3 ?目標檢測

利用OpenCV庫函數對二值化圖像的所有輪廓進行分層樹結構檢索，根據輪廓數量、輪廓位置、輪廓面積和邊界拐點個數等指標選擇正確的輪廓。本文設計的地標不包含并排的子輪廓，因此可以采用層次識別算法對目標進行檢測。

目標標記由5個純形狀依次嵌套而成，因此檢測到的目標輪廓總數必須小于5個。如果存在并列或重合等位置關系，則排除輪廓集，并判斷下一組，在某些情況下，并非所有輪廓都可以被找到。正確的等高線集應滿足等高線數目和拐點數目的約束。本文根據拐點的數目對五個輪廓進行編碼，分別是4、4、3、3、4。對應于拐點數量的已識別輪廓的數量如表1所示。

采用Douglas-Peucker算法對閉合輪廓曲線進行壓縮，將其分割成若干段，得到拐點。表1中等高線拐點序列編號的內容，如“4433*”，是根據每個等高線的拐點編號排列的。“*”表示在檢測期間忽略最里面的輪廓，因為在某些情況下該輪廓太小，無法準確識別。如果結果與表1中的任何一個條件都不匹配，則判斷圖像區域中沒有地標。對于表1所列的情況，優先確定大多數輪廓。當無人機非常接近地標時，開始搜索最里面的輪廓。目標檢測的整個過程如圖3所示。

2.4 ?相對位置和方位計算

圖像處理中地標檢測后，提取圖像的有效特征點，計算相對位置和方位，實現無人機的自主降落。在這項研究中，采用線性插值的方法來近似求出相對高度和最大側邊長度之間的關系。在實驗之前，收集兩組數據作為已知量。一組要求地標中心與攝像機中心對齊，而另一組要求地標中心和攝像機中心之間一定的偏移。多次執行測量，并且記錄每次無人機的實際高度，以及兩個三角形邊長的最大像素側邊長度。完成位置和方位計算后，將數據送入無人機控制系統，完成跟蹤和降落任務。

3 ?實驗結果

在固定的平臺上測試無人機自主降落算法的性能，降落階段采用視覺導航，負責引導無人機在距降落平臺高度3 m、直徑約6 m的錐形空間降落。降落采用175度廣角攝像機，以30幀/秒的速度拍攝640×480分辨率圖像。圖像處理和目標檢測都是在樹莓派3B上進行的。圖4表示使用本文提出的動態閾值方法獲得的原始圖像和二值圖像。

實驗中，攝像機鏡頭保持垂直向下，無人機保持在平臺上方飛行。無人機從手機接收指令，執行視覺搜索和懸停任務，然后執行降落指令。無人機降落過程中的垂直速度曲線如圖5所示。

4 ?結 ?論

本文設計了一種視覺導航方法來輔助無人機跟蹤目標，實現自主降落。利用設計良好的拓撲模式作為視覺指標，提出了一種在圖像處理中搜索閾值的方法，提高了目標識別的效率。線性插值方法的應用保障了相對高度的精確性。在相應平臺上成功地進行了實驗，顯示了穩定的跟蹤和降落過程，此系統達到了煤礦輸電線路巡檢無人機自主降落的要求。

參考文獻：

[1] 楊婷.電力巡檢四旋翼無人機自主著陸系統研究 [D].成都：電子科技大學，2019.

[2] FAN R，JIAO J，PAN J，et al. Real-Time Dense Stereo Embedded in A UAV for Road Inspection [C]//IEEE Conference on Computer Vision and Pattern Recognition Workshops，2019.

[3] 索文凱，胡文剛，張炎，等.無人機自主降落過程視覺定位方法研究 [J].激光技術，2019，43（5）：101-106.

[4] FAN R.Real-time computer stereo vision for automotive applications [D].Bristol：University of Bristol，2018.

[5] 徐煥太.基于雙目視覺的多旋翼無人機自主降落定位方法研究 [D].哈爾濱：哈爾濱理工大學，2018.

[6] FAN R，AI X，DAHNOUN N.Road Surface 3D Reconstruction Based on Dense Subpixel Disparity Map Estimation [J].IEEE Transactions on Image Processing，2018，27（6）：3025-3035.

[7] 屈小媚，劉韜，談文蓉.基于多無人機協作的多目標無源定位算法 [J].中國科學：信息科學，2019，49（5）：570-584.

[8] 賈配洋，彭曉東，周武根.四旋翼無人機自主移動降落方法研究 [J].計算機科學，2017，44（S2）：520-523.

[9] 董素河.輸電線路智能無人機巡檢的研究及應用 [J].石化技術，2019，26（8）：350-351.

作者簡介：張傳江（1969-），男，漢族，安徽淮北人，淮北礦業機電裝備處處長，高級工程師，本科，研究方向：礦山機電。