基于深度學習的無人機自主避障方法研究

賈俊良， 孫 哲

（北京電子科技職業學院機電工程學院， 北京 100176）

0 引言

隨著科技的不斷進步，無人機技術得到了快速發展，因其具有體積小巧、飛行靈活、機動性強的特點，在航拍航測[1]、施藥植保[2]、交通巡查[3]、地質勘探[4]和災害救援[5]等領域被廣泛應用。 用無人機代替傳統人工巡航飛行具有成本低、效率高的優勢，但由于飛行中存在諸多不可預知的障礙，如人、樹木、電線和建筑等等，在飛行中如不能及時識別與躲避障礙，則會造成飛行任務失敗，甚至出現無人機損壞和人員傷害等危險情況的發生[6-8]。因此，無人機自主避障技術[9]成了無人機領域研究的熱點問題。

近年來，人工智能在圖像識別方面的快速發展，使機器對周圍環境的感知與判斷變得更加快速與精準， 尤其是深度學習在物體識別方面的技術進步， 突破了傳統圖像處理算法在特征提取上的技術瓶頸問題[10-12]。 深度學習技術已廣泛應用在人臉識別[13]、人體動作檢測[14]、物體檢測[15]和圖像語義分割[16]等方面。 深度學習采用數據驅動方式進行特征提取，通過對大量圖像目標樣本的學習，獲取數據集特定的特征表示， 其對數據集的表達更加高效和準確， 是實現無人機在復雜環境下對障礙物進行快速精準識別的重要技術手段。 在物體定位方面，隨著飛行時間深度感知技術[17]的不斷成熟，在不同距離的測量精度上相較于傳統三角定位法有了大幅提升，成為了3D 視覺定位領域中極具發展前景的技術方法。

為此， 本項目擬采用深度學習目標檢測技術與飛行時間深度感知技術相結合的方法， 探索無人機自主飛行的智能化、自動化解決方案，提升無人機自主避障能力，為推動無人機自主飛行技術及相關研究提供技術支持。

1 國內外研究現狀分析及存在問題

國內外目前環境感知方法主要包括聲學傳感、 激光傳感、紅外傳感、機器視覺和毫米波雷達，或者這些方法組合而成的復合方法[18]。 Roberts 等[19]將多個超聲波傳感器安裝在無人底部與側面， 分別獲取無人機飛行高度信息和無人機與墻面距離信息，通過對數據的分析與處理，完成對周圍環境的評估與感知， 實現了無人機室內環境下的避障飛行，但受限于超聲波傳感器的探測精度，無法適應室外復雜環境的避障需求；李海林等[20]采用激光列陣傳感器對植保無人機周邊環境進行實時檢測， 建立了基于機器學習的樹木與電線桿兩個類別的分類器， 在戶外環境下對障礙物檢測和識別效果進行了驗證， 結果表明對兩種障礙物識別的平均準確率為97%， 實現了植保無人機田間自主避障飛行，但整體價格高昂，且易受環境天氣影響；楊福增等[21]研究了基于機器視覺的障礙物定位方法，該方法通過安裝兩個攝像頭實現雙目立體視覺，在進行視覺標定后可獲取無人機與障礙物之間的距離，識別準確率為96%，平均耗時小于100ms，戶外試驗取得了較好的避障效果。但該方法受光照變化影響較大，且有效識別距離小于2m，因此僅能執行低速飛行任務的避障工作。 孫學超等[22]研究了一種基于毫米波雷達的茶園環境感知方法，該方法將毫米波雷達安裝在無人機下方，實現了地面仿形功能， 在飛行過程中能夠在起伏地形上保證無人機與地面恒定高度，但整體體積與耗能過大，導致應用場合較窄。

由上述可知， 單一類型傳感器對障礙物進行檢測具有各自優缺點，不能完全滿足復雜環境的自主避障需求，而基于多傳感器融合技術的環境感知方法， 將充分發揮不同傳感器的長處并彌補不足[23-24]。 Fasano 等[25]將一個波段雷達、 兩個彩色相機和兩個紅外相機組成一套環境感知系統（DS&A 系統）。 波段脈沖雷達作為主要傳感器，四光電相機（兩個接收可見光波段，兩個接收紅外波段）作為輔助傳感器。通過設計一個邏輯硬件體系結構，將各傳感器獲取的數據進行融合， 最終實現了復雜環境下障礙物的識別與跟蹤。

Yang 等[26]為實現無人機的精準避障，將彩色相機和紅外傳感器相結合， 提出了一種基于中間感知的避障軌跡預測方法。 該方法主要包括三個步驟， 第一步是以NYU v2 RGB-D 數據集為基礎，將飛行軌跡分為直行、左轉、右轉、左前、右前5 個類別，即將軌跡預測問題轉換為深度學習的分類問題；第二步進行中間感知，通過深層神經網絡預測彩色圖像對應的深度圖和表面法向量 （障礙物與無人機之間的幾何特征）；最后一步是將步驟二中生成的深度圖和表面法向量輸入到一個分類卷積網絡中，得到最終的飛行軌跡。實驗表明，該方法較單獨對彩色圖像進行軌跡預測的精度高出20%。

綜上所述， 多種類型傳感器復合使用的方式能夠提升無人機環境感知和避障防撞能力， 國內外都在開展基于多傳感器融合技術的無人機避障方法研究， 但如何實現無人機精準避障并最終實現自主飛行， 仍是一大技術難題。 本研究緊緊圍繞復雜環境下無人機環境感知技術展開探索研究， 將深度學習目標檢測方法引入到障礙物識別中，賦予無人機更高層次的感知能力，通過彩色信息與深度信息相結合的方式，提升障礙物定位信息精度，并依據障礙物類別制定無人機飛行策略， 為無人機實現智能自主避障提供更為豐富的決策依據。

2 障礙物圖像采集與數據集建立

本研究以多旋翼無人機為研究對象， 采集飛行中典型障礙物（人、樹木、電線和建筑）照片。 通過在無人機上搭載攝像頭的方式，采集不同高度、角度的障礙物圖像。無人機飛行路徑中障礙物的類別與屬性不同， 且環境具有不確定性，為提高深度學習模型泛化能力和魯棒性，降低光照變化、 物體遮擋和陰雨霧霾等天氣對障礙物檢測的影響，分多批次在變化光照強度、物體遮擋、陰雨霧霾天氣等環境下采集障礙物照片。

在此基礎上，采用空間濾波的方式對數據進行增廣，保證獲取新數據樣本的同時， 保留原始圖像的主要特征和信息。 將采集的原始圖像和數據增廣獲取的圖像進行隨機混合，建立無人機飛行障礙物數據集，并對不同障礙物照片進行人工標注。 部分樣本示例，見圖1。

圖1 樣本多樣性示例Fig.1 Examples of sample diversity

3 障礙物識別模型建立

采用深度學習目標檢測算法， 對深層神經網絡進行訓練與優化，建立障礙物識別與分類的視覺模型，見圖2，將帶有標簽的圖像輸入到模型中，通過對模型的訓練，完成不同障礙物的特征識別和信息提取， 并通過對網絡結構及參數的優化，提升障礙物的識別精度。 在此基礎上，使用遷移學習的方式， 將MS-COCO 數據集的訓練權重對本網絡模型進行初始化， 提升模型的收斂速度與識別性能。 最后，在無人機飛行的真實環境中進行對比試驗，選取最佳檢測模型， 實現基于機器視覺的多種障礙物精準識別。

圖2 Faster R-CNN 模型結構Fig.2 Faster R-CNN architecture

4 圖像匹配與障礙物定位

為保證無人機飛行任務的順利進行， 需要獲取飛行路徑中障礙物與無人機在空間中的相對位置， 確保無人機能有足夠的空間躲避障礙物， 本研究將深度信息與障礙物類別屬性信息相結合， 制定無人機飛行方案與避障策略，以滿足無人機飛行避障需求。

彩色相機與深度相機采集的圖像分別用于障礙物的檢測和距離測定， 但由于深度相機與彩色相機的安裝位置、相機參數和視角的不同，深度圖像與彩色圖像視場存在較大差異，為將兩種圖像信息有效融合，需對其進行圖像匹配。本研究以彩色圖像為基準，對深度圖像進行視場匹配， 使障礙物在兩種圖像中處于相同位置。 在此基礎上，提取彩色圖像障礙物檢測框內的深度信息，對其進行模糊、濾波與去噪處理，提升障礙物與無人機相對距離的測量精度。 如圖3 所示為障礙物定位原理圖。

圖3 障礙物定位原理圖Fig.3 Schematic diagram of obstacle positioning

5 避障策略制定與軌跡規劃

無人機飛行環境中存在多種障礙物， 障礙物的準確識別與分類是制定避障策略的關鍵， 本研究利用深度學習目標檢測方法， 訓練深層神經網絡， 獲取目標分類模型，通過實時采集無人機飛行中的圖像，判斷飛行路徑中的障礙物種類及其數量。

根據飛行路徑上障礙物與無人機之間的相對距離，將二者之間的區域劃分為安全區、預警減速區和避障區。當無人機處于安全區 （即無碰撞風險或碰撞風險極低的區域），無人機正常執行飛行任務；當障礙物與無人機距離達到設定閾值，則進入預警減速區，無人機根據障礙物類別與屬性，做出減速飛行并進行懸停避讓、拉升避障、繞飛越障的飛行策略判斷； 當減速到安全飛行速度并進入避障區，無人機執行相應避障策略，避障飛行期間，根據深度信息持續判斷碰撞風險，當觸發高風險碰撞警報，則懸停請求人工接管， 降低撞機造成的無人機損壞和人員傷害風險。 最后通過仿真和試驗， 對整個系統進行優化，提升無人機在復雜環境下的感知與避障能力。

圖4 測試結果Fig.4 Test result

6 結論

多種障礙物的精準識別與位置信息獲取技術。 戶外環境復雜，視覺系統常受到光照變化、物體遮擋和陰雨霧霾等影響， 采取深度學習算法和飛行時間深度感知方法相結合的方式實現障礙物的精準識別定位。

基于障礙物類別與屬性的避障技術。 針對無人機飛行中遇到的不同障礙物，制定最優避障策略，提高無人機自主避障的智能化程度。