低空旋翼無人機全景視覺障礙物感知關鍵技術研究

摘要：旋翼無人機以靈活性和高效性的特點被廣泛應用于植保、空中測繪、搜救等任務，但在這些任務中，環境往往是復雜的、未知的，導致無人機時刻面臨各類障礙物的威脅。針對低空旋翼無人機在未知戶外環境中的避障任務，總結了當前主流的基于全景視覺技術的全向障礙物感知中的關鍵技術，從無人機姿態感知、3D環境感知、目標感知、障礙物感知等方面展開詳細說明，指出制約避障技術發展的關鍵因素，并討論了其發展趨勢。

關鍵詞：無人機全景視覺障礙物感知避障

ResearchonKeyTechnologiesofOmnidirectionalVisionObstaclePerceptioninLow-AltitudeRotorcraftUAVs

JIANGXiaoyanDUJinpingWUXiaofeiDUXinBAIJunpingHUAJieZHANGGuohua

HebeiInstituteofMechanicalandElectricalTechnology，Xingtai，HebeiProvince，054000China

Abstract：Withthecharacteristicsofflexibilityandefficiency，low-altituderotorcraftunmannedaerialvehicles（UAVs）arewidelyusedinplantprotection，aerialmapping，searchandrescueandothertasks.However，inthesetasks，theenvironmentisoftencomplexandunknown，resultinginthethreatofvariousobstacles.Aimingattheobstacleavoidancetaskoflow-altituteUAVsinunknownoutdoorenvironment，thispapersummarizesthekeytechnologiesofomnidirectionalobstacleperceptionbasedonOmnidirectionalVisiontechnology，elaboratesfromUAVattitudeperception，3Denvironmentperception，targetperception，obstacleperceptionandotheraspects，pointsoutthekeyfactorsrestrictingthedevelopmentofobstacleavoidancetechnology，anddiscussesitsdevelopmenttrend.

KeyWords：UAV;Omnidirectionalvision;Obstacleperception;Obstacleavoidance

低空無人機在自主飛行過程中需要依靠機器視覺感知環境，并快速提取障礙物的大小、移動方向等信息。但實際的視覺圖像包含了大量的冗余信息，將圖像傳輸到地面站進行處理，非常耗時，這對機載處理器的計算能力和相應的可視化算法提出了更高的要求。

全景視覺系統通常追求較大的視場，從普通相機到魚眼相機，視場的增加會在視覺成像中引入嚴重畸變，需通過相機標定、畸變矯正等措施消除幾何形變，其效果直接影響后續的特征提取、特征匹配、全景圖拼接、障礙物檢測定位等圖像算法的有效性與準確性。因此，采用哪種全景視覺系統架構以獲得高成像質量和大視場的全景圖像就顯得尤為重要。全景視覺系統一般由圖像傳感器、圖像處理和全景成像等模塊組成。根據視覺傳感器的數量，其可分為單目全景和多目全景；根據視覺傳感器結構不同，其又可分為普通多目全景、魚眼全景、折反射全景等。近年來，隨著技術的突破和硬件的發展，全景視覺在無人機領域得到了迅速的發展和應用。例如：EVOII和Mavic3配備了高分辨率視覺傳感器用以輔助實現避障和導航，但是，EVOII在實現全方位避障時在4個對角線方向仍有盲點，Mavic3在顏色純粹的表面、光線變化快的環境、尺寸小的障礙物、能見度低的場景等情況下效果較差。

針對無人機在低空域復雜環境中的應用，本文回顧和總結了全景視覺障礙物感知中關鍵技術的研究與應用現狀，討論了存在的瓶頸問題，并擬定下一步研究方向。

1飛行姿態感知

無人機的飛行姿態包括高度、速度、加速度等。目前，主流的基于視覺的姿態感知方法包括光流和視覺SLAM。

1.1光流

光流是指給定像素在連續幀之間的移動速度矢量。Parrot在2010年發布的ARDrone是最早使用光流進行速度估計和定位的無人機產品[1]，它使用超聲波測距，有效范圍約為4m，可以在室內精確懸停和跟蹤。目前，市場上很多低空無人機都采用光流模塊輔助狀態估計。

1.2視覺SLAM

視覺SLAM是一種通過視覺傳感器獲取周圍環境的三維稀疏地圖，以及無人機在其中的位置、姿態等信息的技術。自2003年帝國理工學院開發出第一個實時視覺SLAM系統[2]以來，其理論框架逐漸成熟。單攝像頭SLAM系統具有較好的通用性，但無法準確獲取現實世界中的相機軌跡和三維點云[3]。使用兩個或多個相機可以克服這個問題，但相對而言，需要更多的計算量。高端無人機往往使用專用的視覺計算芯片來加速視覺SLAM算法

23D環境感知

3D環境感知的目標是利用視覺圖像信息恢復場景的3D密集地圖。

2.1視覺深度估計

視覺深度估計的目的是估計場景的深度，即場景中每個點到相機成像平面上對應像素點之間的垂直距離。

2.1.1基于主動視覺的方法

該方法通常使用投射到被測物體的表面的結構光[4]，其特點是主動視覺系統主動改變內部參數（焦距、光圈等）和外部參數（位置、方向、光源條件等），與環境進行主動交互，獲得更有價值的視覺數據。在低空無人機的應用中，源功率限制了投射強度和投射距離，因此可以測量的深度是有限的。另外，室外場景中存在大量的紅外波段光，導致紅外圖案容易被污染，從而使該方法失效。

2.1.2基于被動視覺的深度估計

與主動視覺相比，基于被動視覺的方法不存在光源干擾的問題，不受室內和室外限制。其典型方法是雙目視差估計[5]、典型應用是ZED雙目攝像機[6]，其準確性取決于雙目圖像中特征點的正確匹配度。當紋理缺失或光照較差時，匹配難度較大。近年來，基于深度學習的雙目視差估計方法在解決該問題時取得了很好的進展[7]，但過度依賴GPU計算單元的性能，難以保證實時性。

2.23D地圖表示與更新

3D地圖表示的一種簡單方法是將場景地圖劃分成小方塊，根據落在方格內的三維點的數量，給出每個方格被占領的概率（稱為占據圖[8]）。在3D空間中，方格越精細，消耗的內存就越多。考慮到全局地圖中存在大量占用概率為零的空白方格，提高存儲效率的一種解決方案是只保存非空白方格，并采用八樹的數據結構進行管理，以便快速檢索[9]。

3障礙物感知

為了保證低空無人機在復雜環境下的自主、安全飛行，自主快速識別和躲避障礙物的能力至關重要。

3.1基于視覺測距的障礙物感知

利用3D地圖獲取場景深度，進一步重建局部三維障礙物圖，用于障礙物檢測和定位，規劃飛行路徑。目前，主流避障方案大多采用該方法，其缺點是視覺測距的精度和范圍相對有限。此外，可視化算法的運行需要大量的計算資源，這對實時避障是一個挑戰。

隨著硬件的發展，障礙物感知算法的性能和計算效率有了很大的提高。第一種思路：基于形態Haar小波[10]，首先定位障礙物候選區域，其次提取生成候選區域的HOG特征，最后利用支持向量機實現障礙物的識別和分類。該方法特征提取過程復雜，不能全面提取有效特征，甚至出現無效特征。第二種思路：基于區域建議的典型R-CNN級數算法[11]，結合空中目標的特點，FasterR-CNN[12]算法在光照變化和復雜背景條件下對小目標、多目標和被遮擋目標的檢測取得了理想的效果。第三種思路：不帶區域建議的目標檢測模型只需要前向傳播操作即可完成目標檢測，典型算法如YOLO[13]系列檢測算法。

3.2基于光流法的障礙物感知

當物體移動時，視覺系統獲得變化的信息，通過神經系統的處理，確定障礙物與自身之間的碰撞時間（Time-To-Collision，TTC）[14]。因此，該算法旨在從光電流中提取TTC以進行避障飛行。目前，基于TTC的避障技術已成功應用于輔助駕駛中。在低空無人機上實現基于光學電流的障礙物感知存在兩個難點。

3.2.1光流計算的質量和效率

Lucas-Kanade方法[15]雖然計算效率高，但只能計算稀疏特征點處的光流，存在遺漏障礙物的風險。然而，傳統的密集光流算法涉及大量優化[16]，在CPU計算能力有限的情況下，無法滿足實時性要求。基于神經網絡的光流計算部署在低空無人機上，在GPU計算能力足夠的情況下，可以達到實時性。

3.2.2從光流中獲得準確的TTC

QUANQ[17]基于前向飛假設計算TTC，YANGG等人[18]通過分析局部區域的面積尺度計算TTC。后者對無人機飛行模式的依賴較小，但兩種計算方法都是近似計算方法，誤差較大。

4瓶頸歸納

以上關鍵技術各有優缺點，在特定任務和特定場景中取得了很好的檢測效果。但在實際應用中，一些共性難點的存在仍然制約著基于全景視覺的障礙物感知技術的發展與應用。

首先，機載處理器的算力瓶頸是實現全景視覺避障系統的最大挑戰。由于負載和功耗的限制，加之避障系統所采用的視覺算法消耗了大量的CPU計算資源，目前，在低空無人機中，能夠滿足視覺感知系統的機載計算單元的產品很少，大部分產品使用NVIDIAJetson系列模塊。近年來，研究人員提出了許多基于深度學習的方法。從視覺SLAM方法[19]可以看出，在紋理丟失和強光條件下，神經網絡對提高視覺感知能力非常有幫助。然而，基于深度學習的方法依賴于大量的真值數據進行訓練，耗時且費力。

其次，惡劣環境對避障算法的影響。針對霧、雨、雪等特殊自然環境，HEKM等人[20]、FUXY等[21]和LIUYF等人[22]分別設計了提高實時圖像質量的算法，通過采集惡劣環境下的數據，訓練得到了相應的神經網絡模型。WANGRZ等人[23]利用無人機的動力學特性來輔助自我狀態感知。另外，從硬件層面來說，紅外傳感器可以增強在黑暗中的感知能力。事件相機[24]作為一種仿生視覺傳感器，能夠感知場景的亮度變化，具有高fps（高達100萬幀）、低延遲（微秒級）、高動態光照范圍、低功耗等優點，非常適合應用于輕型和小型無人機。

5結語

構建高度智能的視覺感知系統是低空無人機在復雜三維空間中實現靈活飛行的關鍵。隨著深度學習和機器視覺的快速發展，在特定的環境下，基于全景視覺的障礙物感知已經有了相應的解決方案，但仍存在計算效率低、環境條件影響等技術瓶頸。下一步，基于本文的工作，本課題組將在全景圖像拼接、實時障礙物檢測（尤其是小型動態目標）、有效避障策略等方面開展創新實踐研究。

參考文獻

• BRISTEAUPJ，CALLOUF，VISSIèRED，etal.ThenavigationandcontroltechnologyinsidetheAR.DronemicroUAV[J].IFACProceedingsVolumes，2011，44（1）：1477-1484.

• DAVISONAJ，REIDID，MOLTONND，etal.MonoSLAM：Real-timesinglecameraSLAM[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2007，29（6）：1052-1067.

• TRIGGSB，MCLAUCHLANPF，HARTLEYRI，etal.Bundleadjustment—Amodernsynthesis[C].VisionAlgorithms：TheoryandPractice，1999，1883：298-372.

• SALVIJ，PAGESJ，BATLLEJ.Patterncodificationstrategiesinstructuredlightsystems[J].PatternRecognition，2004，37（4）：827-849.

• SCHARSTEIND，SZELISKIR.Ataxonomyandevaluationofdensetwo-framestereocorrespondencealgorithms[J].InternationalJournalofComputerVision，2002，47（1）：7-42.

• FIRDAUSAR，HUTAGALUNGA，SYAHPUTRAA，etal.Indoorlocalizationusingpositionaltrackingfeatureofstereocameraonquadcopter[J].Electronics，2023，12（2）：406.

• KHAMISS，FANELLOS，RHEMANNC，etal.Stereonet：Guidedhierarchicalrefinementforreal-timeedge-awaredepthprediction[C]//ProceedingsoftheEuropeanConferenceonComputerVision（ECCV）.2018：573-590.

• GUIZILINIV，RAMOSF.Unsupervisedfeaturelearningfor3Dscenereconstructionwithoccupancymaps[C]//ProceedingsoftheAAAIConferenceonArtificialIntelligence，2017，31（1）.

• HORNUNGA，WURMKM，BENNEWITZM，etal.OctoMap：Anefficientprobabilistic3Dmappingframework basedonoctrees[J].AutonomousRobots，2013，34（3）：189-206.

• CHENJ，NIUJL，CHENDH.ResearchonintelligentwheelchairobstacleavoidancebasedonAdaBoost[C]//AppliedMechanicsandMaterials，2013，312：685-689.

• GIRSHICKR，DONAHUEJ，DARRELLT，etal.Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation[C]//IEEEConferenceonComputerVisionandPatternRecognition，2014：580-587.

• SALVADORA，GIRó-I-NIETOX，MARQUéSF，etal.FasterR-CNNfeaturesforinstancesearch[C].IEEEConferenceonComputerVisionandPatternRecognitionWorkshops，2016：9-16.

• WUWT，LIUH，LILL，etal.ApplicationoflocalfullyconvolutionalneuralnetworkcombinedwithYOLOv5algorithminsmalltargetdetectionofremotesensingimage[J].PloSOne，2021，16（10）：e0259283.

• GALBRAITHJM，KENYONGT，ZIOLKOWSKIRW.Time-to-collisionestimationfrommotionbasedonprimatevisualprocessing[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2005，27（8）：1279-1291.

• BAKERS，MATTHEWSI.Lucas-kanade20yearson：Aunifyingframework[J].InternationalJournalofComputerVision.2004，56（3）：221-255.

• MENZEM，HEIPKEC，GEIGERA.Discreteoptimizationforopticalflow[C]//GermanConferenceonPatternRecognition，2015：16-28.

• QUANQ.Introductiontomulticopterdesignandcontrol[M].Singapore：Springer，2017.

• YANGG，RAMANAND.Upgradingopticalflowto3dsceneflowthroughopticalexpansion[C]//IEEE/CVFConferenceonComputerVisionandPatternRecognition，2020：1334-1343.

• CZARNOWSKIJ，LAIDLOWT，ClarkR，etal.Deepfactors：Real-timeprobabilisticdensemonocularSLAM[J].IEEERoboticsandAutomationLetters，2020，5（2）：721-728.

• HEKM，SUNJ，TANGXO.Singleimagehazeremovalusingdarkchannelprior[J].IEEETransactionsonPatternAnalysisandMachineOIntelligence，2010，33（12）：2341-2353.

• FUXY，HUANGJB，DINGXH，etal.Clearingtheskies：Adeepnetworkarchitectureforsingle-imagerainremoval[J].IEEETransactionsonImageProcessing，2017，26（6）：2944-2956.

• LIUYF，JAWDH，HUANGSC，eta1.DesnowNet：Context-awaredeepnetworkforsnowremoval[J].IEEETransactionsonImageProcessing，2018，27（6）：3064-3073.

• WANGRZ，ZOUDP，XUCQ，etal.Anaerodynamicmodel-aidedstateestimatorformulti-rotorUAVs[C]//2017IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems（IROS），2017：2164-2170.

• GALLEGOG，DELBRUCKT，ORCHARDGM，etal.Eventbasedvision：Asurvey[J].IEEETransactionsonPatternAnalysisandMachineIntelligence，2020（99）：1.