月面環境下基于深度相機數據的障礙物感知方法

中圖分類號：TP18 文獻標志碼：A 文章編號：1000-5137（2025）02-0180-06

Abstract：Toaddress theisueofobstacledetection inlunarsurfaceenvironment，visual informationanddepthdataoflunar surfacewereobtained throughadepthcamera.Thelunarobstacleperceptionwasachievedbycombiningdeepneuralnetworks and pointclouddata procesing.Forthelunar visualinformation，methodssuch asmulti-channeldata normalization，scaling， miroringandrotationwereadoptedduringdatapreprocessingstage toenhancethecolectedimagesandhighlightlunareatures. Besides，thesingleshotmultiboxdetector（SSD）algorithmwasemployedforfeatureextractionandobjectlocalization， achievingobstacledetectioninthevisual information.Forlargephysical slope terrains，depth informationwascombined to reducethe processing pressureofdensedata bydownsampling.The principalcomponent analysis（PCA）method was used to calculatethenormalvectorofeachpoint，therebyobtaining theslopefeatureinformation.Basedontheabove method，ccurate lunarsurfaceobstacledetectionfunctionalitywasachieved. KeyWords：depth camera；deep learning;point cloud;lunar surface;obstacle perception

0 引言

目前，月面巡視器在著陸后的巡視階段，對障礙物的檢測主要依靠傳統的機器學習算法.BAJRACHARYA[1開發了一種快速算法，可以使用下降航天器相機的單個圖像來檢測行星表面的危險.中國首輛月球車玉兔號的月面巡視器主要依靠GNC系統2來避開障礙物，利用避障相機和激光點陣的深度數據進行障礙物檢測.該方法基于傳統的機器學習算法，穩定性較好.李東賓等[3利用玉兔號采集到的月面數據進行了圖像分割算法的研究，使用了各向異性擴散濾波，采用基于粒子群的二維最大類間方差法在分割月巖和月坑圖像時，取得了較理想的效果.YANG等[4提出了一種基于火星探測器圖像的梯度區域約束水平集方法，用于自動提取火星巖石，對自動檢測火星表面的小規模和大規模巖石具有穩健性和有效性.

隨著半導體制程的進步，基于深度學習的卷積神經網絡得到了長足的發展，在深空探測等方面也得到了廣泛應用.FURLAN[5等提出了一種基于卷積神經網絡的巖石分割方法，其性能在包含多張火星環境圖像的數據集中得到了證明.DOWNES等[提出了基于卷積神經網絡的月球地形視覺隕石坑檢測.CHEN等提出了基于卷積神經網絡的月坑檢測與識別方法，用于姿態估計.以上方法均在繞軌段和著陸段任務的圖像處理和分析中得到了應用.在外星星表巡視階段，基于深度學習的研究也逐漸增多[8-9].

在地面應用中，智能駕駛的基礎是高精度地圖，當前階段的外星星表信息精度還不能滿足此類應用[].同時，外星星表也不同于地面野外環境[1.本文針對月面環境的特點，為在巡視階段實現對月面隕坑、月坡等特定障礙的檢測，保證巡視器在月面安全執行移動探索，利用攜帶的深度相機獲取視覺信息和點云信息，分別使用深度卷積神經網絡和主成分分析（PCA）方法，對不同尺度和特征的障礙物進行檢測.通過目標檢測方法獲取月坑等障礙物的視覺坐標信息，結合點云信息，剝離出坡度信息，完成對視野范圍內障礙物定位，為未來月面巡視器巡視階段的障礙物檢測研究提供了新思路.

1算法結構

1.1 視覺信息處理

選取深度卷積神經網絡對視覺信息進行處理，所采用的 single shot multibox detector（SSD）算法[12]是一種One-Stage神經網絡，在目標檢測領域有廣泛應用，結構相對簡單，運算速度較快.其網絡結構如圖1所示.

通過對輸入的3通道視覺信息進行卷積操作，得到不同尺度下的feature map，分別對其作卷積形式的檢測和分類，相比YOLO算法[13的全連接層減少了參數量，有利于提升計算速度.由于有多個特征尺度的參與，使網絡對不同物理尺度目標的檢測也更加穩定.最后匯總所有特征尺度的檢測和分類結果，使用非極大值抑制算法（NMS）過濾重復選定框，得出最終的檢測結果.

網絡在特征提取之后分別對每個尺度的feature map進行分類和檢測，損失函數可分為兩類：對網絡default box內物體類別的分類損失和default box相對于真實框偏置參數的預測損失.訓練過程中，通過對每個default box與真實框相交的交并比（IoU）計算，以IoU超過某一閾值的default box作為正樣本．一般來說，除去正樣本之后的所有defaultbox會被歸類為負樣本，但實際情況中，會導致正負樣本差距過大，出現正負樣本不平衡的情況，因此需要對每個負樣本計算非背景類的概率之和，概率和越大，則負樣本被分類成正樣本的概率越大.選取一定比例的概率按降序排列，高位部分作為負樣本參與分類損失的計算.

1.2 深度信息處理

要估計月面地形坡度，需要對采集到的點云數據進行法向量求解，根據法向量推算出坡度.對于數據中的每個點，搜索出 k 個距離較近的點，假設所有點的集合為 ，其中的每一個點都是點云的數據，維度是3， p_i=（x_i，y_i，z_i） ，對這些點去均值化.計算各維度的均值后，將每個點各維度的數據相對于均值 μ 做平移，

q_i=p_i-μ=（x_i-μ_x，y_i-μ_y，z_i-μ_z），

式中： μ_x，μ_y ， μ_z 是平均值向量的3個分量.

所有點的協方差矩陣可由協方差計算公式得出：

以 k-1 作為除數，可以獲得無偏估計，在處理小樣本或者高維數據時，能獲得更好的穩定性.根據式（3），協方差矩陣可以推導成：

即：

其中， D 為去均值化后所有點的矩陣.最后對協方差矩陣做特征值分解，得到特征向量與特征值，因法向量是平面的垂直方向，對應維度的數據變化最小，取最小特征值的特征向量作為法向量.坡度

1.3 算法流程

整體的設計方案如圖2所示，包含視覺信息處理和深度信息處理兩大部分.

視覺信息處理部分由模型訓練和模型應用構成.在訓練階段，需要搭建模型，構建數據集，并使用數據增強技術擴增數據，提升訓練后模型的穩健性.模型 Backbone 部分使用visual geometry groupnetwork（VGG） -16^[14] 網絡架構，將預訓練權重數據初始化為VGG-16在Image-Net數據集[15]上的數據，實現對整體模型的微調.在應用階段，加載訓練后的網絡模型參數，調整輸入圖像的尺寸，使之適應網絡輸入窗口，有利于加快推理速度.根據模型的輸出結果獲得障礙物的幾何中心在畫幅中的坐標，根據現有月坑模型確定月坑的范圍，并將信息映射到點云數據中，即可得到由視覺信息處理提取的障礙物點云數據子集.

深度數據處理部分由數據降采樣、PCA計算和坡度信息計算構成.使用VoxelGrid在不影響數據有效性的同時，降低數據密度，減輕計算壓力.對處理后的數據構建KD-tree數據結構，快速搜索和獲取各點云數據周圍最近的k個點的信息后，進行PCA計算，獲得點云數據的法向量和坡度信息.將坡度信息映射到點云數據，提取達到對應坡度閾值的點云數據子集．

2實驗結果

在Gazebo仿真平臺中建立模擬環境，通過機器人操作系統（ROS）2的節點模擬模型在月面環境中的運行效果.通過采集模擬環境和探月官方數據中的月面信息建立數據集，通過多通道數據歸一、鏡像、縮放和旋轉等方法進行數據增強.在NvidiaRTX3060GPU平臺上完成模型訓練，并實現了平均20幀·s-的推理速度，滿足中低速下巡視器的實時推理需求.通過模擬理想工況，對深度信息處理的算法部分進行驗證，工況的參考點云如圖3所示，驗證效果如表1所示，在預設角度的檢測中都達到了較高的精度.

在攝像頭低于障礙物水平高度時，傳感器的信息處理的結果如圖4所示.

從圖4（a）可以看出攝像頭高度低于障礙物（月坑）邊沿，在缺失顯著障礙物視覺信息時，僅依靠檢測算法無法分辨出障礙物目標，原始點云數據如圖4（b）所示，通過對深度相

機的點云數據進行深度信息處理流程，在深度相機無法拍攝到有效視覺特征的障礙時，點云坡度計算也可以將障礙物坡度信息很好地提取出來，如圖4（c）所示.

圖5（a）展示了深度相機采集到的RGB圖像，即對通過網絡預測得到的執行結果進行可視化后，疊加在原圖上的形態，所得到的坐標信息將被用于深度信息融合處理流程中.圖5（b）為深度相機視野下原始的點云數據.圖6（a）展示了利用檢測網絡得到的障礙物位置信息所提取到的點云數據，圖6（b）展示了對深度相機獲得的深度信息進行坡度特征提取后的點云數據，兩者結合之后獲得更加完整且可靠的障礙物信息，如圖6（c）所示.通過對障礙物的點云檢測結果進行比較，僅利用目標檢測網絡的檢測結果所提取的點云數據覆蓋率為 52.2% ，此時障礙物信息涵蓋了障礙物及其部分周圍地形.通過引入PCA方法，使模型對障礙物近端的尺度檢測更加全面，對地形變化更加敏感，點云覆蓋率提升了 15.5%

3結語

針對月面環境下，巡視器基于深度相機數據開展障礙物感知任務，本文采用深度卷積神經網絡算法，結合基于點云數據處理的坡度特征提取，有效地濾除了非障礙地形信息.通過預訓練數據初始化網絡參數，可以在數據集較小的情況下獲得更好的檢測效果，實現了對月面障礙的準確檢測功能.利用深

度卷積神經網絡的推理結果得到障礙物的坐標，結合月坑等障礙物模型，提取合理范圍內的深度數據，并與坡度特征的數據融合，形成視角內的障礙物點云地圖，為后續的月面巡視器等月面機器人的避障、導航提供了方法支撐，也為在沒有人造衛星覆蓋的固態行（衛）星表面的導航提供了思考方向.

參考文獻：

[1]BAJRACHARYA M.Single image based hazard detection fora planetary lander[C]/ Proceedings of the 5th Bianual World Automation Congress.Orlando：IEEE，2002：585-590.

[2] 邢琰，滕寶毅，劉祥，等.月球表面巡視探測GNC技術[J].空間科學學報，2016，36（2）：196-201. XINGY，TENG B Y，LIUX，etal. Guidance，navigation and control technology for lunar surface exploration [J]. Chinese Journal of Space Science，2016，36（2）：196-201.

[3］李東賓，高宏偉，王輝.基于“玉兔號”月面數據的圖像分割算法研究［J].沈陽理工大學學報，2017，36（6）：61-67. LI D B，GAO HW，WANG H. Research on image segmentation algorithm based on“Jade Rabbit”data[J]. Journal of Shenyang Ligong University，2017，36（6）：61-67.

[4]YANGJT，KANG ZZ.A gradient-regionconstrained level set methodfor autonomous rock detection frommars rover image[C]/ InternationalArchivesof thePhotogrammetry，RemoteSensingandSpatial InformationSciences.Enschede： ISPRS，2019：1479-1485.

[5] FURLANF，RUBIO E，SOSSA H，etal. Rock detection in a mars-like environment using a CNN[C]// Lecture Notes in Computer Science.Cham：Springer，2019：149-158.

[6] DOWNES L，STEINER TJ，HOWJP.Deep learning craterdetection forlunar terrain relative navigation[C]//AIAA SciTech Forum and Exposition.Orlando：AIAA Press，202O：2517-2528.

[7] CHEN ZH，JIANG J. Craterdetection andrecognition method for pose estimation[J].Remote Sens，2021，13（17）：3467.

[8] 羅小桃，張崇峰，胡震宇，等.我國首次載人月球車任務需求分析[J].載人航天，2019，25（5）：693-698. LUOXT，ZHANG CF，HUZY，etal.Requirement analysisof the first manned lunar rover in China[J].Manned Spaceflight，2019，25（5）：693-698.

[9] 馬浩.基于視覺的月球/火星車滑移率預測研究[D].北京：中國科學院大學，2019. MAH.Visionbased lunar/Mars rover slip predicitonresearch[D].Beijing： Universityof Chinese Academyof Sicences， 2019.

[10] 谷新建.室外環境智能駕駛技術綜述[J].計算機測量與控制，2024，32（10）：1-8. GUXJ.Overviewofintellgent driving technology inoutdor environment［J].Computer Measurement amp; Control，2024， 32（10）：1-8.

[11]蔣鵬飛，劉延鶴，周建波，等.林業野外作業機器人技術發展研究[J].林業和草原機械，2020，1（3）：20-27. JIANGPF，LIUYH，ZHOUJB，etal.Development andresearch status of forestry field robots[J].Forestryand Grassland Machinery，2020，1（3）：20-27.

[12] LIU W，ANGUELOVD，ERHAN D，etal.SSD： single shot multibox detector[C]//Lecture Notes in Computer Science. Cham：Springer，2016：21-37.

[13] REDMON J，DIVVALA S，GIRSHICK R，et al. You only look once：unified，real-time object detection [C]/ Conference on Computer Vision and Pattern Recognition.Las Vegas： IEEE，2016：779-788.

[14]SIMONYANK，ZISSERMANA.Verydeepconvolutional networks forlarge-scale image recognition[C]//International Conference on Learning Representations.Banff：ICLR，2O14：1-12.

[15]DENG J，DONG W，SOCHERR，et al.ImageNet：a large-scale hierarchical image database[C]/ Conferenceon Computer Vision and Pattern Recognition.Miami：IEEE，20o9：248-255.

（責任編輯：包震宇，郁慧）