復雜地面車轍識別試驗與驗證

薛 龍，李 瀾，黨兆龍，陳百超，鄒 猛，黎 靜*

（1.江西農業大學 工學院，江西 南昌 330045；2.中國空間技術研究院 北京空間飛行器總體設計部，北京 100094；3.吉林大學 工程仿生教育部重點實驗室，吉林 長春 130022）

1 引言

火星地表復雜多變，除了其表面覆蓋的松散星壤，還遍布著石塊、隕石坑及沙丘，使得火星車（Mars Rover）面臨高滑轉、易沉陷的威脅，這不僅導致了火星車機動性能降低，使其無法到達預定位置，甚至會導致火星車沉陷，失去移動能力，并最終導致任務的失敗。火星車的機動性能不僅與車輛外形、車輪形狀有關，還與地表障礙物、地形和星壤的特性有關。了解星壤的特性，主要是其物理力學參數，對火星車的路徑規劃、通過性評估及風險預測和脫困都有十分重要的意義。

由于發射有效載荷的限制，目前火星車都沒有配備專用測量火星壤力學參數的設備，因此無法實時準確地獲得火星壤的力學參數。使用火星車攜帶的相機，并結合地面力學知識，通過火星車觸土部件與火星壤相互作用留下的痕跡，特別是火星車車輪在火星表面留下的車轍，可以對火星車輪下及周邊火星壤的特性進行估計［1］，例如火星壤的內聚力、內摩擦角、車輪沉陷和滑轉率。滑轉率是火星車車輪與火星壤相互作用留下的痕跡，受到不同火星壤類型的影響其變化范圍非常大，是影響火星車機動性能的一個重要的參數。因此在進入某一特定區域或進行路徑規劃前，通過對滑轉率信息進行預判可以避免火星車進入危險區域，導致車輛滑轉率過大而陷入火星地表［2］。火星車在復雜的火星地表條件下的探測過程中，圖像是了解巡視器周邊土壤信息最直接也是最方便獲取的資源［3-4］，通過火星車采集的車轍圖像獲得車轍信息及地形地貌信息［4］，然后綜合獲取的信息作為輸入變量，通過大量的地面及在軌試驗數據并結合機器學習的方法對滑轉率進行預測［5-6］，可以使地面控制人員在確保巡視器行駛安全的前提下，完成科學探測任務。但是，對海量圖像數據的辨別和處理通常是通過人工判斷，這種方法既費時又費力，而且對判別人員的要求也非常高。利用車轍圖像信息，通過圖像分類、深度學習和語義分割等方法把地面圖像按照石塊、車轍和未擾動地面等類型進行分割［7］，這不僅可以有效避免人為選擇的誤差，還可以降低勞動強度，并從海量的信息中提取有效數據［8］。

本文主要是應用車載導航相機采集的火星車前方和后方的地表圖像，并經過圖像變換，然后應用卷積神經網絡（Convolutional Neural Network，CNN）實現圖像的訓練和判別，并對圖像中的石塊、車轍和土壤建立分割圖像。

2 材料與方法

2.1 試驗設備

模型火星車行走系統大小是與實際火星車按照1∶1 設計的，其懸架為新型的主動懸架移動系統［9］（Active Suspension System）。懸架系統包含6 個車輪，車輪直徑和輪寬分別為300 mm 和200 mm，輪刺高度和個數分別為10 mm 和20 個，輪刺間距為47.1 mm，材料為鋁合金，如圖1 所示。通過增加配重，模型火星車的總質量及其每個車輪的輪上載荷與實際火星車保持一致，行駛測控系統與實際火星車行駛測控系統一致，并且可以獲得每個車輪的驅動電機電流和整車的位姿信息。該模型火星車的圖像采集系統由云臺和雙目相機組成，兩個相機的間距是256 mm，應用標準的9×12 黑白標定板采集標定圖像，然后對兩個相機的內參和外參進行標定，圖像的像素尺寸為1 944×2 592。相機距離地面為1.0 m，與地面的水平夾角是12.5°。

圖1 模型火星車Fig.1 Mars rover model

試驗地點在吉林大學土槽實驗室，該試驗場地長、寬分別為24 m 和2.5 m。鋪設JLU Mars-3模型火星壤（Martian Simulant Regolith），對應的中值粒徑為700 μm，按松軟（Soft）狀態和自然（Normal）狀態兩種方式進行整備和鋪設，對應的容重分別是1.12 g/cm3和1.24 g/cm3。

2.2 試驗過程與數據預處理

為了獲取不同滑轉率的車轍圖像，設定移動平臺的理論速度為200 m/h，并在模型火星車后方加載不同的掛鉤牽引力，當小車行駛時同時記錄車輪旋轉圈數和實際的行駛距離，并根據s=(VT-V)/VT計算得到滑轉率s，其中VT為車輪實際旋轉圈數與小車理論速度計算得到的理論行駛距離，V為實際行駛距離。

根據車載的雙目視覺系統，對左目相機采集的圖像進行變換。在前方距離相機0～4 m，左右兩端距離為3 m 的范圍內建立鳥瞰視圖，得到鳥瞰圖大小為1 637×2 242 pixels。選取鳥瞰圖中的特征區域并裁剪，提取像素塊的大小為1 000×1 000 pixels，接著進行直方圖均衡化，最后為了調高神經網絡模型的訓練數據對圖像進行等比縮小，縮小的比例尺為0.5，因此得到的最終建模圖像大小為500×500 pixels，具體過程見圖2。

圖2 圖像預處理過程Fig.2 Image preprocessing process

圖3 為經過預處理后的圖像，其中圖3（a）為無擾動圖像，即整備后的地貌，在松軟的地表布置三塊大小不同的巖石；圖3（b）為擾動后圖像，即模型火星車行駛后的地貌，可見地表也分布不同大小的巖石。

圖3 經過預處理后的圖像Fig.3 Preprocessed image

對圖像進行網格劃分，網格的大小是50×50 pixels，根據對應網格中的每一小塊圖像所包含的內容分別劃分不同的類別，主要為Rut、Rock 和Sand 三類。根據這三個類別建立每個圖像塊對應標簽，為了減少訓練時間并考慮每種類別參與訓練的平衡性，按照每種類別150 個的數據量隨機選擇用于建立建模集和預測集的圖像，因此共有450 個數據。建模集與預測集按照70%和30%的比例隨機劃分，具體的數據量見表1。

表1 數據集類別及個數Tab.1 Category and number of datasets

通過遷移學習，本文設定的類別為3 類，預訓練網絡為Resnet50，特征層為fc1000，MiniBatch-Size 設置為30，文中所用代碼均應用MATLAB處理。

3 分類結果

應用Resnet50 神經網絡模型對建模集和預測集進行預測，預測的準確率分別為75.56%和81.48%。圖4 為預測集的預測結果，可見圖像塊中有兩個Rock 被分別誤判為Rut 和Sand；有12個Rut 被誤判為Sand；有11 個Sand 被誤判為Rut，對應三個類別的準確率分別為95.6%、73.3%和75.6%。圖5 為從預測集中隨機選擇的8 副圖像塊預測結果，圖中“預測”表示該網絡模型預測的結果，“實際”表示該圖像塊真實的標記類別，其中3 號和6 號圖像塊數據被誤判為“Sand”，4 號圖像塊被誤判為“Rut”。

圖4 預測集的預測結果Fig.4 Predicted result of prediction dataset

圖5 Resnet50 模型的預測結果Fig.5 Predicted results of Resnet50 model

對每個圖像塊進行類別分類后，按照圖像塊在原圖像中的編號位置和所占像素的大小，分別用三種不同的顏色作為半透明的掩膜附著在原圖像上，如圖6 所示。可見，圖6（a）為包含車轍的擾動圖像，即模型火星車的后方視野，對靠近模型火星車的車轍識別較為準確，而且判斷的圖像塊可以形成完整的車轍痕跡；圖6（b）為不包含車轍的圖像，即模型火星車前方視野，可見有少量圖像塊被誤判為車轍，而且分布的較為分散。另外，從圖6 中可以看出兩個圖片中均把石塊的位置準確判別出來。通過該方法可將原始圖像前后方地表進行分類，并提取區塊的感興趣區域，以便實現更為精準的判別。

圖6 分類后的圖像Fig.6 Classified images

4 討論

火星車作為火星探測的主要載體是人類智慧的結晶，其上包含多種傳感器用來“感知”火星車的“健康”狀態，因此充分利用這些車載數據是火星車通過性能研究的發展方向。這些車載數據大體可以劃分為兩種類型，一種為圖像數據，一種為傳感器數據。圖像數據主要通過車載導航相機和避障相機獲取，并且根據圖像數據可以獲取火星車周邊的全景圖和數字地圖，主要包括車轍痕跡、火星車周邊沙丘的坡度、石塊大小及分布，這些數據代表了火星壤的強度。除了光學相機采集地表圖像外，還可以利用熱敏相機對地表成像，并根據熱慣量法預測火星壤的力學參數［10-11］。傳感器數據主要包括火星車上各種電機的驅動電流、車體位姿和車載機械臂的位置信息等，這些數據對應著火星車車輪的驅動能力、火星車所在位置的坡度及各輪的輪上載荷以及機械臂采樣過程中末端執行器的位置，因此通過車輪或采樣鏟這些直接與火星壤相互接觸的觸土部件為研究對象，并結合地面力學知識也可以對火星壤的力學參數進行預測［12-13］。

將這些車載數據作為通過性判斷的主要信息源，通過深度學習、語義分割、數理統計等方法［14-15］，將滑轉率、沉陷深度、扭矩、輪上載荷、坡度、姿態角作為訓練模型的輸入參數，建立星球車通過性實時預測模型，并輸出通過性判斷矩陣，然后結合采集的圖像信息對火星車的行駛和避障提供參考。

5 結論

本文應用Resnet50 為預訓練模型網絡，將采集的圖像變換為鳥瞰視圖，并進行圖像增強預處理，然后將圖像劃分為等大小的圖像塊，并根據圖像塊包含的內容，將圖像分為Rut、Rock 和Sand 三個類別，并建立對應的標簽數組。接著，隨機選擇450 個圖像數據，每個類別150 組數據，按照7∶3 的比例建立建模集和預測集，并訓練預測模型。經過訓練得到的建模集和預測集的準確率分別為75.56% 和81.48%，可見該方法具有較好的可行性。然后，將每個圖像塊的判斷的類別與原圖像融合，建立識別圖像，實現圖像感興趣區域的劃分。最后，對火星車通過性判斷理論和技術進行梳理和展望，提出充分利用車轍痕跡、驅動電機電流和車體位姿作為輸入參數，并結合深度學習、語義分割和數理統計等方法，然后通過地面火星車的驗證試驗，建立火星車通過性模型。