基于遷移學習的移動機器人單幀圖像坡度檢測算法

辛菁，杜柯楠，王媛媛，劉丁

（西安理工大學 自動化與信息工程學院，陜西 西安 710048）

未知環境地形的自主感知是移動機器人自主導航的基礎和根本保證，也是移動機器人進行其他行為決策的前提。坡度檢測作為移動機器人自主感知未知環境地形的重要組成部分，其檢測精度影響移動機器人在爬坡時的行為策略和方向，進而影響整個導航系統的性能。因此，坡度檢測精度對移動機器人自主導航性能十分重要[1]。

慣性測量單元(inertial measurement units IMU,IMUs )、傾斜傳感器、激光傳感器、超聲波傳感器和視覺傳感器是坡度檢測系統常用的傳感器。與IMUs和傾斜傳感器不同[2-3]，激光傳感器[4-5]、超聲波傳感器[6]和視覺傳感器在檢測坡度中不需要移動機器人接觸或攀爬斜坡，因而被更多地應用在移動機器人坡度檢測與環境地形感知中。近年來，隨著計算機視覺技術，尤其是單幀圖像深度估計技術的快速發展，以及圖像本身所包含的豐富語義信息，使得視覺傳感器在機器人環境智能感知中得到了廣泛的應用。基于此，本文提出了一種基于遷移學習的移動機器人單幀圖像坡度檢測算法，不需要移動機器人接觸或攀爬斜坡，僅根據單幀斜坡RGB圖像就能估計出深度信息進而檢測出斜坡的角度，同時所提算法大大減少了單幀圖像深度估計網絡訓練時對室外圖像樣本數量的要求，提高了網絡的訓練效率和估計精度，顯著提高了移動機器人在未知環境中估計斜坡角度的精確度，為移動機器人自主導航提供了更加可靠、準確的依據。

1 單幀圖像深度估計方法

圖像的深度估計是指對構成二維圖像的每個像素點對應的深度值進行估計，其中深度值指的是相機所拍攝圖像中每個像素點所對應的真實場景中3D物體到相機光心所在平面的垂直距離。準確有效的深度信息能提升圖像分類、目標識別、語義分割等諸多計算機視覺任務的結果[7]。隨著近年來3D技術的廣泛應用和現有普通3D傳感器精度受限的影響，從2D圖像深度估計信息來獲取環境的3D結構成為計算機視覺研究領域的熱點問題。對于單幀圖像，由于難以獲取目標場景的視差信息，只能通過圖像的自身特征及先驗知識來完成深度估計，因而具有較大的挑戰性。目前大多數關于圖像深度估計的研究都基于多幀圖像進行，典型的方法是采用立體視覺技術。整個過程類似于人眼的雙目視覺成像機理,這種技術相對比較成熟,但該類方法獲取環境信息成本較高[8]，還需要圖像中具有較明顯的輔助信息，且重建結果易受到物體遮擋和對應關系匹配誤差的影響。因此，使用簡潔的單幀圖像深度估計獲取環境信息成為三維重建研究中一項重要的研究內容[9]。然而由于室外環境復雜多變，且干擾因素較多，根據單幀圖像推斷室外環境信息一直是三維重建中的一個挑戰性問題。

目前市場上已存在多種用于獲取室外場景深度信息的傳感器，如深度相機、激光雷達等。其中，激光雷達是無人駕駛領域最常用的距離測量傳感器，具有高精度、便于攜帶且抗干擾等優點，然而其結構復雜且成本較高，難以廣泛應用于工業。傳統的單幀圖像深度估計方法通常依賴光學幾何成像原理等，其難點在于幾何分析模型很難從單幀圖像中獲取足夠用于推測場景三維信息的相關特征。

隨著深度學習在圖像感知領域的快速發展，研究者們已經將多種深度學習模型成功應用到圖像處理中，并根據圖像特征信息來對圖像的深度信息進行估計。本質上, 基于深度學習的單圖像深度估計方法的核心是構造并訓練一個將二維RGB 圖像轉換成深度圖像的深度網絡[10]。常用的深度學習模型是卷積神經網絡(convolutional neural network, CNN)，已提出一系列基于CNN的單幀圖像深度估計算法[10-19]。Eigen等[11]提出一種多尺度CNN來實現單幀圖像深度估計，該方法通過粗尺度(coarse)與精尺度(fine-scale) 2個方面分別考慮圖像的全局以及局部信息，相較于直接應用CNN網絡估計深度值的精確度有了較為明顯的提升，其不足之處是圖像深度估計效率較低。為此，Liu等[12]提出深度卷積神經場?全連接超像素池化網絡(deep convolutional neural field-fully connected superpixel pooling network,DCNF-FCSP)模型，將卷積神經網絡與條件隨機場(conditional random fields, CRF)結合在一起對單幀圖像深度估計網絡進行優化，將圖像像素點的深度估計轉換為像素塊的深度估計，在不影響深度估計精度的前提下提高了估計速度。單幀圖像深度估計的性能依賴于大量和多樣性的圖像訓練數據集[13]。然而，由于室外圖像深度估計缺乏足夠的室外圖像數據集作為支撐，深度估計結果較為不理想。隨后，研究者從不角度提出了進一步提高估計精度的方法，如采用多個深度網絡[14-17]，Hu等[14]采用圖像深度估計基礎網絡得到單幀圖像粗略的深度估計結果，再通過精細網絡對深度估計結果進行優化，并在損失函數中加入對象邊緣的深度梯度來優化對象邊界的深度估計結果，提高了估計精度，但該方法的圖像深度估計效率比較低，不能滿足環境三維重建對實時性的要求。Kuznietsov等[15]采用半監督學習方式對圖像特征進行學習，以減少訓練深度卷積神經網絡所需要的訓練樣本。Fu等[16]基于空間和深度分辨率的折衷提出了一種回歸分類級聯網絡。梁煜等[17]將全卷積網絡、擠壓?激勵網絡（squeeze-and-excitation networks,SENet）、殘差網絡（residual neural network, ResNet）三者結合提出了一種多網絡構成的編碼器解碼器結構，提高了單幀圖像深度估計的精度。此外，還有研究者通過設計新的損失函數[10,18-19]， 在保證深度估計精度的同時，提高了估計的實時性。

綜上，已有的單幅圖像深度估計方法可以獲得比較精確的深度估計結果，然而其需要大量的圖像數據集，仍不能很好地解決室外單幅圖像深度估計中訓練數據有限且深度估計精度不理想的問題，基于此，受遷移學習在計算機視覺、機器學習等領域的成功應用，本文提出了一種基于遷移學習的室外單幀圖像深度估計方法，旨在能夠在節省訓練樣本的同時提高深度估計結果的精確度，在此基礎上進一步提出了一種改進的移動機器人坡度檢測算法，能夠根據移動機器人車載相機采集的單幀斜坡RGB圖像就可估計出精確的斜坡角度。

本文的主要貢獻如下：

1)提出了一種基于遷移學習的室外單幀圖像深度估計方法，不僅在室外圖像標準數據集上取得了精確的深度估計結果，而且對于實際拍攝的室外單幀圖像也能進行準確的深度估計；

2)將基于遷移學習的室外單幀圖像深度估計方法與基于視覺的機器人坡度檢測方法相結合，提出了一種改進的移動機器人單幀圖像坡度檢測算法，能夠僅根據移動機器人車載相機采集的單幀斜坡RGB圖像就可估計出精確的斜坡角度，滿足移動機器人在未知環境中對坡度感知精度的要求。

2 基于遷移學習的移動機器人單幀圖像坡度檢測算法原理

2.1 算法整體框架

本文提出的基于遷移學習的移動機器人單幀圖像坡度檢測算法整體如圖1所示，主要由斜坡邊緣提取、斜坡邊緣像素點坐標轉換和斜坡圖像深度估計3個部分組成。首先，對Kinect傳感器采集到的斜坡RGB圖像進行濾波和邊緣提取，以獲得斜坡圖像上下邊緣像素點的坐標；其次，將斜坡圖像邊緣像素點坐標由圖像像素坐標系轉換到相機坐標系中，得到邊緣像素點的坐標；接著，將斜坡圖像邊緣像素點坐標由圖像像素坐標系轉換到相機坐標系中，得到斜坡真實長度l；最后，通過基于遷移學習的室外單幀圖像深度估計網絡對斜坡圖像進行深度估計，得到斜坡上下邊緣像素點的深度值，作差得到斜坡投影長度a，再通過反余弦函數便可得到斜坡角度 θ=arccos(a/l)。其中，如何根據單幀斜坡RGB圖像估計出斜坡上下邊緣像素點的深度值，是獲得精確的斜波角度估計值的關鍵，本文中該值可通過所設計的深度估計網絡獲得。下面詳細介紹本文所提出的基于遷移學習的室外單幀圖像深度估計算法基本原理。

圖1 坡度檢測算法Fig. 1 General framework of slope detection algorithm

2.2 基于遷移學習的室外單幀圖像深度估計算法基本原理

本文提出的基于遷移學習的室外單幀圖像深度估計算法如圖2所示，主要由室內圖像深度估計和參數遷移2部分組成。首先，采用室內圖像語義分割數據集(NYU depth dataset V2, NYU-D V2)對室內圖像深度估計網絡進行訓練，得到DCNF-FCSP室內圖像深度估計網絡模型；然后，將該網絡模型中前5個圖像特征提取層的網絡參數遷移至室外圖像深度估計網絡中；最后，固定遷移至室外圖像深度估計網絡的圖像特征提取網絡參數，利用Make 3D室外圖像數據集對剩余的2個卷積層和3個全連接層的網絡參數進行訓練，從而得到室外單幀圖像深度估計網絡。

下面詳細介紹基于遷移學習的室外圖像深度估計方法的具體實現原理，包括室內圖像深度估計和基于遷移學習的單幀圖像深度估計。

2.2.1 室內圖像深度估計

本文借鑒文獻[12]提出的室內圖像深度估計方法對圖像深度估計網絡進行初始化。首先，采用簡單線性迭代聚類(simple linear iterative clustering, SLIC)超像素分割方法將室內RGB圖像劃分為多個超像素塊；然后，通過全卷積網絡(full convolutional network, FCN)對室內RGB圖像進行特征提取，在此基礎上，將圖像像素點的深度估計問題轉化為對圖像超像素塊的深度估計問題，并采用超像素池化來獲得圖像超像素塊的特征信息；最后，采用條件隨機場(conditional random fields, CRF)參數優化的形式構建損失函數對網絡進行優化，進而得到更加準確的室內圖像深度估計結果。

圖2 基于遷移學習的室外單幀圖像深度估計算法Fig. 2 General framework of outdoor single image depth estimation algorithm based on transfer learning

假設輸入RGB圖像為x=[x1x2···xn]T，向量z=[z1z2···zn]T是n個超像素塊的預測深度值，其對應的真實深度值為y=[y1y2···yn]T。

CRF是在給定隨機變量x的條件下，隨機變量y的馬爾可夫隨機場Pr(y|x)，其表達式為

式中：E(·) 為能量函數，用于表示圖像超像素塊與超像素塊之間的關系；Z(·) 為配分函數，可將輸入圖像深度預測問題轉化為求解后驗概率最大的值[12]：

2.2.2 基于遷移學習的室外單幀圖像深度估計

傳統的機器學習通常需要大量的訓練樣本，然而現實生活中，因受數據獲取的限制，往往難以滿足。因此，本文采用遷移學習來解決訓練室外單幀圖像深度估計網絡所需要的圖像數據集有限的問題。由于CNN具有良好的層次結構，而且對于CNN來說前面幾層所學習到的特征都是通用特征，隨著網絡層次的加深，后面的網絡層更加偏重于學習特定的特征。所以，本文選用遷移學習將室內圖像深度估計網絡模型中提取通用特征的網絡參數進行遷移，以減少訓練室外圖像深度估計網絡所需的數據量，同時節省了網絡訓練時間。

遷移學習主要針對源任務與目標任務之間的知識遷移，通過將源任務上訓練好的模型權重直接應用于目標任務中，從而有效利用域間的知識遷移來解決目標任務標記數據不足的問題。通過遷移源任務中預先訓練的模型權重，來顯著減少目標任務模型中需要學習的參數數量，從而實現利用較小規模的樣本就可以進行快速有效的模型訓練[20]。針對不同的研究領域，CNN遷移過程中所選取的遷移對象也不相同。本文選用歸納式遷移學習中的參數遷移方法將室內圖像深度估計網絡參數遷移至室外圖像深度估計網絡中，以完成室外圖像深度估計任務，如圖3所示。

假設源域與目標域共享模型參數，網絡由7個卷積層以及3個全連接層組成，其中前5層是基于原始圖像進行特征提取，從第6個卷積層開始引入超像素塊的概念，所以可以認為前5層卷積層所提取到的特征在源域與目標域中共用，而網絡后2個卷積層和3個全連接層主要是針對目標任務進行精細計算。

圖3 室外圖像深度估計特征提取部分網絡結構Fig. 3 Network structure of feature extraction for outdoor image depth estimation

本文將DCNF-FCSP室內圖像深度估計網絡中前5層圖像特征提取的網絡參數遷移至室外圖像深度估計網絡中以完成室外圖像的特征提取，如圖4所示。

室內圖像深度估計數據集種類較多，且數據量充足，因而提取到的圖像特征較為豐富，可以彌補由于室外圖像數據集不足而導致特征提取不完備的缺陷。將室外圖像提取特征作為其后網絡層的輸入，結合室外圖像深度估計標準數據集Make 3D對后面的網絡層進行訓練并更新參數，來獲取最終的圖像深度的估計值。采用CRF參數優化的形式構建室外圖像深度估計網絡的損失函數[12,21]，能夠在考慮預測深度值與實際深度值之間關系的基礎上，利用輸入圖像鄰域超像素塊之間的相似性信息來對圖像深度估計值進行平滑處理，進而得到輸入圖像更加準確的像素點深度估計值。

圖4 基于遷移學習的深度估計網絡結構Fig. 4 Network structure of depth estimation based on transfer learning

3 實驗研究

本部分進行了2組實驗分別用來驗證本文所提出的室外單幀圖像深度估計算法和移動機器人單幀圖像坡度檢測算法的有效性。

3.1 基于遷移學習的室外單幀圖像深度估計實驗

本實驗的目的是為了驗證所提出的室外圖像深度估計方法的有效性與優越性。采用室外圖像深度估計標準數據集Make 3D對網絡模型進行訓練與測試，并通過實際拍攝的室外圖像對深度估計網絡進行測試。最后采用3種圖像深度估計評估標準對所提出的室外圖像深度估計方法的性能進行評估。

本文采用的3種圖像深度估計評估標準定義為

1)平均相對誤差（mean relative error, MRE），主要反映估計值的可信程度，計算公式為

2)均方根誤差（root-mean-square error, RMSE）是一種定量的衡量方式，主要反映估計值與真實值之間的偏差，計算公式為

3)平均對數誤差(lg)，主要是為了更便捷發現數據之間的關系，所以對數據轉換也是一種解決方法，計算公式為

式中：N是輸入圖像的像素總數；是像素點的真實深度；dp是像素點的預測深度。

實驗1基于Make 3D標準數據集的深度估計

本實驗采用http://make3d.cs.cornell.edu/data.html網站上提供的Make 3D標準數據集[22]進行了室外單幀圖像深度估計實驗。Make 3D數據集是目前最主流的室外圖像標準數據集，包含534對RGB-D圖像對(包括RGB圖像和其對應的深度圖像)，其中，400對圖像對用于訓練，134對圖像用于測試。每幀圖像的深度值均由激光雷達進行采集，相較于Kinect相機采集的深度信息，該測距儀可以得到室外圖像更加精確的深度信息，而且測距范圍更大，與普通的深度傳感器相比還具有分辨率高、抗干擾能力強等特點。由于Make 3D圖像中深度層次區分不明顯，所以采用顏色熱圖表示其深度估計結果。本文從該數據集包含的134個測試樣本圖像中根據光照以及環境復雜度的不同選取了10幀圖像進行深度估計算法驗證，深度估計結果如圖5所示。

由圖5可以看出，本文所提出的室外圖像深度估計方法可以準確地估計出室外單幀圖像的深度值。為了進一步驗證本文所提出方法的有效性，結合圖像深度估計性能評價標準對估計結果進行量化分析，并與FCRN(fully convolutional residual networks, FCRN)[19]和DCNF-FCSP[12]深度估計方法進行比較，結果如表1所示。

圖5 Make 3D數據集的深度估計結果(藍色：近；紅色：遠)Fig. 5 Results of depth estimation on Make 3D dataset (blue: close; red: far)

從表1可以看出本文所提出的基于遷移學習的室外單幀圖像深度估計方法在3個性能評價指標上均優于FCRN深度估計方法，在平均相對誤差和均方根誤差上均優于DCNF-FCSP深度估計方法，而且在平均相對誤差這一評價指標上具有較為明顯的優勢。

表1 Make 3D數據集深度估計結果對比Table 1 Comparison of depth estimation results for Make 3D dataset

實驗2實際拍攝的室外圖像深度估計

圖6 實際拍攝室外圖像深度估計結果(藍色：近；紅色：遠)Fig. 6 The actual outdoor image depth estimation result (blue: close; red: far)

本實驗的目的是通過對實際拍攝的室外圖像深度估計，來進一步驗證所提方法在真實場景中的有效性和優越性。實驗中使用博世(BOSCH)DEL40手持激光測距儀進行實際深度值測量，隨機選取圖像中一個矩形區域的4個頂點對圖像深度估計質量進行評估，深度估計結果如圖6所示。由圖6可以看出，本文所提出的深度估計方法對于實際拍攝的室外單幀圖像在光照均勻且場景簡單的環境下可以實現較好的深度估計。

表2進一步給出了本文所提出的室外單幀圖像深度估計方法與主流的FCRN深度估計方法[19]、DCNF-FCSP深度估計方法[12]的量化估計結果，其中深度的真實值由激光測距儀獲得。由表2可以看出，本文所提出的深度估計方法對于光照均勻且場景簡單的室外單幀圖像能夠進行準確的深度估計。通過3種方法在室外圖像中任意選取的矩形區域頂點的深度估計結果與真實距離的對比可以看出，本文所提出的深度估計方法對于實際拍攝的室外單幀圖像深度估計的精度更高。

表2 實際拍攝室外圖像中所選矩形區域的深度估計結果比較Table 2 Comparison of depth estimation results of selected regions in actual outdoor images

表3給出了在式(3)～(5)所定義的3種深度估計性能評價標準下上述3種深度估計方法的性能比較結果。從表3中的對比結果可以看出，與FCRN和DCNF-FCSP方法相比，本文所提出的室外單幀圖像深度估計方法性能更優。

表3 實際拍攝室外圖像深度估計結果對比Table 3 Comparison of depth estimation results of actual outdoor images.

綜上所述，本文所提出的基于遷移學習的室外單幀圖像深度估計方法在實際拍攝的室外單幀圖像上也取得了較高的深度估計精度，是一種有效的室外單幀圖像深度估計方法。

3.2 移動機器人坡度檢測實驗

本實驗的目的是通過2組具有不同傾斜角的斜坡在不同視角下的坡度檢測實驗，驗證所提出的改進的移動機器人單幀圖像坡度檢測算法的有效性和可行性。實驗中的斜坡圖像采集裝置主要包括TurtleBot移動機器人和Kinect深度相機，如圖7所示，安裝在移動機器人上的Kinect相機可以從不同的視角獲取各種角度的斜坡圖像。

圖7 斜坡圖像采集裝置Fig. 7 Slope image acquisition device

實驗場地如圖8(a)、(e)所示。對2個視野開闊，便于觀察且傾角不同的斜坡分別從5個不同視角進行了坡度檢測實驗。分別采用絕對誤差、相對誤差和誤差均值3個指標對所提出的移動機器人單幀圖像坡度檢測算法估計出的斜坡角度的精確度進行評估。室外不同視角下的斜坡邊緣提取和深度估計的實驗結果分別如圖8(b)～(d)、(f)～(h)所示，其量化估計結果如表4所示。由圖8和表4結果所示，將本文所提出的基于遷移學習的室外單幀圖像深度估計方法應用于移動機器人坡度檢測中，對于不同傾角和不同視角下的斜坡均能得到更加準確的坡度檢測結果，大大提高了移動機器人在未知環境中感知坡度的精確度。

圖8 室外斜坡邊緣提取結果與深度估計結果(藍色：近；紅色：遠)Fig. 8 Outdoor slope edge extraction results and depth estimation results (blue: close; red: far)

表4 室外斜坡角度估計結果對比Table 4 Comparison of outdoor slope angle estimation results

4 結束語

本文提出了一種基于遷移學習的室外單幀圖像深度估計方法，通過將室內圖像深度估計網絡參數遷移至室外圖像深度估計網絡中，對室外單幀圖像深度進行估計，解決了室外圖像數據集有限的問題。實驗結果表明，本文所提出的室外圖像深度估計方法在Make 3D標準數據集和實際拍攝的室外單幀圖像上都取得了較高的深度估計精度。在此基礎上將其與基于視覺的移動機器人坡度檢測相結合進一步提出了一種改進的移動機器人單幀圖像坡度檢測算法，實驗結果表明移動機器人坡度檢測精度得到了顯著提高，檢測精度滿足移動機器人在未知環境中對坡度感知精度的要求。在今后的工作中，我們將進一步將本文所提出的單幀圖像深度估計結果應用到圖像語義分割中以提高圖像語義分割網絡的性能，最終完成未知環境下的高精度3D語義地圖構建。