基于全卷積編解碼網絡的單目圖像深度估計

夏夢琪，郝 琨，趙 璐

天津城建大學 計算機與信息工程學院，天津300384

圖像深度信息對于重建場景的三維結構具有重要意義，在視覺導航、3D 重建、自動駕駛[1-3]等領域有著廣泛的應用。然而市場上用于獲取圖像深度信息的深度傳感器具有成本過高、噪聲過大等不足，使其很難在工業界中推廣使用。相比之下，基于單目圖像進行深度估計的方法，可應用的范圍更廣[4]，并且具有方便部署、計算成本低等優點。因此，研究者們將目標轉向了單目圖像的深度估計上。

單目圖像深度估計方法可分為傳統方法和深度學習方法。傳統方法是通過利用概率圖模型[5]和非參數技術[6-7]尋求解決方案。其中概率圖模型將馬爾可夫隨機場（Markov Random Field，MRF）以及連續條件隨機場（Conditional Random Field，CRF）等運用于模型中，此方法使用的特征信息都是基于手工進行特征提取，導致估計速度較低并且在性能和效率上均顯示出局限性。非參數技術依賴于場景之間的相似性來推斷測試圖像的深度，但是當數據庫中缺乏類似場景時，就很難估計出精確的深度圖。

近年來，應用深度學習方法進行單目圖像的深度估計得到迅速發展。卷積神經網絡（Convolutional Neural Network，CNN）作為深度學習的典型代表算法之一，在單目圖像深度估計領域已經取得了重大進展[8-15]。文獻[8]首次提出基于卷積神經網絡的單目圖像深度估計模型，該模型包含兩個網絡：第一個粗網絡利用整個圖像做粗略的全局預測，第二個精細網絡局部地優化預測結果，這一方法與傳統方法相比獲得了不錯的結果，但是由于網絡層數少，感受野小，無法提取到圖像深層次的特征，使得深度圖邊緣模糊。之后，大量研究人員在此基礎上進行了優化改進。比如，文獻[13]結合了一個深度卷積神經網絡和一個連續的條件隨機場（CRF）設計模型，并在視覺上獲得了更清晰的過渡和局部細節。文獻[14]提出了兩種順序的深度網絡，通過條件隨機場融合了從卷積神經網絡的多個側輸出獲得的互補信息。文獻[13-14]雖然精度有所提升，但是條件隨機場的引入使得模型更加復雜化，計算效率降低，并且隨著網絡的加深，梯度消失和網絡退化現象越發明顯。文獻[15]利用深度殘差網絡[16（]Deep Residual Network，Resnet）的殘差學習方法，提出了一種完全卷積的架構，并采用了一種新穎的上采樣方法，稱為上投影。該方法采用Resnet進行特征提取，其中殘差結構中的跳躍連接的運用有效解決了梯度消失和網絡退化現象，但是上采樣單純使用上投影或者上卷積方法，特征圖中包含了大量0 值的情況，造成了冗余，導致最終的輸出結果分辨率不高。所以，盡管經過十多年的基于RGB 的深度預測的研究，其準確性和可靠性仍遠遠不夠。而一直以來，通過融合來自不同傳感器信息的深度預測方法也層出不窮。例如，文獻[17]提出了一個CNN，它同時接收RGB 圖像和光流圖像作為預測的輸入。文獻[18]研究了安裝在移動地面機器人上的2D 激光掃描儀的使用，以提供額外的參考深度信號作為輸入，并且比單獨使用RGB 圖像獲得更高的精度。但是他們的傳感器需要嚴格的規定方向和位置，對研究工作造成了限制。

本文針對上述方法的不足，提出了一種全卷積編碼-解碼網絡模型。該模型將稀疏的深度樣本和RGB圖像作為輸入，通過融合來自不同傳感器的信息來改善深度預測，本文方法不限定傳感器的方向或位置，也不限定深度樣本在像素空間中的空間分布，大大降低了繁雜程度。并將Resnet用于編碼層，進一步增強了網絡的特征提取能力，解決了梯度消失和網絡退化現象。解碼層由兩個上采樣層和一個雙線性上采樣層組成，上采樣層采用上卷積模塊和上投影模塊交叉使用，使信息能夠更高效地在網絡中傳遞，提升最終的輸出結果分辨率。模型中使用了全卷積，有效降低了棋盤效應并保留了預測深度圖像的邊緣信息，并且使得參數減少，提升了預測速度。

1 深度估計模型及方法

本章描述了網絡模型以及深度采樣策略，并介紹了本文中用于訓練的損失函數。

1.1 全卷積編碼-解碼網絡結構

整體網絡采用了全卷積編碼-解碼網絡結構，其輸入為稀疏深度樣本和RGB 圖像，網絡直接輸出估計的深度圖，不需要后處理操作。該結構由兩部分組成，即編碼層和解碼層，編碼層基于深度殘差網絡進行特征提取，解碼層基于上卷積模塊和文獻[15]中提出的上投影模塊作為上采樣層。整體結構如圖1所示。

1.1.1 編碼層

網絡的編碼層由Resnet-50 和一個卷積層組成，其中原始的Resnet-50最后一個平均池化層和全連接層已被刪除，即圖1 中藍色所示。經過前期處理后得到4×228×304的圖像，將其輸入到網絡模型中，經過Resnet-50的最后一個卷積層產生2 048 個空間分辨率為10×8 像素的特征圖。編碼層的第二個部分為一個卷積核1×1的卷積層，通道數減半，之后進行歸一化操作。

圖1 全卷積編碼-解碼網絡模型

本文模型運用Resnet-50[16]進行特征提取，能更好地解決模型層數加深后帶來的精度下降的問題。Resnet中提出了跳躍連接，這種方式可以創建更深的網絡，而不會導致梯度消失或退化。由于接收范圍更廣，Resnet-50可以捕獲更高分辨率的輸入圖像。

1.1.2 解碼層

解碼層由兩個上采樣層和一個雙線性上采樣層組成，以此獲得分辨率更高的輸出結果。上采樣層采用上卷積模塊和上投影模塊交叉使用，較僅使用上卷積模塊進行上采樣相比，增加了特征信息的利用率，有效提高了預測精度，并在內存消耗上更加平衡。

上卷積模塊首先進行一個內核為2×2的上池化，缺少值的地方填補0，之后采用5×5 大小的卷積核進行卷積操作，并依次通過Relu激活函數，具體結構如圖2所示。

圖2 上卷積模塊

上投影模塊[15]是對上卷積模塊進行了擴展，在上卷積模塊后加一個3×3卷積，并從較低分辨率的特征圖到結果添加投影連接。由于尺寸的不同，需要在投影分支中使用另一個上卷積對小尺寸圖進行上采樣，但由于兩個分支只需使用一次上池化，所以在兩個分支上分別應用5×5 卷積，之后通過Relu 激活函數，具體結構如圖3所示。上投影模塊可以使特征信息在網絡中更有效地向前傳遞，同時逐步增加特征圖的分辨率。

圖3 上投影模塊圖

通過四個上采樣層之后產生分辨率為128×160 的圖像，之后采用雙線性插值進行上采樣，產生跟輸入圖像分辨率一樣的輸出預測圖，大小為228×304。雙線性插值是圖像縮放的一種方式，其主要分為兩步線性插值，而雙線性上采樣的使用，使得產生的新圖像效果更好，過渡更自然，邊緣也更為光滑。具體表達式如下：

其中，(x,y)為插值點P在原圖像的坐標，f(p)為待計算插值；(x,y1)為下方插值點R1的坐標，f(R1)為下方插值；(x,y2)為上方插值點R2的坐標，f(R2)為上方插值；(x1,y1)和(x2,y1)分別為下方插值點R1相鄰兩點Q11、Q21的坐標，f(Q11)為點Q11的像素值，f(Q21)為點Q21的像素值；(x1,y2)和(x2,y2)分別為上方插值點R2相鄰兩點Q12、Q22的坐標，f(Q12)為點Q12的像素值，f(Q22)為點Q22的像素值。

1.2 深度采樣

本節介紹根據真實深度圖像創建輸入稀疏深度圖像的采樣策略。在訓練期間，輸入的稀疏深度D從真實深度圖像D*中隨機抽取。對于任何像素(i,j)

其中，D為稀疏深度，D*為真實深度，伯努利概率p=m/n,n為D*中有效深度像素的總數，m為目標深度樣本數，其在訓練過程中固定。使用此采樣策略，每個訓練樣本的實際非零深度像素數在期望值m左右變化。

1.3 損失函數

損失函數是最基礎也是最為關鍵的一個要素，它可以很好地反映模型與實際數據之間的差距。本文選用平均絕對誤差（Mean Absolute Error，MAE）L1范數作為網絡結構的損失函數，用以度量目標值和預測值之間絕對差之和的平均值。L1范數定義如下：

其中，y表示目標值，y表示預測值。

2 實驗設置

使用NYU-Depth-v2[19]數據集對本文模型進行訓練以及測試。該數據集是使用微軟Kinect 相機從464 種不同室內場景中采集的，由RGB和深度圖像組成，并且廣泛應用于單目圖像深度估計任務中。本文實驗使用官方的數據劃分，其中249個場景用于訓練，其余215個場景用于測試。本文從訓練數據集中的每個原始視頻序列在空間上進行均勻采樣，生成大約48 000張圖像用于訓練，為了進行基準測試，使用帶有654 張圖像的小標簽測試數據集來評估最終性能。訓練過程中參照先前的經驗[15，20]對訓練圖像進行隨機縮放、RGB和深度圖像均以0.5的概率水平翻轉以及改變顏色和對比度等處理進行數據擴充，并將原始640×480的RGB圖降采樣為一半，然后進行中心裁剪，最終尺寸為304×228 作為模型輸入。

實驗硬件配置為Intel?CoreTMi7-7700 CPU@3.60 GHz處理器，模型在具有16 GB內存的NVIDIA Tesla K20M GPU上進行訓練。編碼層中Resnet的權重使用在ImageNet數據集[21]上預先訓練的模型進行初始化。實驗設置批處理大小為8，迭代次數設置為20，初始學習率設置為0.01，每5次迭代降低到20%，并且以10－4的小權重衰減以進行正則化。

本文通過4個實驗分別對損失函數、網絡成分以及稀疏深度樣本數量的影響作了對比，并與Eigen 等人[8]的多尺度卷積神經網絡和Laina等人[15]基于殘差學習的全卷積網絡以及最新方法進行了比較。本文使用如下評價指標對實驗結果進行評估：

均方根誤差（Root Mean Squared Error，RMSE）：

平均絕對相對誤差（average Relative Error，REL）：

3種閾值下的準確率δ，公式為：

其中，N為像素總數，Di為第i個像素的估計深度值，為第i個像素對應的真實深度值。

3 實驗結果分析

3.1 損失函數評估

本文上采樣層使用2×2卷積核的簡單反卷積網絡，在相同網絡體系結構下對L1范數、平方損失函數（Mean-Square Error，MSE）L2范數和Berhu[15]損失函數進行了測試，結果如圖4所示。Berhu和L1各項指標均明顯優于L2，而對比Berhu 和L1,L1產生了更好的結果。其中，使用L1在精度δ<1.25 上比L2提高3%，RMSE 降低約3%，而跟Berhu 損失函數相比準確率雖然相差不大，但是RMSE降低約1%。這是因為L2范數雖然是目前最常用的回歸問題的損失函數，是目標變量和預測值的差值平方和，但是在實驗中，L2損失放大了較大誤差和較小誤差之間的差距，即其對較大誤差的懲罰力度更大，而對較小誤差更為容忍，因此造成了訓練的不穩定和發散，而L1對于輸入值有著穩定的梯度，不會導致梯度爆炸問題，具有較為穩健性的解。

圖4 損失函數對比圖

3.2 上采樣層評估

本文對不同上采樣層產生的影響進行了對比，包括對具有不同大小的卷積核進行反卷積和上卷積模塊進行反卷積，以及本文提出的方法，結果如表1 所示。在100 稀疏深度樣本數量下進行比較，使用3×3 卷積核進行反卷積要優于僅使用2×2 卷積核進行反卷積。而本文模型與上卷積模塊進行比較，效果有所提升。這是因為本文將上卷積模塊與上投影模塊交叉使用，增加了特征信息的利用率，較好地保留了預測深度圖像的邊緣信息，有效提升了預測精度，得到了較好的結果。

表1 上采樣層評估

3.3 稀疏深度樣本數量對深度估計的影響

為了驗證稀疏深度樣本數量對深度估計的影響，本文隨機采樣了不同數量的稀疏深度樣本作為網絡模型的輸入，實驗結果如表2 所示。可以看出，與不添加稀疏深度樣本相比，僅添加100 稀疏深度樣本在精度δ<1.25 上提高16%，誤差RMSE 降低26%。隨著稀疏深度樣本數量的進一步增加，深度值的誤差呈下降趨勢，精度不斷提高。與Liao 等人[18]的方法進行對比，本文方法僅輸入100 個樣本，預測精度提高約10%，誤差降低17%，這是由于本文中樣本在空間上是均勻的，因此能夠提供更多的信息進行深度估計。

表2 稀疏深度樣本數量結果對比

本文方法所得深度圖也有更清晰的場景結構和更豐富的場景細節，圖5顯示了使用不同輸入進行預測的示例。其中從上到下依次為原圖、基于RGB 圖像的預測圖、100 稀疏深度樣本和RGB、500 稀疏深度樣本和RGB，最后一行是真實值。由圖5 可以看出，添加了稀疏深度樣本的深度圖比僅使用RGB預測的深度圖更加清晰，而添加了500稀疏深度樣本所預測的深度圖比添加了100 稀疏深度樣本所預測的深度圖邊緣細節處理得更好，可視化效果更理想。

圖5 NYU-Depth-v2數據集結果對比圖

3.4 不同深度估計方法評估

本節將本文方法與現有方法進行了比較，在大部分指標上均優于現有方法，對比結果如表3所示。在僅使用RGB 圖像的預測結果下，本文方法預測結果的均方根誤差達到了0.534，比Laina等人[15]的基于殘差學習的全卷積方法降低了4%，比Eigen 等人[8]的多尺度卷積網絡降低了11%。從指標上來看，本文提出的方法能夠得到更精確的預測深度圖。

表3 NYU Depth-v2數據集上實驗結果對比

4 總結

本文提出了一種全卷積編碼-解碼網絡模型，編碼層由Resnet 組成，緩解了梯度消失和網絡退化問題，解碼層中的上采樣層采用上卷積模塊和上投影模塊交叉使用，使高層的信息更為高效地在網絡中傳遞，提升最終的輸出結果分辨率。全卷積的使用有效降低了棋盤效應并保留了預測深度圖像的邊緣信息。本文還引入了一種根據RGB圖像和稀疏深度圖像進行深度預測的方法，實驗結果證明了這種方法與僅使用RGB 圖像和其他現有的RGB-D融合技術相比有明顯的優勢。后續工作中，將嘗試保證精度可接受的前提下提高運算效率，將相關成果運用在嵌入式設備中。