基于DSPP的單目圖像深度估計

收稿日期：2022-05-03；修回日期：2022-06-15" 基金項目：四川省科技廳重點研發項目（2020YFG0442）

作者簡介：張競瀾（1997-），男，四川巴中人，碩士研究生，主要研究方向為圖形圖像處理（405009964@qq.com）；魏敏（1978-），男，四川仁壽人，教授，博士，主要研究方向為圖像處理與目標檢測技術；文武（1979-），男，四川成都人，講師，博士，主要研究方向為深度學習.

摘 要：空洞空間金字塔池化（ASPP）在深度學習各種任務中均有應用，傳統ASPP模塊只考慮了提升卷積感受視野，但ASPP中的每次空洞卷積選取的像素點分散，會丟失大量像素點間的信息，而深度估計屬于密集預測任務。針對ASPP模塊這一弊端提出了一種動態密集的DSPP模塊。該模塊用一種動態卷積代替空洞卷積，結合ASPP的思想，采用不同大小的卷積尺寸，并結合通道注意力充分利用每一層的特征，解決了ASPP丟失信息的問題，與ASPP相比在大大減小模塊參數量的前提下，提升了整體模型的準確率。在NYU Depth v2數據集上與主流算法相比，深度圖在均方根誤差（RMSE）上降低了12.5%，到0.407，并且準確率（δlt;1.25）提高了3.4%，達到0.875，驗證了算法的有效性。

關鍵詞：單目深度估計；卷積神經網絡；深度學習

中圖分類號：TP3"" 文獻標志碼：A

文章編號：1001-3695（2022）12-051-3837-04

doi：10.19734/j.issn.1001-3695.2022.05.0212

Monocular depth estimation based on DSPP

Zhang Jinglan，Wei Min，Wen Wu

（School of Computer，Chengdu University of Information Technology，Chengdu 610225，China）

Abstract：Atrous spatial pyramid pooling （ASPP） has applications in various tasks of deep learning.The traditional ASPP module only considers improving the receptive field of convolution，but the pixels selected by each atrous convolution in ASPP are scattered，and a lot of information between points will be lost，while depth estimation is a dense prediction task.Aiming at the drawback of the ASPP module，

this paper proposed a dynamic and dense DSPP module，this module replaced atrous convolution with a dynamic convolution，combined the idea of ASPP，adopted different kernel sizes，and combined channel attention to make full use of the features of each layer.It solved the problem of ASPP losing information，and improved the accuracy of the overall model on the premise of greatly reducing the amount of module parameters compared with ASPP.Compared with the mainstream algorithm on the NYU Depth v2 dataset，the depth map reduces the root mean square error （RMSE） by 12.5% to 0.407，and the accuracy （δlt;1.25） increases by 3.4% to 0.875，which verifies the effectiveness of the algorithm.

Key words：monocular depth estimation；CNN；deep learning

0 引言

深度估計是許多應用如三維重建、自動駕駛、即時定位和增強現實（AR）等任務［1～3］的基礎，傳統的估計深度的辦法大多是用深度傳感器，比如激光雷達、結構光相機［4］（微軟的Kinect相機）等，但這些設備都因其應用場景和成本的原因而適用受局限。相比之下，基于深度學習的單目深度估計成本十分低廉，并且數據應用場景廣泛，所以單目圖像深度估計研究受到越來越多的關注。

早先的深度估計問題的方法旨在利用單目深度線索，如遮擋［5］、大氣散射［6］、線性透視［7］和散焦［8］，根據人類的經驗來估計場景的深度信息，應用場景很局限，效果也不盡如人意。得益于近年來的卷積神經網絡（convolutional neural network，CNN）的發展，許多研究人員開始使用CNN來處理深度估計的課題。Eigen等人［9］第一個使用多尺度學習策略的卷積結構進行預測。不同于以往的深度估計，他們的網絡具有可以從原始像素中學習表示，而無須手工制作的特征。但是由于網絡層數少、感受視野小，無法提取到圖像更深層次的特征，使得深度圖邊緣模糊。之后他們在此基礎上進一步構建了同時輸出表面法線和物體標簽的多任務模型［10］。Fu等人［11］將回歸任務轉換為分類任務，提供了一種新的思路，但是深度圖復雜的區域有明顯失真。Xu等人［12］通過在CNN中使用條件隨機場（CRF）提高了預測圖的分辨率，雖然結果相較之前方法有所提升，但加入條件隨機場會增加模型復雜度，降低模型計算效率，并且有著明顯的梯度消失等問題。Laina等人［13］利用深度殘差網絡［14］（deep residual network）的殘差學習方法，構建全卷積的結構，用ResNet提取特征，損失函數采用Huber Loss，有比較好的效果，但是物體的邊界不清晰。Alhashim等人［15］使用了十分簡潔的編解碼模型，以DenseNet［16］來提取特征并且采用高分辨率的圖片取得了不錯的效果，但該方法得出的深度圖的精度還可以進一步提升。夏夢琪等人［17］將稀疏深度樣本加入訓練，提升了模型效果，但是當不使用深度樣本進行訓練時模型性能不太理想。Chen等人［18］在圖像分割中引入了空洞空間卷積池化（atrous spatial pyramid pooling，ASPP）模塊，該模塊通過不同擴張率的空洞卷積來擴大感受視野，明顯地優化了模型。但是，深度估計屬于密集預測任務，許多其他視覺任務適用的方法與經驗不能直接用于深度估計任務上，ASPP擴大感受視野的同時也丟失了大部分細節，并且如果疊加更多不同擴張率的空洞卷積彌補空洞卷積，本身缺陷又會導致參數量增加。Lee等人［19］將ASPP模塊引入深度估計，最后該模型以少量的參數增加獲得了優異的模型表現。但是從該文章中的消融實驗可以看出，雖然ASPP模塊的確減少了模型的誤差，但是僅減少了1.7%，模型中真正起作用的是他們提出的另外一個模塊。Wu等人［20］將殘差的思想引入ASPP取得了不錯的成果，但是該模塊還是未解決參數量大與細節丟失的問題。

受Yang等人［21］提出的Condconv啟發，Condconv能夠以較少的參數獲得較大的感受視野與容量。為了取得更準確的深度圖，本文引入了ASPP模塊，并且為適應深度估計這一任務，結合ASPP和Condconv的優點，針對ASPP的本身缺陷作出了改進，提出了一種適用于密集預測任務的DSPP（dynamic spatial pyramid pooling）模塊。該模塊可以根據輸入的不同而動態調整卷積核權重，而不是像普通卷積對所有輸入都一視同仁，同時繼承了ASPP的大感受視野，卻并未犧牲細節。

1 算法描述

1.1 編碼—解碼網絡結構

本文算法的網絡采用編碼解碼網絡如圖1所示，網絡結構由三部分組成，即編碼端、DSPP模塊和解碼端。

1.1.1 編碼端

Alhashim等人［15］證明基于遷移學習的方法可以很好地適用于深度估計任務，并且遷移學習能夠使任務模型訓練得更加快速和準確，所以編碼端使用EfficientNetV2［22］這個在分類任務的網絡中效果最好的幾個分類網絡之一（該網絡的特點是以MBConv作為主要模塊，該模塊具有十分強的學習能力，能有效學習各個通道）作為提取圖像特征的網絡。本文在編碼端選擇使用EfficientNetV2的M大小的網絡即EfficientNetV2-M。EfficientNetV2-M作為特征提取網絡，在網絡模型建立的同時預先加載了在ImageNet［23］數據集上預訓練的參數。經過網絡的特征提取后的RGB圖像將由動態ASPP輸入給解碼端，并且在網絡提取特征的同時輸出不同分辨率的多維特征。

1.1.2 解碼端

解碼端則是使用四個連續的上采樣模塊構成。上采樣模塊首先經過上采樣層（upsampling）把從編碼端接收到的低分辨率的特征上采樣得到分辨率更高的特征送入連接層。接著連接層接收來自編碼端的同分辨率和更低分辨率上采樣后融合到一起的特征與采樣層輸出的特征融合，經過兩對連續的3×3卷積核與LeakyReLU后，得到分辨率變為兩倍通道數減半的特征圖。最后送入下一個上采樣模塊，連續經過四次上采樣模塊，最終384×384×3的RGB原圖變成192×192×1大小的深度圖，具體結構如圖2所示。

1.1.3 DSPP模塊

ASPP模塊使用多個擴張率不同的空洞卷積疊加而成，如圖3所示。圖3（a）為ASPP模塊，由五個不同擴張率的空洞卷積疊加而成，但是空洞卷積的疊加使用對密集預測任務十分不友好，會丟失很多像素細節。所以本文提出一種DSPP（dynamic spatial pyramid pooling）模塊，該模塊繼承ASPP的思想，使用少量大尺寸的動態卷積替換空洞卷積，在每一次動態卷積后與輸入特征拼接送入通道注意力模塊（圖4）［24］后再進行下一次卷積。區別于ASPP直接的疊加卷積，該結構能夠更好地容納不同感受視野的特征并且不丟失編碼端的信息，在每次卷積后使用通道注意力模塊可以進一步為編碼端特征和動態卷積特征賦予不同權重。更大尺寸的卷積核有著更大的感受視野，但是也意味著更大的參數，本文使用三個大尺寸depthwise動態卷積替代五個3×3空洞卷積，以更少的參數量獲得更大的感受視野與容量，如表1所示。

本文還對動態卷積進行改進，圖5（b）為原始動態卷積，卷積通過全局平均池化，全連接和sigmoid預測n個參數為n個專家賦值（如圖中三個），該卷積容量相當于三個并行卷積。本文將預測參數的模塊加入了一層全連接層和激活層并將最后激活函數由sigmoid替換為softmax，這樣做比直接用一個全連接層的好處在于：具有更多的非線性，可以更好地擬合通道間復雜的相關性。

1.2 損失函數

單獨一種損失函數會讓該模型的性能有些片面，因此考慮幾種不同的損失函數。本文三種損失函數不僅只考慮深度值，還考慮了邊界信息與圖像的結構相似性兩個方面，最終再把這三個損失加權求和，如式（1）所示。

L=ldepth+lgrad+lSSIM（1）

其中：L為總損失；ldepth為深度損失；lgrad為梯度損失；lSSIM為結構相似損失。深度損失如式（2）所示。

ldepth=1n∑ni=1yt-yp（2）

其中：n為樣本個數；yt是真實深度值；yp是預測深度值。直接計算預測值與真實值之間的差值，但單純的深度損失不會考慮其他方面的問題，會導致深度圖比較模糊，與原圖從主觀視覺來看有差別。梯度損失如式（3）所示。

lgrad=1n∑ni=1（x（yt，yp）+y（yt，yp））（3）

其中：x和y分別是計算第i個像素在x和y方向上的梯度。該損失很好地考慮了深度圖中高頻失真的部分，比如場景中物體的邊界信息，該損失函數能使深度圖的邊界更加清晰。

結構相似損失（SSIM）［25］如式（4）所示，該損失函數考慮了明亮度、對比度和結構三個方面，總的來說就是該損失函數懲罰那些在人眼中與原圖不相似的圖片，SSIM能從更細節的地方優化結果。

lSSIM=1-SSIM（yt，yp）2（4）

2 實驗結果分析

2.1 數據集

本文采用NYU Depth v2數據集［26］，該數據集提供640 × 480分辨率的室內場景RGB圖像和同RGB相匹配的同分辨率的深度圖。數據集包含464種不同室內場景共12萬張，根據官方的數據劃分249個場景的5萬張圖片用做訓練樣本，其余的215個場景（654張圖片）作為測試樣本，其中深度圖有10 m的界限。本文網絡在輸入深度圖計算loss時采用下采樣，使深度圖分辨率變成192×192的分辨率。而在訓練中以384×384分辨率輸入RGB圖像。需要注意的是，本文不會對輸入的RGB訓練圖片進行任何剪裁或修改。在訓練完成后的測試階段，本文通過輸入測試集得到深度圖，然后將其上采樣恢復到原始分辨率并且與真實深度進行計算得出關于該模型的評價。

2.2 實驗設置

本文實現了上面所提出的深度估計網絡，采用TensorFlow［27］作為深度學習框架，版本為2.4，并在NVIDIA GeForce RTX3090 GPU（24GB）上訓練。在所有實驗中，使用了Adam［28］優化器進行優化，學習率設置為0.000 1，其他超參數β1=0.9，β2=0.999。batchsize設置為8，epoch設為20，網絡中編碼端使用ImageNet預訓練參數初始化，其他層皆為隨機初始化。

2.3 評價指標

本文從四個方面的評價指標，客觀地評估該模型的有效性，這四個評價指標分別為：

a）RMS（均方根誤差）：

RMS=1n∑ni=1（yt-yp）2（5）

b）REL（平均相對誤差）：

REL=1n∑ni=1yt-ypyp（6）

c）log10（對數平均誤差）：

log=1n∑ni=1log10yt-log10yp（7）

d）δ（三種閾值下的準確率）：

δ=maxytyp，ypytlt;thrthr=1.25，1.252，1.253（8）

其中：n表示像素點的個數；yt 是真實深度值；yp是預測深度值。

2.4 消融實驗

本文為驗證本文方法的有效性，進行了消融實驗和對比分析，具體數據如表2所示。使用ASPP的方法在每個指標上均相對基礎網絡有略微提升，但提升效果不明顯，原因是ASPP提高了感受視野卻忽略了像素點間的信息。而DSPP模塊解決了這一問題，單獨使用DSPP模塊就有明顯提升，在第一閾值準確率上相較基本方法提升了1.3%，在RMS上減少了1.2%。加入通道注意力后各個指標均有明顯提升，可以看出通道注意力對編碼端特征和DSPP特征的融合有顯著效果，第一閾值準確率提升1.5%，在RMS上減少3.1%。綜上，本文提出的DSPP加通道注意力的方法能夠獲得更加精確的深度圖。

本文還對不同尺寸的卷積核進行了對比分析。在使用尺寸為3的3個卷積核時各個指標均優于表2中的ASPP，進一步驗證了DSPP即使使用小卷積核的動態卷積替代空洞卷積，在深度估計這項任務中性能依舊強于ASPP。表3可見，卷積核尺寸越大模塊效果越好。

2.5 與主流算法對比

下面將本文與現有幾種主流的方法進行了比較，在幾乎所有指標上均優于主流方法，具體結果如表4所示。

從指標上來看，與主流算法相比，深度圖質量在RMS（均方根誤差）上相較文獻［15］降低了12.5%，準確率提高了3.4%，能更準確地預測深度圖。圖6給出了本文方法與文獻[15]方法的深度圖對比。最左列為原始RGB圖，第二列為文獻[15]方法結果圖，第三列為本文方法結果圖，最后一列為真實深度圖。

從第一張圖片兩種方法對垃圾桶的預測可以看出明顯的差異，文獻[15]方法將垃圾桶與操作臺預測為一個深度，看做一體，而本文方法與真實深度都明顯地將兩者區分開來。

第二張圖對比了在光照影響下兩種方法的差異。文獻[15]方法受光照影響明顯，錯誤地將光照強烈區域理解為深度較近區域，而本文方法很好地解決了這一點，大體上與真實深度相近。

第三張圖對比了在玻璃這個因素的影響下的差異，能看出兩種方法對于近處的洗手池與馬桶預測差別不大，但對于受玻璃影響的最里面的墻壁的預測，文獻[15]方法則完全失去了作用，而本文則很好地預測到了最里面的底角深度。可以看出，本文方法，無論預測普通場景，還是特殊場景，都有較好的表現。

3 結束語

ASPP為了提升感受視野采用空洞卷積，但因此丟失了像素細節，本文針對這個問題提出了由ASPP改進的DSPP，該模塊由容量更大的大尺寸動態卷積和通道注意力模塊組成，多次將編碼端特征與DSPP特征融合，以更少的參數量獲得了更好的模型效果。但該模型問題也是現在基于深度學習的方法的通病，雖然DSPP模塊參數量大大減小，但整體模型開銷比較大，在實際應用中部署困難。在后續的工作中，將嘗試沿襲本文的思想，使用開銷更小的模型，在精確度可以接受的范圍內盡可能地提高模型預測的速度，使其應用范圍大大增加。

參考文獻：

［1］Zeng A，Song Shuran，Nieβner M.3DMatch：learning local geometric descriptors from RGB-D reconstructions［C］//Proc of IEEE Confe-rence on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2017：199-208.

［2］Tateno K，Tombari F，Laina I，et al.CNN-SLAM：real-time dense monocular SLAM with learned depth prediction［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2017：6565-6574.

［3］Cho L，Kim Y，Jung H，et al.Multi-task self-supervised visual representation learning for monocular road segmentation［C］//Proc of IEEE International Conference on Multimedia and Expo.Piscataway，NJ：IEEE Press，2018：1-6.

［4］Smisek J，Jancosek M，Pajdla T.3D with Kinect ［M］//Consumer Depth Cameras for Computer Vision.London：Springer，2013.

［5］Hoiem D，Stein A N，Efros A A，et al.Recovering occlusion boundaries from a single image［C］//Proc of the 11th IEEE International Confe-rence on Computer Vision.Piscataway，NJ：IEEE Press，2007：1-8.

［6］Guo Fan，Tang Jin，Peng Hui.Adaptive estimation of depth map for two-dimensional to three-dimensional stereoscopic conversion［J］.Optical Review，2014，21（1）：60-73.

［7］Tsai Y M，Chang Y L，Chen L G.Block-based vanishing line and vani-shing point detection for 3D scene reconstruction［C］//Proc of International Symposium on Intelligent Signal Processing amp; Communications.Piscataway，NJ：IEEE Press，2006：586-589.

［8］Tang Chang，Hou Chunping，Song Zhanjie.Depth recovery and refinement from a single image using defocus cues［J］.Journal of Modern Optics，2015，62（6）：204-211.

［9］Eigen D，Puhrsch C，Fergus R.Depth map prediction from a single image using a multi-scale deep network［M］.Cambridge，MA：MIT Press，2014.

［10］Eigen D，Fergus R.Predicting depth，surface normals and semantic labels with a common multi-scale convolutional architecture［C］//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2014.

［11］Fu Huan，Gong Mingming，Wang Chaohui，et al.Deep ordinal regression network for monocular depth estimation［C］//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：2002-2011.

［12］Xu Dan，Ricci E，Ouyang Wanli，et al.Multi-scale continuous CRFs as sequential deep networks for monocular depth estimation[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2017：161-169.

［13］Laina I，Rupprecht C，Belagiannis V，et al.Deeper depth prediction with fully convolutional residual networks［C］//Proc of the 4th International Conference on 3D Vision.Piscataway，NJ：IEEE Press，2016：239-248.

［14］He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：770-778.

［15］Alhashim I，Wonka P.High quality monocular depth estimation via transfer learning ［EB/OL］.（2018-12-31）.https：//arxiv.org/pdf/1812.11941.pdf.

［16］Huang Gao，Liu Zhuang，Laurens V，et al.Densely connected convolutional networks［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2261-2269.

［17］夏夢琪，郝琨，趙璐.基于全卷積編解碼網絡的單目圖像深度估計 ［J］.計算機工程與應用，2021，57（14） 231-236.（Xia Mengqi，Hao Kun，Zhao Lu.Monocular image depth estimation based on fully convolutional encoder-decoder network ［J］.Computer Engineering and Applications，2021，57（14）：231-236.）

［18］Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

［19］Lee J H，Han M K，Ko D W，et al.From big to small：multi-scale local planar guidance for monocular depth estimation［EB/OL］.（2019-07-24）.https：//arxiv.org/abs/1907.10326.

［20］Wu Kewei，Zhang Shunran，Xie Zhao.Monocular depth prediction with residual dense ASPP network［J］.IEEE Access，2020，8：129899-129910.

［21］Yang B，Bender G，Le Q V，et al.CondConv：conditionally paramete-rized convolutions for efficient inference［EB/OL］.（2019-04-10）.https：//arxiv.org/abs/1904.04971.

［22］Tan Mingxing，Le Q V.EfficientNetV2：smaller models and faster training ［EB/OL］.（2021-04-01）.https：//arxiv.org/abs/2104.00298.

［23］Deng Jia，Dong Wei，Socher R，et al.ImageNet：a large-scale hierarchical image database［C］//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2009：248-255.

［24］Hu Jie，Shen Li，Albanie S，et al.Squeeze-and-excitation networks［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

［25］Zhou Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：from error visibility to structural similarity ［J］.IEEE Trans on Image Process，2004，13（4）：600-612.

［26］Silberman N，Hoiem D，Kohli P，et al.Indoor segmentation and support inference from RGBD images［C］//Proc of European Conference on Computer Vision.Berlin：Springer，2012：746-760.

［27］Abadi M，Agarwal A，Barham P，et al.TensorFlow：large-scale machine learning on heterogeneous distributed systems ［EB/OL］.（2016-03-14）.https：//arxiv.org/abs/1603.04467.

［28］Kingma D，Ba J.Adam：a method for stochastic optimization ［EB/OL］.（2014-12-22）.https：//arxiv.org/abs/1412.6980.