基于金字塔分割注意力網絡的單目深度估計方法

李文舉，李夢穎，崔 柳，儲王慧，張 益，高 慧

（1.上海應用技術大學 計算機科學與信息工程學院，上海 201418；2.上海應用技術大學 藝術與設計學院，上海 201418）

0 引言

深度信息往往應用于三維（Three-Dimensional，3D）重建、自動駕駛、虛擬現實等多個領域，然而單目相機無法獲得三維場景中物體的深度信息，需要在一定時間序列內才能有前后幀的估算深度，因此深度信息的預測是計算機視覺研究的重點問題之一。

單目深度估計比較經典的算法有運動恢復結構（Structure From Motion，SFM）信息法［1］、光照恢復結構（Shape From Shading，SFS）信息法［2］等，這些算法主要從運動和陰影中恢復形狀，但是精度不高，無法滿足實際的要求。近年來，深度學習不斷應用于各行各業。它包含各種網絡模型，如深度置信網絡、自編碼（Auto Encoder，AE）網絡、卷積神經網絡（Convolutional Neural Network，CNN）等，利用深度學習強大的建模優勢以及網絡模型對內在數據相關性的強大學習能力可以對單目圖像進行較為精確的深度估計［3］。隨著各種網絡在圖像領域的成功應用，越來越多的學者使用編碼器-解碼器解決單目圖像深度預測問題［4-6］，然而編碼器網絡在下采樣過程中會嚴重扭曲三維重建中深度預測的準確性。為了解決該問題，文獻［7］中將包含更多細節信息的淺層特征與深層特征進行融合。雖然在減少深度誤差方面具有很好的性能，但受到場景不穩定的限制，仍然會錯誤地估計三維場景中的相對深度，或者對一些數據集（包含多張占據整個平面的圖片）預測效果較差［8］。

目前基于單目圖像深度估計依然存在兩大問題：1）對深度梯度變化劇烈的邊緣預測不準確；2）錯誤預估深度最深區域。本文提出一種基于金字塔分割注意力（Pyramid Split Attention，PSA）網絡的單目深度估計方法（monocular depth estimation method based on Pyramid Split attention Network，PS-Net），通過向網絡中輸入RGB（Red Green Blue）圖，利用新設計的網絡結構學習特征進行訓練，有效提高深度估計的精度。本文方法如下：PS-Net 基于邊界引導和場景聚合網絡（Boundary-induced and Scene-aggregated Network，BS-Net）［8］的結構，引入PSA 模塊，改進解碼器中的激活函數。新的網絡通過添加PSA 模塊將低級特征作為輸入，提取出更多的細節信息，通過新的Mish 激活函數［9］，有效提升網絡的性能，獲得精確的深度圖。

本文的主要工作如下：

1）提出基于金字塔分割注意力網絡的單目深度估計方法，用于估計單目圖像的深度信息。通過該網絡提取出的多尺度信息具有更好的像素級注意力，在預測邊緣深度和深度最深的區域表現出了較好的性能。

2）在解碼器中使用Mish 激活函數，利用它的平滑性、無上界、有下界、非單調性等特點提高網絡的性能。

3）在NYUD v2（New York University Depth dataset v2）和iBims-1（independent benchmark images and matched scans v1）數據集上進行了大量實驗，結果表明相較于對比方法，本文方法具有更好的效果，驗證了本文方法的有效性。

1 相關工作

單目圖像的深度估計方法可分為兩大類：基于特征線索的深度估計算法和基于機器學習的深度估計算法。

基于特征線索的深度估計算法在估算深度時需要相機捕獲各種啟發式線索，常用的單目特征線索有陰影、線性透視、相對高度、遮擋和運動線索等。此外還可以從紋理［10］恢復深度，但是該方法僅適用于紋理信息明顯的物體，主要通過外部的紋理線索預測物體表面的形狀。最早的估計圖像深度的方法就是采用這些輔助的線索特征，但是這些線索的獲取對光照的要求十分嚴格，因為重建圖像的三維形狀主要通過光照反射模型利用圖像中的亮度信息計算法向量，在復雜場景下難以實現，并且得到的特征都不穩定。

隨著人工智能技術的不斷涌現，機器學習的方法不斷應用于各個領域，在深度估計方向也得到了很好的效果。基于傳統的機器學習方法［11-13］嘗試解決深度估計問題，Saxena等［11］利用馬爾可夫隨機場（Markov Random Field，MRF）學習輸入圖像特征與輸出深度之間的對應關系，實現對深度的預測。之后深度估計有了新的研究方向，基于深度學習的深度估計方法逐漸成為研究重點，主要分為無監督的深度學習方法和有監督的深度學習方法。

針對有監督的學習方法，Eigen等［14］通過兩個尺度的神經網絡的方法對RGB 圖像進行深度預測：第一個尺度預測圖像的全局信息，第二個尺度更精細地預測局部信息。Eigen等［15］根據上述的研究引入了一個統一的多尺度網絡，該網絡以VGG（Visual Geometry Group）網絡為基礎，在文獻［14］的基礎上，改進第一尺度和第二尺度的網絡，引入第三個尺度提取圖像更多的細節信息，通過CNN 提高特征圖的分辨率。同時，Liu等［16］為了提高深度估計的精度，提出將連續條件隨機場與深度神經網絡相結合的思想，之后經過研究人員的不斷探索，逐漸演變出CNN 改進模型［17-18］。Ali 等［19］針對大型網絡往往會扭曲低分辨率層中的邊緣細節，導致物體邊緣附近的深度預測較差，提出一種顯示解耦圖像低頻和高頻區域對應的物體和邊緣的深度特征方法。該方法使用一個具有自適應卷積單元和多元融合單元的輕量級編碼器-解碼器框架，極大減少了參數量并且沒有任何顯著的性能損失。基于有監督學習方式的單目深度估計方法往往需要大量的真實數據進行對照訓練，對于數據集中真實數據的獲取成本較高，往往需要一些精密的儀器設備，并且這些設備采集的深度值受物體移動和反光的環境影響，導致深度預測不準確，因此，有人提出無監督的深度學習方式。

無監督學習通過圖像對之間的幾何關系重新構建對應的圖像，然后通過圖像重建損失監督網絡的訓練。Garg等［20］提出利用立體圖像對的方法進行無監督單目深度估計，通過雙目立體理論和像素點之間的對應關系間接獲得單目圖像深度。Godard等［21］通過對極幾何約束對上述方法進行了改進，使輸入圖像生成視差圖，通過左右視差一致性優化性能。雖然無監督的學習方式能夠避免有監督學習中數據采集的缺點，但是沒有真實數據的對照學習，一定程度上降低了深度估計的精度。

2 PS-Net深度估計網絡

2.1 網絡結構

有監督學習方式的深度估計網絡通過對輸入RGB 圖片和對應真實的深度值進行學習訓練，得到最優的網絡模型，通過將新的圖片輸入到該模型中就可以得到圖片對應的深度值。圖1 為本文設計的PS-Net 深度估計網絡結構，PS-Net以BS-Net 為基礎。該網絡使用傳統的編碼器-解碼器（Encoder-Decoder）結構，融合了深度相關模塊DCE（Depth Correlation Encoder），添加了條紋細化（Stripe Refinement，SR）模塊和 多層邊 界融合（Bottom-Up Boundary Fusion，BUBF）模塊。本文在此基礎上引入PSA 模塊，并使用Mish 激活函數替換解碼器中的ReLU（Rectified Linear Unit）函數。網絡整體采用ResNet50（Residual Network）作為基礎的骨干網絡，下采樣的第4、5 階段采用空洞卷積替換原有3×3 卷積的方式，所以獲得較大的感受野并減少計算量，并且自下而上地依次輸入BUBF。BUBF 將淺層的信息逐層傳入網絡深處，便于提取出下采樣中深度的變化信息以及高分辨率中存在的信息，獲得豐富的細節信息，BUBF 模塊的輸出送入SR中。深度相關模塊以編碼器的輸出作為輸入，利用空洞卷積和金字塔場景編碼器捕獲長距離像素和多尺度區域的相關性，輸出解碼器中。解碼器中主要包括四步：前兩步通過大核細化塊（large-kernel Refinement Block，l-RB）壓縮通道并保持分辨率，本文在l-RB 中使用Mish 激活函數，如圖2 所示；后兩步采用l-RB 和上采樣結合的方式，類似文獻［22］中的向上投影。PSA 模塊的輸入為數據集下采樣之后得到的114×152×64 的圖片，將淺層圖片作為輸入，增強了特征圖中細節的表征能力，提高深度預測的精度，輸出與BUBF 一同送入SR 模塊。SR 將解碼器的輸出結果與BUBF 和PSA 模塊的輸出進行融合，輸出最終需要的深度圖。按照上述方法獲得的深度圖深度誤差較小。

圖1 PS-Net深度估計網絡結構Fig.1 Structure of PS-Net depth estimation network

圖2 大核細化塊Fig.2 Large-kernel refinement block

2.2 金字塔分割注意力模塊

在深度估計中受場景以及數據集的影響，在估計深度邊緣梯度變化劇烈和深度最大的區域往往無法達到理想的效果。為了解決這些問題，本文提出PS-Net，保留了原有網絡的優勢，并在此基礎上融合PSA 模塊，該模塊通過使用多尺度卷積核和全局平均池化的操作增強了多尺度和跨信道之間的信息相關性［23］，提高了邊緣和最遠距離預測的精度。

PSA 模塊如圖3 所示，主要通過以下幾步內容實現：首先將輸入圖像通過拆分和融合（SPlit and Concat，SPC）模塊按照通道劃分為S組，通過不同大小的卷積核得到通道級別上的含有多尺度信息的特征圖；然后將SPC 模塊的輸出送入權重模塊獲得不同通道上的權重，進而得到每個尺度特征圖的注意力權值，并對S組的注意力權值進行歸一化；最后通過上述的操作將多尺度的空間信息和跨通道注意力整合到每個分割特征組的塊中，產生更好的像素級注意力。

圖3 PSA模塊Fig.3 PSA module

SPC 模塊如圖4 所示，為了得到不同的空間分辨率和深度，將輸入張量X從通道級別上劃分成S組，取S=4，每組Xi進行不同尺度的卷積ki=2 × (i+1)+1(i=0，1，…，S-1)，以便于獲得較大的感受野。為了避免由于卷積核尺寸的增加導致的計算量變大，對每一組的特征進行分組卷積，分組數量為G=2(ki-1)/2，最后對得到的不同尺度的特征圖在通道Fi上進行拼接，拼接函數如式（1）所示：

圖4 SPC模塊Fig.4 SPC module

其中F表示特征圖。

然后將SPC 模塊的輸出作為擠壓和激勵（Squeeze-and-Excitation，SE）權重的輸入如圖5 所示，對SPC 模塊得到的多尺度特征圖進行擠壓操作Fsq（·），通過全局平均池化的操作編碼全局的信息，如式（2）所示；然后進行激勵操作Fex（·，Wi），通過兩層全連接和激活函數以自適應校準通道關系，如式（3）所示，獲得信道注意權重信息；最后對不同通道拼接的注意力值進行歸一化，與SE 模塊的輸入進行加權融合Fscale（·，·）。

圖5 SE權重模塊Fig.5 SE weight module

其中：H和W分別表示特征圖的高和寬，gc表示第c通道對特征圖進行全局平局池化操作后得到的信息，wc表示第c通道特征圖通過兩層全連接和激活函數之后得到的信息，δ表示ReLU 激活函數的操作，W0和W1表示全連接層操作。

2.3 Mish激活函數

本文使用Mish 激活函數［9］代替解碼器中l-RB 中的ReLU激活函數。Mish 是一種新的平滑且非單調的激活函數，被定義為：

其中δ(x)=ln(1+ex)是一個softplus 激活函數。Mish 函數的圖像如圖6 所示。

圖6 Mish函數圖像Fig.6 Mish function image

與ReLU 相比，Mish 函數具有下界、無上界、平滑、非單調的特點，性能比較高。具體地，有下界無上界：無上界避免在訓練過程中因為飽和導致的梯度消失，負值部分保證信息的流動，優于ReLU 中的硬零邊界；非單調性：很小的負值，有助于穩定網絡的梯度流；平滑性：每個點都具有平滑性，使得梯度下降的效果優于ReLU 函數，具有很好的泛化能力。但是與ReLU 函數相比，Mish 也具有計算量大的特點，不宜大量使用，所以本文只在解碼器中進行小范圍使用，并取得了不錯的效果。

2.4 損失函數

其中α是一個超參數，本文取值為0.5。網絡的整體損失為：

3 實驗與結果分析

本文在NVIDIA 2080Ti GPU 上進行實驗，使用Ubuntu 系統，PyTorch 1.8 框架。使用iBims-1 和NYUD v2 兩個數據集進行多次實驗，取平均值評估提出的方法性能。在NYUD v2數據集上訓練和測試，在iBims-1 數據集上進行評估。

根據以前的研究工作［5-6］，本文選取NYUD v2 數據集中50 000對RGB-D圖像進行訓練，654對進行測試。實驗設置20個epoch 訓練模型，batch_size=8，使用Adam 優化器，采用的參數為(β1，β2)=(0.9，0.999)，權重按照10-4衰減。設置0.000 1為初始學習率，每5個epoch減少10%。為了訓練模型，所有的圖像和標簽使用雙線性插值將640×480 的原始圖像下采樣到320×240，再從中間進行裁剪到304×228［24］。為了對齊網絡輸出，對裁剪后的標簽進行下采樣到152×114。此外為了評估模型，在測試過程中網絡的輸出被上采樣到304×228。

本文使用以前研究［24］中常用的精度評價指標平均絕對相對誤差（mean absolute ReLative Error，REL）、均方根誤差（Root Mean Squared error，RMS）、均方對數誤差（mean Log10 error，Log10）和閾值td下的準確性，計算公式如下：

預測深度的邊界精度通過準確率和召回率評估，本文設定閾值t(t∈{0.25，0.5，1})，大于閾值t的像素視為邊界，tp是預測正確邊界像素的數量，fp是將錯誤的邊界像素預測為正確邊界像素的數量，fn是將正確邊界像素的數量預測為錯誤邊界像素的數量，計算公式如下，準確率：P=tp/(tp+fp)，召回率：R=tp/(tp+fn)，綜合指標：F1=(2 ×P×R)/(P+R)。

還有一些新的評價指標［25］用于評估iBims-1 數據集，深度邊界誤差（Depth Boundary Error，DBE）用于衡量預測深度圖中邊界的完整性和準確性，分別用DBE_com和DBE_acc表示；平面性誤差（Planarity Error，PE）用于衡量三維空間中的深度精度，分別用PE_plan和PE_ori表示平面誤差和定向誤差；定向深度誤差（Directed Depth Error，DDE）衡量過遠或過近預測深度像素的比例，分別用DDE_0、DDE_m、DDE_p表示正確預測深度像素的比例、高度預估深度像素的比例和低估深度像素的比例（高度預估深度像素的比例和低估深度像素的比例分別表示高估了正確像素的比例和低估了正確像素的比例）。另外還有用于評估深度最深區域的距離誤差，計算式如式（13）所示：

其中：Pmax表示預測深度圖中平均深度最大的區域，Gmax表示真實深度圖中平均深度最大的區域，m用來表示不同分辨率，取值為6，12，24。

3.1 數據集

iBims-1 數據集是一個新的高質量的RGB-D 數據集，專門用來測試單目深度估計效果。通過由數碼單反相機（Digital Single Lens Reflex，DSLR）和高精度激光掃描儀組成的特殊裝置拍攝得來，記錄了各種高分辨率的室內場景圖和高精度的深度圖。與其他相關的RGB-D 數據集相比，iBims-1 數據集具有無遮擋、深度范圍大和噪聲水平低等特點。該數據集包含100 對RGB-D 圖像對用于測試，測試的所有模型都是在NYUD v2 數據集上進行訓練得到的。由于實驗環境不同，部分實驗數據不同于原論文中的數據。NYUD v2 數據集有51 342 對彩色圖像及對應的深度圖，它們采集于3 個城市的464 個場景，由微軟Kinect 拍攝獲得。

3.2 定量分析

表1 是在iBims-1 數據集上的一些新的衡量指標，雖然相較于重骨干網絡［26］不是最好的，但總體來看本文方法相較于其他對比方法依然具有顯著的優勢。衡量定向深度誤差方面與文獻［8］的方法相比DDE_m降低了1.42 個百分點，正確預測深度像素的比例達到81.69%。

表1 在iBims-1數據集上的平面性誤差、深度邊界誤差和定向深度誤差Tab.1 Planarity errors，depth boundary errors，directed depth errors on iBims-1 dataset

在衡量邊界完整性、準確性以及平面誤差方面，表現出了較好的效果，原因是本文在金字塔結構中通過多尺度卷積核得到了不同的空間分辨率和深度，并通過全局平均池化將全局信息嵌入到通道描述符中，從而實現不同尺度上下文信息的融合。

表2 是一些常用的衡量指標的性能，是本文方法與對比方法在像素級精度和計算誤差之間的比較。前3 個參數表示預測深度圖與真實深度圖之間的誤差，越小精度越高；后3 個參數衡量預測深度圖在不同閾值下的像素級精度，參數值越大越好。結果表明，在iBims-1 數據集上，相較于文獻［27，22，5，8］方法，本文方法的各項指標都有一定的提升。另外從表2 中可以看出，在NYUD v2 數據集上，本文方法在一定程度上取得了較好的效果，獲得的精確值較高，誤差較小，效果優于文獻［8，22，27-30］方法，因為本文保留了原有深度估計網絡的優勢，同時融合PSA 增強多尺度的空間信息，提取更多的細節信息，使得在邊緣預測和預測深度最深的區域具有更高的精確度。

表2 在iBims-1和NYUD v2數據集上的相關深度誤差和精度Tab.2 Relative depth errors and accuracies on iBims-1 and NYUD v2 datasets

表3 表示不同方法在兩個數據集上預測深度最深區域的誤差。在iBims-1 數據集上，與文獻［8，27］方法相比，本文方法歸一化誤差更小，在m=24 時本文方法也優于文獻［22，5］方法，表明本文方法在預測深度最深區域時具有更高的準確性；在NYUD v2 數據集上也優于其他對比方法。從表3 中可以看出，與文獻［27，22，8］方法相比，本文方法在預測深度最深區域上收獲了較好的性能，因為本文引入的PSA模塊可以將跨信道注意力和多尺度的空間信息融合到每個塊中，有效增強了不同區域的上下文關系，突出了物體之間的相對深度。

表3 在iBims-1和NYUD v2數據集上不同劃分率下的深度最深區域的距離誤差Tab.3 Distance errors of the farthest region under different partition rates on iBims-1 and NYUD v2 datasets

邊界精度在預測深度圖中是一項重要的衡量指標，邊界梯度很大程度上影響了生成深度圖的可視化。表4 表示預測深度圖中的邊界精度，本文方法相較于文獻［8，22，27-28］方法在恢復邊界時都具有較高的準確率和召回率，并且對應的綜合指標值也具有一定程度的提升，當進行深度可視化時具有較好的效果。

3.3 定性分析

對于背景復雜的深度預測，PS-Net具有相對準確的估計能力。圖7展示的圖片背景是帶有柜子的書架，書架上放滿了各種書籍和擺件。在真實深度圖中，書架及其前面的書桌、沙發具有很多的噪點，與原圖相比有相對較多的差距。而利用本文網絡預測的深度圖，可以清晰地呈現場景的布局和相對深度，沙發在前，其次是書桌，最后是書架在最后，整個圖片邊緣非常整潔，從圖7中可以發現，相較于BS-Net的方法依然具有很好的效果。

圖7 復雜背景的深度預測效果Fig.7 Depth prediction effects of complex background

圖8展示了NYUD v2數據集上定性的結果，當預測大的完整的物體（如墻面）時，預測的效果更好。本文方法邊緣預測的效果相較于BS-Net的方法更準確；而對小物體、色差不明顯的物體的識別效果不太理想，如墻上白色的控制盒會被作為墻面的一個整體進行預測深度。從圖8 中可以準確判斷墻面、椅子、箱子之間的相對深度關系，椅子和箱子相對在前，墻面在后。

圖8 大物體和小物體的深度預測效果Fig.8 Depth prediction effects of large objects and small objects

圖9 展示了走廊的深度預測效果，從圖9 中可以看出本文方法在預測深度最深的區域具有很好的效果，網絡預測到了左前方的柜子深度較小，然后是左前方墻上的嵌入式書柜，走廊的盡頭是深度最深的區域，相較于BS-Net 的方法，本文方法具有明顯的優勢。

圖9 走廊深度預測效果Fig.9 Depth prediction effects of corridor

3.4 消融實驗

為了闡明PSA 模塊的有效性，本節在iBims-1 和NYUD v2 數據集上進行了消融實驗。本文定義編碼器、解碼器和條紋細化模塊為基線，另外構建了3 個變體進行評估，如表5、6所示。

表5 iBims-1數據集上消融實驗的預測結果Tab.5 Prediction results of ablation experiments on iBims-1 dataset

如表5 所示，由于PSA 模塊能夠提取上下文的空間信息，建立通道間的長期依賴關系，變體基線+PSA 模塊在所有評價指標上都表現出了較好的性能。表6 中3 個變體在恢復邊界中相較于基線+DCE+BUBF 具有更高的準確性。通過結合PSA、DCE 和BUBF 之后形成的變體既提高了準確率也提高了召回率，在預測深度最深的區域以及深度突然變化的區域時取得了較好的效果。

表6 NYUD v2數據集上不同閾值下預測邊界像素的精度Tab.6 Accuracies of predicted boundary pixels in depth maps under different thresholds on NYUD v2 dataset

4 結語

本文提出一種新的融合金字塔分割注意力的深度估計網絡方法（PS-Net）。該網絡使用傳統的Encoder-Decoder 和DCE 結構，并結合SR 和BUBF 模塊提取重要的邊緣特征信息，在此基礎上融合金字塔分割注意力，將低級特征作為該模塊的輸入，低級特征具有豐富的細節位置信息，通過該模塊增強不同區域之間的相關性，使用Mish 激活函數，提高網絡的性能，增強邊緣和深度最大區域預測的準確性。該方法在NYUD v2 數據集和iBims-1 數據集上都表現出了良好的效果，與最新的方法相比性能具有一定的提升。下一步工作可考慮提高小物體嵌套在大物體上預測的準確性。