基于多階段多尺度彩色圖像引導的道路場景深度圖像補全

楊宇翔 曹 旗 高明煜 董哲康

(杭州電子科技大學電子信息學院 杭州 310018)

(浙江省裝備電子研究重點實驗室 杭州 310018)

1 引言

高質量的道路場景深度圖像對道路目標檢測、車輛自主定位和建圖等應用都是至關重要的[1–3]。比如，Yang等人[4]提出的3維道路車輛檢測算法中就需要借助稠密且精確的深度圖像來更好地確定車輛的3維邊界。近年來，隨著無人駕駛等研究和應用的快速發展，如何獲取高質量的道路場景深度圖像已經成為一個重要的研究課題。

目前深度圖像的主要獲取方式有飛行時間相機(Time Of Flight, TOF)、雙目立體視覺和激光雷達(Light Detection And Ranging, LiDAR)。室外環境的光照變化與室內環境相比更加強烈，場景深度的變化范圍更大，綜合情況更加復雜，大多數深度傳感器在室外場景中無法有效工作。比如， TOF深度傳感器測量范圍小，對光照敏感，在強光照的環境下會失去作用出現大量黑區，因此不合適道路場景的應用。雙目立體視覺方法獲得的視差圖在無特征區域會有較多的信息缺失，且整個計算過程非常復雜耗時，在存在大量無紋理區域的道路場景中存在很大的局限性。激光雷達可以獲得高精度深度圖像，適合道路場景的應用，但是激光雷達得到的深度圖像非常稀疏，缺失的深度信息帶來了極大的不確定性，仍難以滿足后續實際應用的需求。如何發掘場景稠密彩色圖像和稀疏深度圖像的內在約束關系，完成稀疏深度圖像的高質量補全是目前的研究熱點。

近年來，國內外研究人員利用卷積神經網絡對稀疏深度圖像補全進行了研究[5–8]。Shivakumar等人[9]提出了一種雙支編解碼結構的深度補全網絡DFuseNet，通過設計兩個編碼網絡分別學習彩色圖像與稀疏深度圖像的特征，但該方法只是將編碼網絡提取到的兩種特征簡單地進行相加輸入到解碼網絡中，并沒有考慮兩個編碼網絡提取特征過程之間的聯系，彩色圖像的中間過程特征沒有很好地利用到重建過程中。針對多模態特征融合的問題，Lee等人[10]還提出了一種交叉引導的深度卷積神經網絡結構CrossGuide，該方法使用兩個編碼網絡分別提取稀疏深度圖像和彩色圖像的特征，將兩個編碼端的輸出相加之后輸入一個解碼網絡，Cross-Guide在編碼網絡的不同階段中加入了感知機制模塊，用于多模態特征融合，該模塊可以使網絡通過學習兩個分支中不同模態特征之間的權重來優化特征，起到了不同模態特征之間信息交互的作用。CrossGuide的交叉感知模塊為多模態特征融合提供了一種思路，但仍存在一定的局限性：深度信息在編碼的起始階段由于過度稀疏，其自身并不能提供有效的感知信息，因此分配到高權重的特征可能并不是對當前任務有用的特征，導致CrossGuide的補全結果并不理想。Qiu等人[11]將表面法向量作為深度信息與彩色圖像的中間媒介，研究了激光雷達稀疏深度信息的補全，提出了一種端到端的深度補全網絡DeepLiDAR，表面法向量為深度信息與彩色圖像之間建立了一定的聯系，然而計算的復雜度與特征分辨率有關，由于表面法向量的引入，在訓練前首先需要額外準備作為輸入的掩模圖像和作為監督信號之一的表面法向量，其次在訓練過程中網絡需要額外預測表面法向量等特征圖像，勢必會導致網絡整體的參數量非常巨大，造成訓練的難度極高。根據實驗的結果，DeepLiDAR的網絡參數量為144 M，遠超沒有引入表面法向量的網絡，龐大的參數量使得該算法在實際使用中受到一定的限制。

針對上述問題，本文設計了帶有通道感知機制的多尺度多階段引導策略來更好地建立彩色和深度兩個不同模態特征之間的聯系；提出了一種輕量化的帶有通道隨機混合功能的多尺度卷積模塊，提升網絡表征能力的同時控制網絡的參數量；并構造了多階段損失來約束網絡學習映射關系。本文提出的算法參數量僅約為4 M，在保持輕量化的同時補全重建高質量的深度圖像。本文主要的創新與貢獻如下：

(1) 針對彩色圖像與深度圖像多模態特征的融合問題，本文設計了一種帶有通道感知機制的多階段多尺度引導融合策略，可以有效地利用彩色特征指導深度圖像的補全。

(2) 針對深度補全算法網絡復雜度較高的問題，本文提出了一種輕量化的帶有通道隨機混合功能的多尺度卷積模塊，提升網絡表征能力的同時控制網絡的參數量。

(3) 在訓練過程中，本文提出了一種分階段多權重的訓練策略，通過設置帶權重的多階段損失函數，完成對網絡更好的優化，實現更高質量的深度圖像補全重建。

2 本文方法

2.1 多階段多尺度引導結構

如圖1所示，本文設計了一種新穎的多階段多尺度引導的輕量化編解碼網絡，該補全網絡由彩色圖像引導重建分支和深度圖像精細化補全分支構成。首先，將彩色圖像作為先驗信息與稀疏深度圖像一起作為4通道圖像輸入彩色圖像引導重建分支中，引導深度圖像的稠密特征重建(第1階段)；然后將彩色圖像引導重建分支解碼端中的4種分辨率特征分別拼接至深度圖像精細化補全分支編碼端對應分辨率的特征圖像中，4種分辨率的稠密深度特征圖像可作為引導特征，充分在精細化重建階段中發揮引導作用(第2階段)，達到多模態特征融合引導的作用。同時，為了提升網絡的表征能力，在兩個分支的編碼端都使用了本文提出的帶有通道隨機混合的輕量化多尺度卷積模塊，使用多個尺度的并行結構提升網絡的表征能力，并使用1維卷積替代2維卷積來控制網絡的參數量，達到輕量化的目的。并且，在兩個分支的解碼端中都加入本文提出的通道感知機制，可以在多個階段多個尺度上聚焦到重要的引導特征上，提升深度圖像精細化重建效果。在訓練過程中，本文采用多損失函數的策略完成由粗到細的深度圖像補全過程。本文設計的深度補全網絡可以構造稀疏深度圖像、稠密彩色圖像和稠密深度圖像3者之間的端到端映射關系，實現高質量的稠密道路深度圖像補全。

圖1 本文深度圖像補全網絡框架

2.2 帶通道隨機混合的多尺度卷積模塊

本文設計的通道隨機混合多尺度卷積模塊如圖2所示。首先將輸入多尺度卷積模塊的通道數拆分為大小相同的兩個部分，分別輸入兩個不同尺度的分支中

圖2 本文設計的帶通道隨機混合模塊的多尺度卷積模塊結構

其中，Xm?1∈RB×2C×H×W，F3∈RB×C×H×W，F5∈RB×C×H×W。在兩個分支中，采用兩個1維卷積去替代2維卷積來減少網絡的參數量。本文雙分支多尺度卷積的流程為

其中，?表示卷積運算，σ(·)表 示ReLU激活函數，〈·〉表示特征拼接，dr表示dropout。在各自分支的終點，本文使用Dropout技術隨機舍棄一部分神經元防止網絡過擬合現象的發生，提升網絡的泛化能力。最后將兩個分支輸出的特征圖像沿通道的維度進行拼接。

將數據一分為二輸入并行的兩條支路，雖然通過不同尺度的卷積核可以得到更加多樣性的特征，但是兩個支路之間互不通信，容易產生邊界效應，并導致部分特征信息的丟失。為了解決這個問題，本文增加了通道隨機混合模塊來增加各個通道間的相關性。通道隨機混合過程如圖2所示，將Fcon∈RB×2C×H×W輸入通道隨機混合模塊之后，首先進行通道拆分，將4維特征升維變為5維特征Freg∈RB×G×C//G×H×W，之后將第2維與第3維交換位置，打亂特征得到Ftr∈RB×C//G×C×H×W，最后將第2維與第3維隨機合并得到輸出Xm ∈RB×2C×H×W。經過通道隨機混合模塊之后，各個通道間的特征重新排列，可以有更多的關聯性，防止邊界效應發生的同時盡可能保留特征信息。

2.3 通道感知模塊

注意力機制[12–14]在目標識別等高級語義計算機視覺任務中大顯身手，通過分辨不同通道的重要性，縮小興趣范圍，使網絡可以專注于更重要的特征。但是圖像增強、圖像恢復等低級語義計算機視覺任務中，研究人員多數認為所有通道信息的重要性是平等的。在RCAN (Residual Channel Attention Network)[15]中，作者認為不同通道的特征圖像對最終超分辨率重建結果的貢獻程度是不一樣的，首次將通道感知的機制引入圖像超分辨問題[16]中，讓網絡不斷地聚焦于重要的特征，提升了超分辨率重建的效果。受RCAN[15]的啟發，本文在低級語義的深度補全任務中引入通道感知機制的思想，提出了一種通道感知模塊，如圖3所示。

圖3 本文通道感知模塊

對于任意給定的特征圖像F ∈RB×C×H×W，首先經過兩層帶有歸一化層的3×3卷積層，統一輸入數據的分布

在訓練過程中，通道感知模塊可以無監督地篩選出對深度補全任務有用的特征圖像，抑制相對不重要的特征圖像，經過多次篩選之后可以提升有用特征的純度。

編解碼網絡在解碼端通過多次上采樣解碼得到目標結構。在基于編解碼結構的深度補全網絡中，編碼端負責提取特征，補全的工作主要在解碼端進行。因此在深度圖像補全網絡中本文的通道感知模塊可以起到多階段聚焦的作用：一是在彩色圖像引導重建分支的解碼端幫助網絡篩選有用的特征融合進行深度圖像精細化補全分支；二是在深度圖像精細化補全分支中的解碼端幫助網絡挑選最終的有用特征進行精細化補全重建。

2.4 損失函數

為了充分發揮本文設計的多階段補全結構的性能，本文利用真實的深度圖像對兩個階段的網絡分別進行監督訓練，本算法鼓勵每個階段都輸出各自的預測稠密深度圖像，本文損失函數定義為

3 實驗結果分析

3.1 模型訓練細節

本文采用了分階段多權重的訓練策略，使網絡能夠更好地收斂。在訓練的前20個周期，本文將損失函數中的λ1和λ2分別設置為0.4和0.6；在21～50個訓練周期，將λ1和λ2分別設置為0.1和0.9；在51個周期之后，將λ1和λ2分別設置為0和1。因為在訓練的起始階段，由于稀疏深度圖像缺少稠密特征的引導需要充分發揮彩色圖像的先驗引導作用，因此利用彩色圖像引導重建分支的損失函數來輔助訓練；當學習到彩色圖像的引導特征后，在訓練的后期將訓練重心移向深度圖像精細化補全分支的損失函數。

本文選擇的訓練優化器為Adam，學習率的初始值設置為0.001，學習率的調整策略為每50個訓練周期下降10倍，網絡的整個訓練周期為150個epoch。所有實驗均在Nvidia GTX 1080Ti GPU上使用深度學習框架PyTorch實現。

3.2 數據集和評價標準

本文實驗中使用的數據集是KITTI Depth Completion[17]深度補全評估數據集。本文共使用了86898幀訓練圖像，1000幀驗證圖像，1000幀測試圖像。數據集中的每一幀都包含了同場景下的稀疏深度圖像和彩色圖像，稀疏深度圖像是使用Velodyne HDL-64E激光雷達采集得到。同時該數據集利用位姿關系融合了前后11個相鄰幀的激光雷達稀疏深度信息生成半稠密深度圖像，并將此作為訓練集、驗證集和測試集的標簽。KITTI提供的原始稀疏深度圖像分辨率為352×1216，有效深度像素為18400個點，約占總體的4.3%，半稠密深度的深度圖像的平均有效深度像素約為13%。

本文使用均方根誤差(Root Mean Square Error,RMSE)、平均絕對誤差(Mean Absolute Error,MAE)、逆深度均方根誤差(Inverse depth Root Mean Square Error, iRMSE)、逆深度均方誤差(Inverse depth Mean Square Error, iMAE)和參數量(Params)作為評估指標。其中RMSE與MAE的單位均為毫米(mm)，iRMSE與iMAE的單位均為1/km，參數量的單位為兆(M)。

3.3 結果分析

在KITTI測試集上的定量實驗結果如表1所示(粗體表示最優結果，下劃線表示次優結果)，參與比較的方法有基于表面法向量約束的DeepLiDAR[11]和PwP[18]、基于感知機制的CrossGuide[10]、基于置信圖約束的NConv-CNN-L2[19]和Conf-Net[20]、基于編解碼結構的CSPN[21], DFine-Net[22], SSGP[23]和DFuse-Net[9]以及基于無監督的Sparse-to-Dense(gd)[8]。其中，基于表面法向量、置信圖等信息輔助深度圖像補全的方法取得了較好的效果，但是讓網絡去學習這些額外的信息大大增加網絡復雜度。基于表面法向量約束的DeepLiDAR方法由于需要預測額外的表面法向量，因此整體網絡相當復雜，在模型的參數量上是本文方法的近40倍。本文多階段多尺度引導的深度補全網絡在訓練和推理的所有過程中，均不需要額外輔助信息，通過端到端的方式以輕量化的形式高效構建稀疏深度圖像與稠密深度圖像之間的映射關系，由表1可以看出本文方法在保證模型輕量化的同時在多項指標上均達到了最優。

表1 基于KITTI 測試集的實驗結果比較

為了進一步展示本文多階段多尺度引導深度補全算法的效果，圖4給出了不同算法的視覺定性比較結果，可以看出本文算法相較于其他方法能更好地恢復出物體細節得到清晰可辨的物體結構，更好地區分前景與后景的邊緣區域。比如，車輛輪廓的補全結果可以看到Sparse-to-Dense的補全結果呈現不連續的狀態，顆粒狀明顯，CSPN的補全結果中只有車輛的大致輪廓，車輛的車窗和車門細節并沒有恢復出來，本文的補全方法可以得到精細的物體細節，可以非常清楚地分辨車輛的輪廓和車窗。

圖4 KITTI數據集定性結果比較圖例

3.4 消融實驗結果分析

為了分析本文網絡中設計的各個模塊對深度補全結果的影響，通過控制變量法開展消融實驗來驗證各模塊的合理性，實驗結果如表2所示。

3.4.1 多階段多尺度引導結構

首先為了說明雙分支引導結構的合理性，如表2的case1, case2和case3所示，本文進行了如下3個消融實驗：case1為僅使用彩色引導分支；case2為僅使用精細化補全分支；case3為本文雙分支結構(僅監督精細化補全分支的損失函數)。在實驗結果中可以看出，case3的雙支結構在RMSE和MAE指標上均好于case1和case2的單支結構，說明了本文設計的雙支結構的有效性。同時case1的彩色引導4通道輸入的補全結果好于case2的單通道稀疏深度輸入的補全結果，也驗證了稠密彩色圖像可以為稀疏深度圖像的補全提供先驗引導信息。

3.4.2 雙損失函數

本文雙損失函數的設計是為了鼓勵每個分支都輸出各自的預測稠密深度圖像，配合3.1節所述的分階段多權重的訓練策略，雙支協同學習網絡的深度補全映射關系。如表2的case3和case4所示，雙損失函數的設計大大提升了深度補全網絡的性能，在RMSE指標上下降了20.6 mm，MAE指標上下降了11.9 mm，表明了雙損失函數確實可以約束網絡更好地學習到深度補全的映射關系。

3.4.3 通道感知模塊

本文設計的通道感知模塊在網絡中無監督地學習權重去衡量和評估特征的重要性，輔助特征融合來提高深度補全的效果。如表2所示，在case3和case5中，控制雙分支網絡+單損失函數的結構為不變量，通道感知模塊為變量，加入通道感知模塊后，RMSE和MAE指標下降了約1.7%和1.3%；在case4和case6中，控制雙支網絡+雙損失函數的結構為不變量，通道感知模塊為變量，在加入通道感知模塊后RMSE和MAE指標下降了約3.2%和6.0%。

因此，通道感知模塊可以有效地提升深度補全任務的效果。并且值得注意的是，通道感知機制在雙損失函數的網絡結構中，有著更大的提升效果，這是因為雙損失函數可以有效地約束彩色引導分支生成更具引導作用的多尺度特征圖像，感知機制也因此可以更好地發揮特征篩選的功能，從而實現高質量的深度補全。

3.4.4 多尺度卷積模塊

為了驗證本文多尺度卷積模塊的合理性，設計了case6和case7消融實驗，其中case7是加入多尺度卷積模塊后本文網絡的最終設計方案(注意，除case7之外所有消融實驗中均使用等深度的3×3卷積層來替代本文的多尺度卷積模塊)。本文設計的多尺度卷積模塊可以提取更加多樣性且兼顧多尺度需求的特征信息，同時本文多尺度卷積模塊使用隨機通道混合的機制增加了不同尺度的特征之間的關聯性。如表2所示，在網絡結構中加入了多尺度卷積模塊，進一步提升了本文網絡的深度圖像補全效果。

表2 基于KITTI驗證集的消融實驗結果比較

3.5 運行時間

為了驗證本文網絡輕量化設計的效果，表3給出了不同深度補全網絡在KITTI測試集上的推理時間比較，均采用Nvidia GTX 1080Ti GPU進行測試。對于各端到端的深度補全網絡來說，網絡的推理時間即深度圖像補全所需的時間，如表3所示本文算法的補全時間僅為0.09 s，說明本文網絡在保證高質量補全效果的同時實現了輕量化的設計，可以很好地滿足實際應用的需求。

表3 不同算法運行時間比較(s)

4 結束語

本文設計了帶有通道感知機制的多尺度多階段引導策略來更好地建立彩色和深度兩個不同模態特征之間的聯系，充分發掘了彩色圖像和深度圖像的內在約束關系。本文設計了一種輕量化的帶有通道隨機混合功能的多尺度卷積模塊，提升網絡表征能力的同時控制網絡的參數量，本文網絡參數量僅約為4 M。同時本文構造了分階段多權重損失的訓練策略來約束網絡學習映射關系，充分發揮本文設計的多階段補全結構的性能，提升了深度圖像的補全重建效果。