融合全景分割的單目深度估計網絡

任克宇 仝明磊

(上海電力大學電子與信息工程學院 上海 201306)

0 引 言

近年來,深度圖像估計精準度大幅度提高,使得其在機器人導航、自動駕駛、3D重建任務中的作用變得舉足輕重。圖像是立體場景的投影映射,投影只是獲取了平面信息。通過相機或者合成圖像獲取場景中的立體相對深度信息,即為深度預測。雙目相機可以利用匹配視差幾何的方法求解深度,但是容易受到場景、攝像機矯正系數、幾何約束條件的影響,為了克服這些局限性,人們越來越關注單目圖像的深度預測。

人們使用相機可直接獲取真實場景的圖像,但圖像是立體場景的投影映射,即只是獲取了該場景的平面信息。深度預測卻可以從圖像中獲取場景中的立體信息,以滿足信息的需求,其從本質上是一個模棱兩可的偽科學問題。在利用神經網絡進行單目深度估計的領域中,最為經典的是:Eigen等[1-2]使用深層網絡堆棧來解析單個圖形與深度關系,進行全局粗略預測和本地細化預測,實現了無須超像素化即可匹配詳細的深度邊界,證明了單目深度估計的可實現性。Liu等[3]結合CRF隨機場,根據深度值的區域連續性特點,提出了深度卷積神經場模型,可以有效解決預測深度的映射問題。Kuznietsov等[4]則提出一種半監督單目圖像深度估計的方法,使用稀疏的真實深度監督神經網絡。

上述方法都是從網絡結構層次對深度估值進行分析,通過使用不同的方法提高深度估計圖的準確性。從單一的場景圖片得出深度信息圖,在物體遮擋以及不同深度區域邊界的問題上未表現出良好的估計效果,同時將本身深度值的不平衡數據歸一化處理后,不能有效地預測相鄰像素深度的落差。近年深度學習領域涌現出融合多任務的聯合框架,利用多任務之間的強相關性和一致性,對深度圖進行預測優化,增加更多的細粒度特征。例如,Zhou等[5]提出了以無標記的單目圖像序列作為訓練集,采用無監督的方式訓練并進行單目深度估計的方法,使用深度估計網絡和相機位姿網絡對訓練集進行訓練。將深度網絡估計出的深度信息與相機位姿網絡結合,通過最小化損失函數使網絡收斂。Zou等[6]提出單目深度估計與光流預測的聯合網絡,利用視頻流前后幀圖片變化進行光流預測和深度預測,保證光流和深度的共同有效區域盡可能一致,作為主要約束條件來進行訓練。Jiao等[7]結合語義信息和注意力驅動損失,設計協同估計網絡和橫向共享單元,來優化網絡對不同深度值區域的預測效果。這些方法從多角度出發,設計深層融合網絡,有效地減少邊界模糊問題,提升了全局輪廓性和深度估計細化特征,但存在復雜程度高、計算成本大等問題。

綜上所述,本文考慮從減少邊界模糊、提高細化特征和降低參數量兩個方面出發,提出一種融合全景分割[8]與深度圖估計的深度學習模型。主要貢獻如下:(1) 提出一種網絡架構,使用MobileNet-v2作為輕量型編碼器,將MobileNetv2[9]與殘差網絡[10]融合降低參數,提高計算效率。(2) 解碼端提出融合全景分割和深度估計的多任務知識共享策略,設計一種多任務融合模塊,包括多尺度映射單元和子任務融合模塊,多尺度映射單元分解不同感受野的特征圖。子任務融合模塊融合兩種任務多重感受野信息,進行融合處理。促進深度估計對全景分割信息的吸收,在提高準確度的同時,也降低了模型參數。(3) 使用公開數據集NYUdepth[11]數據集來訓練和測試本文方法,并從編碼端、解碼端和邊界效果分析等方面進行充足的實驗,來驗證本文模型的輕量性和準確性。實驗表明本文方法可有效降低物體邊界深度的誤差。

1 多任務單目深度估計模型

本節構建了深度網絡模型,提出參數共享和子任務網絡層融合策略,并設計多任務損失函數。設計的網絡架構主要為編碼器-解碼器結構,模型由三部分組成,包括用于提取特征的共享主干編碼器網絡和子任務融合網絡,以及分別用于全景分割和深度圖提取的兩個單任務分支網絡。此外,設計兩個跳躍連接層[8],分別將編碼器不同層次特征信息與解碼器的對應上采樣層融合,以提高對原始圖片在不同深度層時紋理信息的理解?？紤]到圖像場景邊緣信息在特征圖下采樣過程中容易丟失,設計兩任務之間參數共享策略優化,即兩個多任務網絡融合模塊M1和M2,其網絡架構如圖1所示。最終結果輸出的深度圖和全景分割圖進行反向傳播。

圖1 多任務單目深度估計網絡模型框架

1.1 編碼器網絡

如圖1所示,編碼器結構將網絡輸入分辨率為224×224的低維RGB圖片編碼為分別率為7×7的高維特征信息圖,將3通道數輸入提取為1 024通道數的輸出端。提取抽象高級語義信息的過程已被大量的研究學者深入研究,例如VGG-16、VGG19[12]、ResNet50和ResNet101[13]等經典熱門編碼器網絡結構,特征信息提取較為完整,普遍存在復雜度高、計算延遲等問題。本文經過實驗嘗試了不同的編碼器網絡結構模型,為了有效提高運算速度和降低延遲,最終選擇近年被提出的M-obileNet-v2[7]網絡結構,作為網絡首選編碼器。Mobil-eNet-v2的核心層改變傳統卷積為深度可分離卷積[14],該卷積方法可以分解為深度卷積核尺寸為1×1的逐點卷積組合。

根據圖2,傳統卷積核K包含了Dk×Dk×M×N的參數,其中:Dk為卷積核大小;M為輸入圖片通道數N為卷積核個數。深度可分離卷積核K的參數為Dk×Dk×M,由此可看出相對于標準卷積來說,這種深度可分離卷積參數減少N倍,在計算上實現更高效的運行速度,在保證計算精度不變的基礎之上,通過改變卷積核數量大小來減少網絡的參數量和計算量。

(a) 標準卷積濾波器

1.2 解碼器網絡

編碼器網絡的每層都會逐漸降低圖片的空間分辨率,來獲取高級特征信息,而解碼是從低分辨率信息恢復高分辨率圖。圖1所示網絡框架中,在解碼器部分加入了跳躍連接操作[8],即編碼器的后層與解碼器的前層進行連接,將淺層網絡與深層網絡進行疊加,提高了網絡對不同深層信息的融合。該解碼器網絡使用雙線性插值上采樣操作,解決在跳躍連接后,出現通道比例不一致的問題。

1.2.1硬參數共享

硬參數共享是多任務學習的常用模型,在多種任務之間具有強相關時,硬參數共享就更加適用。由于全景分割的目的是分割出不同的目標,深度圖預測在本質上也是根據像素分割不同的深度信息,可以斷定全景分割和深度預測之前具有一定強相關性,因此兩種任務之間選擇使用參數硬共享策略,來有效地優化多任務網絡學習。具體而言,多任務網絡將輸入RGB圖像經過的編碼器網絡層與解碼器前四層上采樣網絡層作為權重共享層,共享特征提取信息,然后融合全景分割信息,將其一分為二,然后分別經過相同結構的任務特定網絡層,輸出深度預測圖和全景分割圖。

本文設計解碼器經過四層卷積核大小為3×3的深度反卷積層Deconv1、Deconv2、Deconv3、Deconv4,每層卷積核總數為前一層輸出通道數的一半,最終將編碼端輸出的1 024通道的7×7特征圖轉為128通道的56×56特征圖,為了更好地融合全景分割的特征信息,該部分反卷積層采用硬共享參數,共享方式如圖3所示,通過硬共享方式降低過擬合風險,同時提高輔助網絡對主干網絡的優化提升。在實驗中提出了分別共享不同層時對準確率的影響。在其后,使用兩個反卷積層特定任務層來進行分支處理,其結構與硬共享參數層一致。

圖3 解碼器多任務硬參數共享模型

1.2.2子任務網絡融合策略

基于文獻[15]提出的組交互層平滑擴張卷積和文獻[16]多任務同步精餾網絡,本文構造了如圖4所示的子任務網絡融合模塊。該模塊包含兩個單元:多尺度映射單元和多任務融合單元。

圖4 多任務子網絡融合模塊示意圖

(1) 多尺度映射單元。為了使網絡能夠全局感受不同尺度結構信息,融合兩種網絡的多尺度特征信息,加入多尺度映射單元來有效地感知分層特征的信息提取。該單元通過應用深度空洞卷積,獲得較大感受野的同時,也減少了網絡參數量。在分割類別網絡中,感受野的大小程度可絕對性地影響獲取的全局結構信息質量。多尺度映射單元旨在細化區分提取多個大小不同的感受野特征圖,分解經過深度反卷積層后的輸出圖片。其單元具體方式為:將輸入經過四個卷積核為3×3、擴張率分別為r=1,2,3,4的深度空洞卷積,分解為4個通道數縮減為原來二分之一的與輸入分辨率相同的不同尺度信息的特征圖,具體框架如圖4(a)和圖4(b)所示。

(2) 多任務融合單元。為了有效地融合深度估計主任務與全景分割輔助任務的特征信息,將兩任務經過多尺度映射單元的輸出分組拼接,其拼接結果為分辨率不變、通道數為64且感受層次不同的F1、F2、F3和F4,如圖4(c)所示,將不同尺度下的兩任務輸入進行疊加融合,能夠更加有效地促進輔助任務中的信息與主干任務信息的融合效果。最后拼接F1、F2、F3和F4特征圖,經過兩個卷積核為1×1的標準卷積,來調整輸出通道數。將兩任務拆分不同膨脹率空洞卷積,可以有效拆分不同感受野下的場景信息,進一步將融合兩任務不同膨脹率下的特征圖進行疊加,這樣既能夠有效地吸收場景分割邊緣的信息,融合場景分割特征信息要素,從而解決邊界模糊等問題,又能夠減輕空洞卷積帶來的網格效果。

1.3 多任務損失函數

多任務學習中需要融合各個任務的損失函數進行梯度反向傳播,以達到優化權重的效果。Ma等[17]提出通過實驗驗證,L1范數損失在深度估計方面上具有更好的收斂效果,因此,選擇L1范數作為深度預測網絡損失函數,如式(1)所示。

式中:ygt為標定值;ypre為預測值。

L2范數為全景分割網絡損失函數,如式(2)所示。

常用多任務損失都是對各項任務設置固定且不同權重比例進行求和。本文中為了防止輔助子任務占梯度下降的主導地位,進而影響主任務梯度下降方向,在多任務損失函數中,引入噪聲σ[18],并對各任務損失L(ω)進行正則化約束。多任務中每一個任務的改進損失函數為:

因此,設計多任務總損失函數L中兩項任務的損失分別為Ld和Lp,公式為:

2 實驗過程及結果分析

首先采用1.1節所述的深度估計網絡模型對數據集進行深度訓練,并對結果進行分析,同時,闡述對NYUdepth-v2數據集中缺少全景分割樣本的相關設計方法和處理決策,然后針對其實驗結果進行消融實驗。

2.1 實驗設置

2.1.1數據集及數據處理

本次實驗選用的NYUdepth-v2數據集作為訓練和測試的數據集,包含來自3個城市464個新場景的46 000幅圖片。其中:45 355幅圖片作為訓練集;645幅圖片用于評估。每幅圖像的分辨率為640×480,在數據輸入處理時將分辨率改為224×224。

由于該數據集僅有2.8 GB的數據擁有分割標簽,而其他大量的數據并沒有全景分割標簽。因此本文借用Detectron2[19]開源項目中以Mask R-CNN[20]為基低,構建全景分割網絡,將現有的已標注全景分割標簽的NYU數據進行預訓練,以適應本文多任務網絡需要使用的全景分割標簽數據集。

此外,隨機對訓練樣本進行平面內旋轉([-5°,+5°])、色彩抖動(對圖像原有像素值加入輕微噪聲)、翻轉(顏色深度分割圖同時進行50%概率翻轉)等操作,以達到數據擴充[21]的目的。

2.1.2評價指標

為了評價所提出的深度估計方法的有效性,選擇目前主流的4種定量評價指標,即絕對相對誤差(AbsRel)、均方根誤差(RMS)、常用對數誤差(lg)和閾值誤差(δ),表達式分別為:

式中:N為像素總數;ypred為第i個像素的估計深度;ygt為第i個像素的對應真實深度。

2.1.3實驗環境

本文使用PyTorch 1.0框架,在GPU內存為24 GB的NVIDIA Tesla M40計算機上進行實驗,設置初始學習率為0.001,固定數據迭代20次,保持批量大小batchsize為8,最終訓練時間為32 h。

2.2 算法對比

如表1所示,本文將提出的單目深度估計方法與近年來其他深度學習單目深度估計方法在NYUdepth-v2數據集上進行對比。其中文獻[5]、文獻[3]、文獻[1]和本文方法使用卷積神經網絡預測深度信息;Xu等[22]通過CRF優化網絡模型;Laina等[23]在解碼端采用新型上采樣方法優化效果;Wofk等[24]提出上投影連接進行優化。對比上述所提網絡的結果表明,在誤差RMS指標上低于Diana等提出的快速深度估計網絡7.2%,在準確率δ1<1.25的指標上高于其5.4%,與Xu等提出的結構注意力引導網絡比較提高0.007。綜上,本文方法在各項指標中都達到了較優性能。

表1 與其他算法對比

將本文方法與文獻[23]和文獻[25]方法參數進行對比,由表2可以看出,從參數上較文獻[23]相比,參數量減少42.7%,在結果上RMS提升了2.2%,準確率δ1<1.25的指標上高出0.002結合表1、表2可以看出,本文方法與文獻[23]相比具有更低的網絡參數量,準確率也較優于其網絡結構;與文獻[24]的方法相比,本文模型參數多19.7%。文獻[24]的方法使用SOT的算法NetAdapt對網絡模型進行網絡剪枝壓縮,提高運算效率。但從評價指標上,本文方法的RMS和δ1<1.25分別降低7.2%和提高5.4%,在增加6 MB的參數量為代價的情況下大幅度提高準確率,以滿足更廣范圍的適用需求。

表2 不同算法參數對比

在計算效率上本文方法與其他方法進行對比,結果如圖5所示,其中橫軸代表δ1<1.25(閾值誤差),縱軸為測試集測試單幅圖片時的處理時間,分別用不同顏色不同符號代表不同的模型方法。本文方法較其他方法相比,δ1<1.25均為最優結果的同時,在計算效率上比文獻[22]方法提升47.5%,與文獻[23]方法相比,計算性能提升37%。綜上,本文提出的融合全景分割的單目深度估計網絡在評價指標和網絡參數規模上都具有相應的優勢。

圖5 不同算法計算效率對比

2.3 模型評估實驗

本節主要從網絡編碼器端主干網絡分別使用不同網絡的輸出結果和參數規模;將預訓練后的MobileNetv2模型作為編碼器主干網絡,解碼器端不同子任務融合模塊對結果的影響;最后采用不同策略的可視化分析進行對比實驗。

2.3.1編碼器網絡實驗

本文編碼器主干特征提取網絡嘗試了VGG16、ResNet18、ResNet34、ResNet50和本文選用的MobileNetv2網絡模型,并且選用其在ImageNet[25]上預訓練后的模型參數進行實驗。具體實驗結果如表3所示,為適應不同的網絡模型能夠匹配解碼器網絡,在結構上作部分的結構調整,主要去掉這些預訓練網絡模型的分類層,以及相應保持圖片尺寸大小一致的網絡層操作。同時,除編碼器端主干網絡外,其他網絡結構與圖1保持一致。

表3 不同編碼器網絡對比

對比不同編碼器結構網絡實驗,結果表明,用MobileNetv2作為編碼端主干網絡模型在各項指標較優,在網絡模型總體參數量大幅度明顯減少,分別比VGG16、ResNet18、ResNet34、ResNet50低78.4%、30.9%、40.6%、47.0%。同時,在rel、精確率δ1、δ2、δ3都達到了最優指標。

2.3.2解碼器網絡實驗

針對解碼器網絡,本文結合全景分割領域,提出深度估計和全景分割的子任務網絡融合模塊,促進多任務數據融合,以提高主干網絡的學習效果。本節從輔助任務和子任務融合模塊兩個方面進行實驗以驗證提出的兩種策略的必要性和提升效果。如表4所示,(1) 為不加入全景分割輔助任務,單任務端到端直接輸出深度預測圖;(2) 結合全景分割,加入硬共享參數,加入編解結構跳躍連接共享方式調整網絡結構;(3) 為在(1)和(2)所提結構后,加入一個子任務融合模塊,包括兩個尺度映射單元和一個多任務融合單元;(4) 為結合(3)中所提改變,再加入一個子任務融合模塊,即本文最終所選方案。

表4 不同解碼端策略對比

可以看出解碼器端結合全景分割方法能有效優化深度估計性能,方法(2)較方法(1)有明顯提升,誤差降低率分別為3.9%、8.4%、1.31%;在δ1<1.25準確率指標上提升2.8%。當加入了本文提出的子任務融合模塊時,性能進一步提升,具體如表4中方法(3)所示。方法(4)中加入兩個子任務融合模塊后進一步提升效果,其中rms提升幅度較大約1.9%。綜上分析,本文所提出的多任務結合全景分割輔助深度估計策略和融合子任務模塊能夠有效地提升網絡精度。

2.3.3邊界深度效果分析

選擇使用2.3.2節中提出的方法(1)和方法(4)來分析其圖片中對物體邊緣深度估計情況,即為不加入全景分割輔助網絡模型和本文提出的最終網絡模型,結果如圖6所示。對比隨機抽取的5幅圖片,分析結果如下:在未加入全景分割輔助網絡時,場景A中近景的椅子僅顯示出來椅子的模糊深度,并沒有顯現出輪廓外形;在場景B中,深度連續性沒有很好地體現出來;在場景D中,沙發的邊界處產生了大量的偽影,沒有體現出不同遮擋物體之間的深度落差。

圖6 深度圖預測對比結果

當加入全景分割輔助任務和提出的參數共享和子任務融合模塊后,場景圖C中在邊界處的模糊像素明顯減少,在不同遮擋物體之間深度差距較為明顯,物體的輪廓也逐漸清晰。從場景圖E中,同樣可以明顯看出在圖片存在深度差較大的部分,深度畫面邊界分割更加細致。

最終結合所提出的網絡結構,融合全景分割輔助任務以及子任務融合模塊,效果進一步提升,在圖片無遮擋物體上的邊緣細節體現更加突出,在遮擋物體之間的深度落差上明顯提高。尤其可以從圖D及圖E上看出,網絡在分割輔助策略的基礎上加入參數共享策略后,物體的分割效果顯著提高,邊界深度落差體現明顯,紋理突出。

3 結 語

根據單目深度估計中在物體遮擋情況時難以有效地估計邊界深度等問題,提出一種優化方法:在網絡結構中,選擇使用MobileNetv2作為編碼器,著重在解碼器上加入全景分割多任務學習、硬參數共享策略,以及多任務之間提出的子任務參數融合策略,即子任務融合模塊。本文方法主要解決了因物體邊界深度估計不準確而產生的邊界連續和模糊的問題,并且使深度估計的結果更加清晰,邊界模糊問題有所減弱。同時,在保證精度的情況下,減少參數量,以適應更廣泛的應用場景。最后,在NYUdepth-v2數據集上驗證了本文優化方法的可行性,并且與目前單目深度估計優化算法相比,結果較好。