基于邊緣強(qiáng)化的無(wú)監(jiān)督單目深度估計(jì)

曲 熠, 陳 瑩

(江南大學(xué)輕工過程先進(jìn)控制教育部重點(diǎn)實(shí)驗(yàn)室, 江蘇 無(wú)錫 214122)

0 引 言

場(chǎng)景的深度估計(jì)是計(jì)算機(jī)視覺中的經(jīng)典問題,在自動(dòng)駕駛[1]、三維重建[2]、同步定位與地圖繪制(simultaneous localization and mapping,SLAM)[3]等研究任務(wù)中都起著重要作用。傳統(tǒng)方法一般利用激光、結(jié)構(gòu)光等在物體表面的反射來獲取深度點(diǎn)云,進(jìn)而獲取高精度的目標(biāo)深度信息,這種方法成本較高且精度受測(cè)量環(huán)境影響較大。通過計(jì)算多視角圖像中的視差得到深度信息的多視圖立體視覺的方法,計(jì)算量大且對(duì)于紋理稀疏的場(chǎng)景預(yù)測(cè)較為困難。相比之下,利用單張彩色圖輸入預(yù)測(cè)場(chǎng)景深度的單目深度估計(jì)方法,能夠有效控制成本,可應(yīng)用范圍更廣。

預(yù)測(cè)場(chǎng)景深度的單目深度估計(jì)方法,能有效控制成本,可應(yīng)用范圍更廣。近年來,深度學(xué)習(xí)在目標(biāo)檢測(cè)[4]、目標(biāo)識(shí)別與跟蹤[5]、圖像分類[6]等領(lǐng)域中展現(xiàn)出了良好性能,基于深度學(xué)習(xí)方法的單目深度估計(jì)也受到了研究人員的廣泛關(guān)注。Eigen等[7]在2014年首次提出將深度神經(jīng)網(wǎng)絡(luò)用于單目深度估計(jì)任務(wù),設(shè)計(jì)了一種包含粗細(xì)兩種不同尺度的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),其中粗尺度網(wǎng)絡(luò)用于估計(jì)圖像的全局深度,細(xì)尺度網(wǎng)絡(luò)用于優(yōu)化局部特征,通過兩個(gè)網(wǎng)絡(luò)的疊加處理提取單目圖像的特征,并進(jìn)行深度估計(jì)。Laina等[8]提出了一種基于殘差學(xué)習(xí)的全卷積網(wǎng)絡(luò)框架,該框架使用了小卷積代替大卷積的方式提升了上采樣效率,同時(shí)使用了Huber損失函數(shù),實(shí)現(xiàn)了對(duì)L1損失和L2損失的平衡。Fu等[9]考慮到深度估計(jì)的不確定性隨著深度值變大而變大,提出使用間隔增加的離散化(spacing-increasing discretization, SID)策略將深度估計(jì)這一回歸問題轉(zhuǎn)化為多個(gè)離散的二分類問題,同時(shí)使用空洞空間卷積池化金字塔(atrous spatial pyramid pooling, ASPP)網(wǎng)絡(luò)融合多尺度信息,預(yù)測(cè)精度和同步收斂速度相比之前的方法都有明顯提升。Yuan等[10]則提出了一種基于神經(jīng)窗口全連接的條件隨機(jī)場(chǎng)(conditional random fields, CRFs)模塊的單目深度估計(jì)網(wǎng)絡(luò)。該網(wǎng)絡(luò)將輸入圖像分割為子窗口,并在每個(gè)窗口內(nèi)進(jìn)行全連接的CRFs優(yōu)化,降低了高計(jì)算復(fù)雜度,同時(shí)使用多頭注意力機(jī)制來捕獲各窗口CRFs中的成對(duì)關(guān)系,從而實(shí)現(xiàn)對(duì)高分辨率密集深度圖的準(zhǔn)確預(yù)測(cè)。

上述有監(jiān)督模型均以真實(shí)的深度信息作為標(biāo)簽進(jìn)行訓(xùn)練,但深度信息很難獲取,因此近年來涌現(xiàn)出大量無(wú)監(jiān)督單目深度估計(jì)模型。Godard等[11]提出的Monodepth算法可看作是基于雙目訓(xùn)練的無(wú)監(jiān)督單目估計(jì)模型的開端,該算法只需在訓(xùn)練中使用右視圖,在測(cè)試時(shí)輸入左視圖,就能生成左右視差圖,進(jìn)行深度估計(jì),利用左右視差圖一致性優(yōu)化輸出結(jié)果。受計(jì)算機(jī)視覺運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion,SFM)算法的啟發(fā),Zhou等[12]另辟蹊徑,提出了一個(gè)端到端學(xué)習(xí)方法,在未標(biāo)記的視頻上進(jìn)行訓(xùn)練,利用視圖合成的任務(wù)來監(jiān)督單視圖深度估計(jì)。Godard等[13]提出Monodepth2算法,將基于單目視頻和基于雙目圖像的深度估計(jì)結(jié)合起來,同時(shí)在輸入分辨率下執(zhí)行所有圖像采樣的多尺度外觀匹配損失以減少深度偽影。Shu[14]等利用單視圖重構(gòu)來學(xué)習(xí)特征表示,并提出了一種用于自監(jiān)督深度和自我運(yùn)動(dòng)估計(jì)的特征度量損失,以準(zhǔn)確計(jì)算無(wú)紋理區(qū)域像素的光度損失。Lee等[15]提出了一種端到端的聯(lián)合訓(xùn)練框架,該框架基于神經(jīng)前向投影模塊,同時(shí)使用單一實(shí)例感知的光度測(cè)量和幾何一致性損失,減小運(yùn)動(dòng)模糊性對(duì)深度估計(jì)準(zhǔn)確性的影響。

雖然無(wú)監(jiān)督單目深度估計(jì)領(lǐng)域發(fā)展迅速,但目前的無(wú)監(jiān)督單目深度估計(jì)方法仍存在淺層特征利用不足、深度邊緣估計(jì)困難的問題。針對(duì)這一問題,Zhu[16]等考慮利用語(yǔ)義分割邊緣指導(dǎo)深度邊緣,提出一種測(cè)量分割和深度之間的邊界一致性的方法,并將其最小化,以推動(dòng)深度網(wǎng)絡(luò)向更精確的邊緣發(fā)展。葉星余等[17]提出將對(duì)抗生成網(wǎng)絡(luò)(generative adversarial network, GAN)作為深度估計(jì)的網(wǎng)絡(luò)框架,并將自注意力機(jī)制結(jié)合在深度估計(jì)任務(wù)中,以提高網(wǎng)絡(luò)模型對(duì)場(chǎng)景細(xì)節(jié)、邊緣輪廓的學(xué)習(xí)能力。然而,上述這些方法均需要使用額外的語(yǔ)義網(wǎng)絡(luò)或判別輔助訓(xùn)練。

本文設(shè)計(jì)了一種即插即用的邊緣強(qiáng)化模塊,使用條狀卷積聚合邊緣附近的像素,充分利用上下文特征使深度邊緣更加清晰;同時(shí)結(jié)合高斯拉普拉斯算子進(jìn)行邊緣增強(qiáng),強(qiáng)化深度邊緣信息,只需將其嵌入深度估計(jì)網(wǎng)絡(luò),即可實(shí)現(xiàn)對(duì)深度邊緣的準(zhǔn)確估計(jì)。

1 無(wú)監(jiān)督單目深度估計(jì)網(wǎng)絡(luò)原理

本文使用的是目前單目深度估計(jì)領(lǐng)域最常用的SFM框架,如圖1所示,輸入未標(biāo)記的單目視頻序列中連續(xù)的三幀It,t∈{-1,0,1},聯(lián)合訓(xùn)練一個(gè)單視圖深度網(wǎng)絡(luò)模型Θdepth和一個(gè)姿態(tài)網(wǎng)絡(luò)模型Θpose。單視圖深度網(wǎng)絡(luò)模型Θdepth以目標(biāo)幀I0作為輸入,輸出預(yù)測(cè)深度圖d;姿態(tài)網(wǎng)絡(luò)模型Θpose用以估計(jì)目標(biāo)幀I0與源幀It′之間的相對(duì)位姿T0→t′=Θpose(I0,It′),t′∈{-1,1}。

圖1 無(wú)監(jiān)督單目深度估計(jì)框架圖Fig.1 Diagram of unsupervised monocular depth estimation framework

基于移動(dòng)攝像機(jī)和靜態(tài)場(chǎng)景假設(shè),可以利用源幀It′,t′∈{-1,1}重構(gòu)出目標(biāo)幀I0,如下所示:

It′→0=It′[proj(reproj(I0,d,T0→t′),K)]

(1)

式中:K為已知的相機(jī)內(nèi)部參數(shù);[]表示采樣操作;reproj表示返回t′時(shí)刻的三維點(diǎn)云;proj表示輸出將點(diǎn)云投影到It′上的二維坐標(biāo)。

2 本文方法

本節(jié)主要介紹了基于邊緣強(qiáng)化的無(wú)監(jiān)督單目深度估計(jì)網(wǎng)絡(luò)的具體構(gòu)建方法,針對(duì)目前方法中存在的深度邊緣模糊的問題,本節(jié)對(duì)傳統(tǒng)深度網(wǎng)絡(luò)進(jìn)行了改進(jìn),設(shè)計(jì)了一種能夠增強(qiáng)邊緣深度預(yù)測(cè)的模塊,該模塊使用條狀卷積結(jié)合高斯拉普拉斯算子學(xué)習(xí)邊緣信息,提高了網(wǎng)絡(luò)預(yù)測(cè)深度邊界的能力。

2.1 改進(jìn)的單目深度網(wǎng)絡(luò)

本文提出的網(wǎng)絡(luò)模型如圖2所示,由單視圖深度網(wǎng)絡(luò)和姿態(tài)網(wǎng)絡(luò)兩部分構(gòu)成,均采用編解碼結(jié)構(gòu)。姿態(tài)網(wǎng)絡(luò)模型以18層的深度殘差網(wǎng)絡(luò)(deep residual network, ResNet18)為骨干網(wǎng)絡(luò),以視頻序列相鄰的三幀作為輸入,該網(wǎng)絡(luò)編碼器由7個(gè)步長(zhǎng)為2的卷積層組成,解碼器由4個(gè)步長(zhǎng)為1的反卷積層組成。最后,將全局平均池化應(yīng)用于所有空間位置的聚合預(yù)測(cè),輸出具有6自由度的相對(duì)姿態(tài)。

圖2 深度估計(jì)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Depth estimation network structure

解碼器采用U型架構(gòu)[18],對(duì)編碼器輸出的特征進(jìn)行上采樣恢復(fù)維度,使用跳躍連接在上采樣的過程中將不同尺度的特征融合,同時(shí)引入邊緣強(qiáng)化模塊增強(qiáng)對(duì)深度邊緣區(qū)域的感知,最終依次輸出4個(gè)分辨率遞增的深度圖。在訓(xùn)練中,來自4個(gè)尺度的深度圖均參與損失函數(shù)計(jì)算;在測(cè)試時(shí),模型只輸出最大分辨率深度圖。

2.2 邊緣強(qiáng)化解碼器

本節(jié)詳細(xì)介紹了內(nèi)嵌邊緣強(qiáng)化模塊的單視圖深度網(wǎng)絡(luò)解碼器內(nèi)部各節(jié)點(diǎn)的結(jié)構(gòu),分別介紹了邊緣強(qiáng)化模塊各組分的具體構(gòu)建方法,并通過輸出特征圖分析各組分對(duì)深度圖的影響。

2.2.1 解碼器總體架構(gòu)

解碼器節(jié)點(diǎn)的具體結(jié)構(gòu)如圖3所示,其中節(jié)點(diǎn)Di,i∈{1,2,3,4}均有2個(gè)輸入特征圖i1,i2,對(duì)分辨率較小的i1進(jìn)行采樣操作后,與i2進(jìn)行concat操作得到特征圖F。然后,將特征圖輸入到一個(gè)通道注意力映射生成器,輸出一維通道注意映射與特征圖進(jìn)行元素級(jí)乘法,得到特征圖Fc。在乘法過程中,通道注意值沿著空間維度廣播,這使得編碼器能學(xué)習(xí)到不同通道的重要性,從而更好地完成跳躍連接。最后,將特征圖Fc輸入3×3卷積層,節(jié)點(diǎn)Di,i∈{1,2,3}輸出相應(yīng)尺度的深度圖。

圖3 單視圖深度網(wǎng)絡(luò)解碼器結(jié)構(gòu)及細(xì)節(jié)圖Fig.3 Structure and details diagram of single-view depth network decoder

為了更充分地利用淺層特征的細(xì)節(jié)信息,提高深度邊緣的準(zhǔn)確性,節(jié)點(diǎn)D0添加即插即用的邊緣強(qiáng)化模塊MSE來提高邊緣區(qū)域深度估計(jì)的精度,邊緣強(qiáng)化模塊MSE的定義為

MSE=ME(MS(Fi))

(2)

式中:Fi表示經(jīng)過通道注意力處理的特征圖;MS表示條狀卷積處理;ME表示邊緣增強(qiáng)處理。

圖4(a)為經(jīng)過通道注意力處理的特征圖,其含有大量與深度信息無(wú)關(guān)的結(jié)構(gòu)信息且在對(duì)象邊緣區(qū)域存在大量偽影。如圖4(b)所示,經(jīng)過條狀卷積處理后的特征圖,邊緣區(qū)域初步細(xì)化,但有效的深度信息很少。如圖4(c)所示,經(jīng)過邊緣增強(qiáng)處理后的特征圖,特征圖的深度信息更加豐富,邊緣信息更加精準(zhǔn)明確。

圖4 邊緣強(qiáng)化模塊的作用Fig.4 Effect of the edge enhancement module

2.2.2 條狀卷積

傳統(tǒng)方法一般直接使用3×3或5×5的方形卷積來預(yù)測(cè)最終的深度[19],這種卷積層只對(duì)每個(gè)像素的局部特征進(jìn)行聚合,不能充分利用邊界和全局上下文特征,這限制了其在捕捉現(xiàn)實(shí)場(chǎng)景中廣泛存在的各向異性背景時(shí)的靈活性[20]。如圖5(a)所示,對(duì)于場(chǎng)景中離散分布的行人或者帶狀結(jié)構(gòu)的車輛而言,使用方形卷積不可避免地會(huì)合并來自無(wú)關(guān)區(qū)域的信息,容易讓深度預(yù)測(cè)出現(xiàn)局部混亂,導(dǎo)致深度邊緣模糊不清。如圖5(b)所示,條狀卷積沿一個(gè)空間維度部署長(zhǎng)條狀的核,有助于捕獲遠(yuǎn)距離依賴關(guān)系;沿其他空間維度保持窄的內(nèi)核形狀,有助于捕獲本地上下文信息并防止不相干區(qū)域妨礙預(yù)測(cè)結(jié)果。條狀卷積可以作為方形卷積的補(bǔ)充,幫助提取更精細(xì)的物體特征。因此,本文設(shè)計(jì)利用條狀卷積在進(jìn)行最終的深度預(yù)測(cè)前先明確邊界附近的深度變化,并挖掘細(xì)節(jié)特征。

圖5 條狀卷積示意及細(xì)節(jié)圖Fig.5 Schematic and details diagram of strip convolution

條狀卷積具體細(xì)節(jié)如圖5(c)所示。其中,a為11×3卷積層,b為3×11卷積層,令卷積a在水平方向、卷積b在垂直方向分別大范圍聚合邊界附近的像素,然后進(jìn)行元素級(jí)的相加操作來融合兩條狀卷積提取的特征,為保證融合特征的多樣性,條狀卷積后不接激活函數(shù)。由于沿正交方向的全局上下文信息是指示相對(duì)深度的重要線索,通過該條狀卷積處理可以更好地識(shí)別物體與其背景之間的深度變化。

2.2.3 邊緣增強(qiáng)

經(jīng)過上述條狀卷積處理后,特征圖深度邊緣在一定程度上得到明確,但仍需進(jìn)一步增強(qiáng)。拉普拉斯算子是具有旋轉(zhuǎn)不變性的二階微分算子,可以通過圖像梯度來尋找邊緣的強(qiáng)度和方向,在邊緣檢測(cè)中得到了廣泛的應(yīng)用,其計(jì)算公式為

(3)

由于二階微分算子對(duì)噪聲比較敏感,通常在拉普拉斯變換前先進(jìn)行高斯平滑,以避免像素值的急劇變化。二維圖像中各向同性的高斯形式為

(4)

由于輸入的圖像都是用離散像素表示的,需要找到離散的卷積核來近似高斯平滑和拉普拉斯變換,而卷積運(yùn)算滿足結(jié)合律,因此可使用高斯拉普拉斯算子一次性完成上述平滑和銳化兩種處理[21],本文基于此算子進(jìn)行邊緣增強(qiáng)處理,其定義為

(5)

式中:σ為方差值,本文取值為1.1。

2.3 損失函數(shù)

本文通過光度損失Lp和邊緣感知平滑度損失Ls[11,13]聯(lián)合監(jiān)督訓(xùn)練單視圖深度網(wǎng)絡(luò)和姿態(tài)網(wǎng)絡(luò)。光度損失Lp是一個(gè)外觀匹配損失,本文使用結(jié)構(gòu)相似度項(xiàng)(structural similarity index measurement, SSIM)[22]結(jié)合L1范式計(jì)算目標(biāo)幀和重構(gòu)目標(biāo)幀之間的相似性,光度損失函數(shù)定義為

(6)

式中:I0為目標(biāo)幀;It′→0為重構(gòu)目標(biāo)幀;α為權(quán)值系數(shù)。

邊緣感知平滑度損失Ls用來規(guī)范低梯度區(qū)域的深度,其定義為:

(7)

同時(shí)沿用了Monodepth算法[13]中引入的最小光度誤差、自動(dòng)掩蔽多尺度深度損失,最終的損失函數(shù)定義為

Lfinal=min(Lp)+βLs(d),t′∈{-1,1}

(8)

式中:β為光度損失Lp和邊緣感知平滑度損失Ls之間的加權(quán)系數(shù)。

3 實(shí)驗(yàn)結(jié)果與分析

本節(jié)驗(yàn)證了本文提出的模型能夠輸出邊緣精確的深度圖,在KITTI數(shù)據(jù)集[23]上通過消融實(shí)驗(yàn)驗(yàn)證了本文各項(xiàng)改進(jìn)的作用,同時(shí)與近年來一些先進(jìn)的深度估計(jì)方法[13,24-33]進(jìn)行比較,具體如下。

(1) Li等[24]和Akada等[25]:均采用真實(shí)的深度標(biāo)簽進(jìn)行訓(xùn)練監(jiān)督。其中,Li等[24]提出了一種軟加權(quán)和推理方法,減少了量化誤差的影響,提高了模型魯棒性;Akada等[25]則應(yīng)用領(lǐng)域不變特征學(xué)習(xí)方法借助更容易產(chǎn)生的合成圖片訓(xùn)練深度估計(jì)模型。

(2) 文獻(xiàn)[26]:將HRNet引入單目深度估計(jì),設(shè)計(jì)了一種結(jié)合了多分辨率特征融合和空間注意力機(jī)制的新型深度網(wǎng)絡(luò),彌補(bǔ)了編碼器和解碼器特征映射之間的語(yǔ)義差距,本文以此為基礎(chǔ)進(jìn)行改進(jìn)。

(3) 文獻(xiàn)[27]和文獻(xiàn)[28]:采用有監(jiān)督的語(yǔ)義分割和自監(jiān)督的深度估計(jì)進(jìn)行互利跨域訓(xùn)練,利用語(yǔ)義信息區(qū)分和處理場(chǎng)景中潛在的動(dòng)態(tài)物體。

(4) 文獻(xiàn)[29]:重新設(shè)計(jì)了跳躍連接并提出了特征融合-壓縮激勵(lì)塊,實(shí)現(xiàn)了多尺度的高分辨率特征融合,幫助網(wǎng)絡(luò)預(yù)測(cè)更清晰的邊緣。

(5) 文獻(xiàn)等[30]:提出使用Sobel算子和高斯模糊在下采樣的過程中提取并保留邊緣信息,并引入基于紋理稀疏性的自適應(yīng)加權(quán)損失來解決遮擋和紋理稀疏性問題。

(6) 文獻(xiàn)[31]:引入遮擋感知蒸餾模塊,充分結(jié)合立體深度估計(jì)算法和單目深度估計(jì)算法的優(yōu)點(diǎn),提升深度估計(jì)網(wǎng)絡(luò)性能。

(7) 文獻(xiàn)[32]:提出了幾何一致性損失,懲罰相鄰視圖之間預(yù)測(cè)深度的不一致,同時(shí)使用一個(gè)自發(fā)現(xiàn)掩模以屏蔽由于物體移動(dòng)產(chǎn)生的無(wú)效點(diǎn)。

(8) 文獻(xiàn)[33]:提出一種新的尺度感知框架,使用慣性測(cè)量單元(inertial measurement unit, IMU)光度損失和跨傳感器光度一致性損失,以解決單目深度估計(jì)中的尺度模糊問題。

3.1 數(shù)據(jù)集

KITTI數(shù)據(jù)集是一個(gè)自動(dòng)駕駛數(shù)據(jù)集,包含來自農(nóng)村地區(qū)、城市、高速公路等394個(gè)道路場(chǎng)景的灰色、彩色和地面真實(shí)深度圖像。本文使用Eigen等[7]拆分出的39 810個(gè)連續(xù)幀用于進(jìn)行訓(xùn)練,使用697張圖像進(jìn)行測(cè)試。為了簡(jiǎn)化訓(xùn)練過程,假設(shè)不同場(chǎng)景中所有幀的攝像機(jī)的固有矩陣都是相同的。為了得到這個(gè)通用的內(nèi)在矩陣,將相機(jī)的主點(diǎn)設(shè)置為圖像中心,并將焦距重置為KITTI中所有焦距的平均值。

3.2 實(shí)施細(xì)節(jié)

本網(wǎng)絡(luò)使用具有24G運(yùn)行內(nèi)存的RTX3090Ti顯卡對(duì)模型進(jìn)行訓(xùn)練,使用Adam優(yōu)化器[34]訓(xùn)練單視圖深度網(wǎng)絡(luò)模型和姿態(tài)網(wǎng)絡(luò)模型20個(gè)訓(xùn)練輪次,默認(rèn)測(cè)試系數(shù)β1、β2分別為0.9和0.999,批量大小為8,分辨率為640×192和1 024×320。設(shè)置前14個(gè)訓(xùn)練輪次的初始學(xué)習(xí)率為10-4,將剩余訓(xùn)練輪次的學(xué)習(xí)率微調(diào)為10-5。在式(8)的最終目標(biāo)函數(shù)Lfinal中,令SSIM權(quán)值α=0.85,邊緣感知平滑權(quán)值β=1×10-3。

3.3 評(píng)估指標(biāo)

基于之前的工作[11],本文采用平均相對(duì)誤差(absolute relative error, Abs Rel)、平方相對(duì)誤差(square relative error, Sq Rel)、均方根誤差(root mean square error, RMSE)、對(duì)數(shù)均方根誤差(root mean square logarithmic error, RMSE log)、閾值精度5個(gè)指標(biāo)對(duì)改進(jìn)的模型進(jìn)行量化度量。上述指標(biāo)公式如下:

平均相對(duì)誤差(absolute relative error, Abs Rel):

(9)

平方相對(duì)誤差(square relative error, Sq Rel):

(10)

均方根誤差RMSE:

(11)

對(duì)數(shù)均方根誤差RMSE log:

(12)

域值精度滿足條件:

(13)

式中:d為某一像素的真實(shí)深度值;d*為某一像素的預(yù)測(cè)深度值;T為真實(shí)深度圖中可獲取的像素總數(shù);log底數(shù)為e。

3.4 實(shí)驗(yàn)結(jié)果分析

為證明本文所提改進(jìn)方法的有效性和先進(jìn)性,在KITTI數(shù)據(jù)集上將本文方法的實(shí)驗(yàn)結(jié)果與近年來其他先進(jìn)的無(wú)監(jiān)督單目深度估計(jì)方法進(jìn)行對(duì)比,對(duì)比結(jié)果如表1所示。

表1 在KITTI數(shù)據(jù)集上的測(cè)試結(jié)果對(duì)比Table 1 Comparison of experimental results on the KITTI dataset

從表1可以看出,與其他先進(jìn)的無(wú)監(jiān)督模型甚至是有監(jiān)督模型相比,本文提出的模型誤差指標(biāo)低,預(yù)測(cè)準(zhǔn)確率高,在1 024×320及其近似分辨率下,本文模型的所有指標(biāo)均優(yōu)于其他模型。Liu等[30]提出的模型和本文改進(jìn)的模型均考慮使用傳統(tǒng)邊緣檢測(cè)方法強(qiáng)化邊緣信息。在1 024×320分辨率下,本文提出的模型在Abs Rel、Sq Rel、RMSE以及RMSE log上相較于前者分別提高了10.6%、8.6%、3.9%和5.0%。實(shí)驗(yàn)結(jié)果表明,在不同分辨率下,本文提出方法的所有評(píng)估指標(biāo)幾乎全面優(yōu)于先前方法,能夠?qū)崿F(xiàn)深度估計(jì)質(zhì)量的整體提升。

3.5 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的邊緣強(qiáng)化模塊對(duì)提升邊緣深度預(yù)測(cè)能力的有效性,以640×192分辨率為例,通過消融實(shí)驗(yàn)進(jìn)行對(duì)比,分析了該模塊各組分的貢獻(xiàn)以及邊緣強(qiáng)化模塊位置對(duì)深度預(yù)測(cè)結(jié)果的影響,結(jié)果如表2所示。

表2 驗(yàn)證各組分作用的消融實(shí)驗(yàn)結(jié)果Table 2 Results of ablation experiment on the verification of the effect of each component

在Baseline上添加條狀卷積層后,雖然網(wǎng)絡(luò)的參數(shù)量和計(jì)算量均小有增加,但由于網(wǎng)絡(luò)對(duì)邊緣信息提取能力增強(qiáng),對(duì)邊緣附近的上下文特征聚合更充分,對(duì)該區(qū)域的深度變化感知更深刻,從表2可以看出,網(wǎng)絡(luò)在精度上也有了一定的提高,Sq Rel達(dá)到了0.754,比之前提升了2.4%,說明對(duì)深度邊緣的細(xì)化有助于提升深度預(yù)測(cè)的準(zhǔn)確性。此外,單獨(dú)使用高斯拉普拉斯算子進(jìn)行邊緣增強(qiáng)處理,也能在一定程度上增強(qiáng)網(wǎng)絡(luò)對(duì)于邊緣區(qū)域信息的利用,使精度小幅提升,且該處理不涉及參數(shù)量和計(jì)算量的增加,最大程度地實(shí)現(xiàn)了精度提升和計(jì)算成本之間的平衡。在使用條狀卷積和邊緣增強(qiáng)處理組成的邊緣強(qiáng)化模塊后,網(wǎng)絡(luò)對(duì)邊緣信息的提取和整合能力最大化,更大程度地發(fā)掘了網(wǎng)絡(luò)的潛能,幾乎所有指標(biāo)均高于先前實(shí)驗(yàn)結(jié)果,其中Sq Rel相較基準(zhǔn)模型提升了3.6%,Abs Rel提升了1%,保證了深度估計(jì)的準(zhǔn)確性,又維持了預(yù)測(cè)的速度。實(shí)驗(yàn)表明,本文設(shè)計(jì)的邊緣強(qiáng)化模塊的每一組分對(duì)于網(wǎng)絡(luò)的最終精度提升都是有效的,且兩者結(jié)合的效果更好。

由于淺層網(wǎng)絡(luò)感受野較小,感受野重疊區(qū)域也較小,所以其提取的特征分辨率高,能夠包含更多的細(xì)節(jié)信息。因此對(duì)來自編碼器淺層特征圖的邊緣信息進(jìn)行強(qiáng)化,有利于提高邊緣區(qū)域深度預(yù)測(cè)的精準(zhǔn)度。從表3可以看出,在圖3中的D0節(jié)點(diǎn),也就是輸出最大深度圖的解碼器節(jié)點(diǎn)中嵌入邊緣強(qiáng)化模塊能夠在最大程度上優(yōu)化邊緣深度估計(jì),相較在其他位置應(yīng)用邊緣強(qiáng)化模塊,Sq Rel最高提升了6.1%,Abs Rel最高提升了1.5%。另外,對(duì)于條狀卷積而言,過短或過窄會(huì)妨礙網(wǎng)絡(luò)對(duì)于邊緣區(qū)域上下文信息的捕捉,過長(zhǎng)或過寬則使網(wǎng)絡(luò)易受到無(wú)關(guān)區(qū)域信息干擾。從表4可以看出,本文所選用的11×3的條狀卷積層最有利于其發(fā)揮細(xì)化作用,提升網(wǎng)絡(luò)精度。

表3 邊緣強(qiáng)化模塊位置的消融實(shí)驗(yàn)結(jié)果Table 3 Results of ablation experiment on the location of edge enhancement module

表4 條狀卷積形狀的消融實(shí)驗(yàn)結(jié)果Table 4 Results of ablation experiment on the shape of strip convolutions

為了更直觀地表明本文改進(jìn)模型的效果,圖6給出了一些可視化的結(jié)果,其中圖6(a)為測(cè)試圖像,圖6(b)為沒有添加邊緣強(qiáng)化模塊的模型輸出的深度圖,圖6(c)為含有邊緣強(qiáng)化模塊的模型輸出的深度圖。從圖6可以看出,本文提出的邊緣強(qiáng)化模塊能夠使輸出的深度圖邊界更清晰準(zhǔn)確,細(xì)節(jié)更完整。對(duì)于圖6(a)的左圖來說,改進(jìn)的方法將欄桿與后方的樹冠進(jìn)行了明確區(qū)分,分別進(jìn)行了準(zhǔn)確估計(jì)。對(duì)于圖6(a)的右圖來說,改進(jìn)的方法不僅將電線桿與后方的樹冠進(jìn)行了明確區(qū)分,還對(duì)交通標(biāo)識(shí)和行人的細(xì)節(jié)進(jìn)行了精確還原。

圖6 可視化結(jié)果對(duì)比Fig.6 Comparison of visualization results

從上述各項(xiàng)實(shí)驗(yàn)指標(biāo)和可視化結(jié)果對(duì)比中不難看出,本文改進(jìn)的模型能夠充分利用細(xì)節(jié)信息,精準(zhǔn)估計(jì)邊緣深度,有效提高預(yù)測(cè)精度,與此同時(shí),并沒有大幅增加模型的參數(shù)量和計(jì)算量,可以說即保證了深度估計(jì)的準(zhǔn)確性,又控制了模型的時(shí)間和空間成本,滿足實(shí)際應(yīng)用場(chǎng)景的需要。

4 結(jié)束語(yǔ)

為解決目前無(wú)監(jiān)督單目深度估計(jì)方法中存在的深度邊緣估計(jì)不準(zhǔn)、細(xì)節(jié)缺失的問題,本文提出了一種基于邊緣強(qiáng)化的無(wú)監(jiān)督單目深度估計(jì)網(wǎng)絡(luò)模型,該模型的核心是一個(gè)即插即用的邊緣強(qiáng)化模塊,通過條狀卷積細(xì)化深度邊緣區(qū)域,通過高斯拉普拉斯算子提取出準(zhǔn)確的邊緣信息,最終在兩者的共同作用下充分挖掘圖像中的邊緣信息,對(duì)深度邊緣區(qū)域遞進(jìn)式強(qiáng)化,精準(zhǔn)估計(jì)邊緣深度值。在KITTI數(shù)據(jù)集上的消融實(shí)驗(yàn)證明了每個(gè)提出的改進(jìn)在網(wǎng)絡(luò)性能上的增益。與之前的方法相比,本文提出的方法性能優(yōu)越,有效增強(qiáng)了網(wǎng)絡(luò)對(duì)邊緣區(qū)域的預(yù)測(cè)能力,輸出的深度圖邊緣更細(xì)致、細(xì)節(jié)更準(zhǔn)確,整體預(yù)測(cè)精度更高。