基于像素自適應(yīng)特征融合的單目深度估計(jì)*

仵 宇

（中國石油大學(xué)（華東）計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 青島 266580）

1 引言

場景的深度估計(jì)是計(jì)算機(jī)視覺中的經(jīng)典問題，對場景理解、三維重建、自動(dòng)駕駛以及光照估計(jì)等問題有重要作用［1］。普通攝像機(jī)拍攝的圖像只記錄了場景的顏色信息，沒有記錄攝像機(jī)與場景中物體之間的距離信息，即深度信息。場景深度估計(jì)任務(wù)的目的就是恢復(fù)出目標(biāo)場景中每個(gè)像素點(diǎn)的深度信息。

基于圖像的深度估計(jì)方法根據(jù)不同的輸入圖像數(shù)量可分為多目深度估計(jì)方法和單目深度估計(jì)方法。基于多張圖像的深度估計(jì)方法包括立體幾何（MVS）算法［2］、運(yùn)動(dòng)中恢復(fù)結(jié)構(gòu)（SFM）算法［3］以及從圖像陰影中恢復(fù)深度信息（SFS）算法［4］等。立體幾何算法通過模擬人眼成像的方式，采用兩個(gè)相機(jī)拍攝不同視角的圖像，通過代價(jià)函數(shù)計(jì)算出圖像的視差圖，其原理與人的雙眼成像過程類似，SFM是從一系列二維圖像序列中估計(jì)三維結(jié)構(gòu)的代表性方法，通過圖像序列之間的特征對應(yīng)和幾何約束來計(jì)算，即精確的特征匹配和高質(zhì)量的圖像序列很大程度上決定了深度估計(jì)的精度，SFS 則是利用灰度圖像中陰影部分像素值的變化來恢復(fù)目標(biāo)物體表面形狀。這幾種算法精度不高，同時(shí)對于輸入的要求各有不同，所以適用性不好。

基于單幅RGB 圖像的深度估計(jì)方法又稱單目深度估計(jì)方法，是計(jì)算機(jī)視覺領(lǐng)域近幾年的熱門研究課題。盡管從單幅RGB 圖像估計(jì)圖像的深度信息是一個(gè)病態(tài)的問題，但單目深度網(wǎng)絡(luò)能夠通過學(xué)習(xí)表示方法，將場景和物體的外觀與其在歐幾里德三維空間中的幾何形狀聯(lián)系起來，從而做出準(zhǔn)確的預(yù)測［5］。由于透視的關(guān)系，在物體的類別條件下，二維物體的視覺外觀和它的深度之間確實(shí)存在一種等方差關(guān)系。例如，在圖像平面上，50m 遠(yuǎn)的汽車看起來比5m 遠(yuǎn)的行人小，但比500m 遠(yuǎn)的卡車大，所以在圖像上像素值之間的關(guān)系可以反映深度關(guān)系。與基于雙目圖像的深度估計(jì)技術(shù)相比，單目深度估計(jì)有著圖像獲取容易、數(shù)據(jù)集廣泛、切合實(shí)際場景視點(diǎn)等諸多優(yōu)點(diǎn)，但單張圖像本身存在信息缺失，如果能從單目圖像中準(zhǔn)確恢復(fù)深度相關(guān)信息，將極大促進(jìn)場景理解等計(jì)算機(jī)視覺領(lǐng)域的發(fā)展。

單目深度估計(jì)的研究已經(jīng)有很長一段發(fā)展過程。最早的研究方法受人類能夠根據(jù)圖像中的線索和自身經(jīng)驗(yàn)推斷出圖像中深度信息的啟發(fā)，根據(jù)光學(xué)原理，利用圖像中的離焦信息恢復(fù)深度（DFD）［6］。基于傳統(tǒng)機(jī)器學(xué)習(xí)的方法大多采用手工提取特征和幾何約束的方式對深度信息進(jìn)行推導(dǎo)計(jì)算，比如構(gòu)建超像素單元，提取SIFT 特征進(jìn)行推斷，劃分圖像塊［7］等。上述算法的提出對深度估計(jì)技術(shù)的發(fā)展有極大的促進(jìn)，但大多只適用于小景深圖像，缺乏適用性。

針對以上問題，本文根據(jù)單目深度估計(jì)的問題特性，結(jié)合現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)框架，引入了語義分割網(wǎng)絡(luò)，對現(xiàn)有的單目深度估計(jì)網(wǎng)絡(luò)框架進(jìn)行改進(jìn)，將語義信息融合到深度信息中，引導(dǎo)單目深度估計(jì)網(wǎng)絡(luò)中的幾何表示學(xué)習(xí)。與現(xiàn)有的標(biāo)準(zhǔn)卷積相比，還引入了像素自適應(yīng)卷積模塊（Pixel-Adaptive Convolutional，PAC）［8］來學(xué)習(xí)語義相關(guān)的表示，可以將語義信息與深度信息更好地進(jìn)行融合，得到更優(yōu)的結(jié)果。

2 相關(guān)工作

近幾年，隨著深度學(xué)習(xí)技術(shù)的迅速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用越來越廣泛。2014 年，Eiggn 等［5］首次將深度神經(jīng)網(wǎng)絡(luò)用于單目深度估計(jì)任務(wù)，提出了細(xì)尺度和粗尺度兩種網(wǎng)絡(luò)分別提取圖片的全局信息和局部細(xì)節(jié)，再對結(jié)果進(jìn)行融合處理得到高分辨率的估計(jì)結(jié)果。隨后幾年，在提高單目圖像深度估計(jì)的準(zhǔn)確性方面不斷取得重大進(jìn)展，包括使用條件隨機(jī)場、有序分類、表面法線聯(lián)合優(yōu)化和多深度圖融合。隨著神經(jīng)網(wǎng)絡(luò)技術(shù)的不斷發(fā)展進(jìn)步，更加復(fù)雜的網(wǎng)絡(luò)以及多樣化的處理手段運(yùn)用到了單目深度估計(jì)領(lǐng)域。Garg 等［9］和Godard 等［10］提出了一種采用立體視覺變化的方法代替自我監(jiān)督策略，其中空間變換網(wǎng)絡(luò)［11］可以利用左視圖的預(yù)測深度，以一種特定方式，將右視圖幾何變形為合成的左視圖。通過使用結(jié)構(gòu)相似項(xiàng)［12］和額外的深度正則化項(xiàng)，可以以端到端的方式來最小化合成圖像與原始左視圖之間的光度一致性損失。繼Godard 等之后，Zhou 等［13］將其推廣到單目環(huán)境中，其中深度網(wǎng)絡(luò)和位姿網(wǎng)絡(luò)同時(shí)從未標(biāo)記的單目視頻中學(xué)習(xí)。

引入語義信息來提高深度估計(jì)已經(jīng)有了很大的進(jìn)展，可以大致分為兩種。第一種方法使用語義信息來適當(dāng)?shù)慕D像的動(dòng)態(tài)部分，進(jìn)而在計(jì)算的時(shí)候忽略光度損失。Guney 等在馬爾科夫模型中利用條件隨機(jī)場來解決立體模糊問題，而Bai 等使用實(shí)例級分割和外條件約束的結(jié)合來減少光流估計(jì)中的不確定性［14］。Casser 等［15］則是使用實(shí)例級掩膜來估計(jì)環(huán)境中不同對象的運(yùn)動(dòng)模型，并在產(chǎn)生的扭曲圖像中考慮它們的外部運(yùn)動(dòng)。第二種方法嘗試在一個(gè)網(wǎng)絡(luò)框架中學(xué)習(xí)這兩個(gè)任務(wù)，并采用一致性損失來確保這兩個(gè)任務(wù)同時(shí)得到優(yōu)化，并彼此規(guī)則化，因此一個(gè)任務(wù)中包含的信息可以被傳遞來優(yōu)化另一個(gè)任務(wù)。Ochs 等［16］使用類似于標(biāo)準(zhǔn)語義分割損失的順序分類損失估計(jì)深度，并使用經(jīng)驗(yàn)加權(quán)將它們組合成單個(gè)損失進(jìn)行優(yōu)化。Chen 等［17］使用了一個(gè)統(tǒng)一的條件解碼器，可以生成語義或深度表達(dá)，并用于生成一系列損失，同樣使用經(jīng)驗(yàn)加權(quán)來生成需要優(yōu)化的最終損失。

3 方法

本文的網(wǎng)絡(luò)模型采用語義引導(dǎo)的方式完成單目深度估計(jì)任務(wù)。如圖1 所示，通過使用像素自適應(yīng)卷積，我們在深度網(wǎng)絡(luò)中利用了來自預(yù)先訓(xùn)練的語義網(wǎng)絡(luò)的信息。這是最近被提出來解決標(biāo)準(zhǔn)卷積運(yùn)算固有的一些限制，即它的平移不變性使其內(nèi)容不可知。雖然這大大減少了最終網(wǎng)絡(luò)的參數(shù)數(shù)量，但在某些對幾何表示學(xué)習(xí)很重要的條件下，這也可能導(dǎo)致次優(yōu)解。例如，空間共享濾波器在全局范圍內(nèi)平均整個(gè)圖像上的損耗梯度，迫使網(wǎng)絡(luò)學(xué)習(xí)不能在有限的接收域之外利用特定位置信息的權(quán)重。與內(nèi)容無關(guān)的過濾器無法區(qū)分視覺上相似的不同像素（例如，陰影或黑色物體造成的黑暗區(qū)域），或泛化到視覺上不同的相似物體（例如，不同顏色的汽車）。在本文的工作中，我們引入了像素自適應(yīng)卷積產(chǎn)生語義感知深度特征，其中在語義網(wǎng)絡(luò)中編碼的固定信息被用來消除幾何表示歧義，以生成多級深度特征。

圖1 基于語義引導(dǎo)的單目深度估計(jì)網(wǎng)絡(luò)架構(gòu)

3.1 像素自適應(yīng)卷積

如圖1 所示，我們從語義網(wǎng)絡(luò)中提取多級特征映射。對于每個(gè)特征圖，我們應(yīng)用一個(gè)3×3 和一個(gè)1×1 卷積層，然后進(jìn)行組歸一化和ELU 非線性處理。然后，按照Su 等［8］提出的公式，將這些經(jīng)過處理的語義特征映射用作它們各自的像素自適應(yīng)卷積層的引導(dǎo)：

3.2 語義分割分支

作為本文深度網(wǎng)絡(luò)的輔助分支，使用了基于殘差網(wǎng)絡(luò)的特征金字塔網(wǎng)絡(luò)。該體系結(jié)構(gòu)已被證明在面向全景分割的語義和實(shí)例級預(yù)測方面都是有效的。雖然我們提出的語義引導(dǎo)體系結(jié)構(gòu)并不局限于任何特定的網(wǎng)絡(luò)，但我們選擇這個(gè)特定的實(shí)現(xiàn)是為了促進(jìn)未來對不同來源的引導(dǎo)信息的探索。構(gòu)建細(xì)節(jié)遵循Li 等［18］描述的協(xié)議，除非另有說明，否則所有報(bào)告的實(shí)驗(yàn)都使用相同的預(yù)訓(xùn)練模型。假設(shè)語義網(wǎng)絡(luò)是固定的，在與用于自監(jiān)督學(xué)習(xí)的原始數(shù)據(jù)不同的數(shù)據(jù)集上進(jìn)行預(yù)先訓(xùn)練，也就是說，我們不需要目標(biāo)數(shù)據(jù)庫上的任何語義事實(shí)。

3.3 損失函數(shù)

在深度估計(jì)網(wǎng)絡(luò)的訓(xùn)練過程中，數(shù)據(jù)集中大多數(shù)目標(biāo)深度圖均會(huì)丟失部分值，在圖像的邊緣處、交界處或弱紋理區(qū)域較為明顯。本文將真值圖與預(yù)估圖做統(tǒng)計(jì)之后，只統(tǒng)計(jì)預(yù)測的有效點(diǎn)上的損失，忽略沒有進(jìn)行預(yù)測或是預(yù)測的超出真值圖范圍的像素。本文采用的是單目深度估計(jì)常用的尺度不變性損失函數(shù)，利用真值圖與預(yù)測圖中點(diǎn)的相對關(guān)系來消除尺度不確定性帶來的估計(jì)精度的影響，損失函數(shù)如下：

其中，y為深度網(wǎng)絡(luò)預(yù)測的深度圖，y*為對應(yīng)的真值圖，網(wǎng)絡(luò)的輸入、輸出圖像大小均為640×480；n是圖像的像素點(diǎn)總數(shù)；λ是尺度因子，預(yù)設(shè)值為0.5。

4 實(shí)驗(yàn)

4.1 數(shù)據(jù)集介紹

本文采用深度估計(jì)領(lǐng)域的經(jīng)典數(shù)據(jù)集NYU-Depth V2室內(nèi)場景數(shù)據(jù)集對提出的方法進(jìn)行評估，包括464 個(gè)由微軟Kinect 捕獲的室內(nèi)場景視頻序列，共計(jì)40 萬張RGB 圖像、深度圖像對，大小均為640×480，按照官方提供的數(shù)據(jù)集分割方法，將數(shù)據(jù)集分為訓(xùn)練場景249個(gè)，測試場景215個(gè)。

4.2 實(shí)施細(xì)節(jié)

本文使用PyTorch 深度學(xué)習(xí)框架實(shí)現(xiàn)網(wǎng)絡(luò)模型，網(wǎng)絡(luò)訓(xùn)練硬件為NVIDIA Tesla P100 PCIe 16GB GPUs。選用SGD 優(yōu)化策略優(yōu)化網(wǎng)絡(luò)參數(shù)，訓(xùn)練輪數(shù)epochs=100，批大小banchsize=8，學(xué)習(xí)率lr=0.001，每20個(gè)epoch學(xué)習(xí)率減半。

在對語義分割網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練時(shí)，本文使用了ResNet-50 基礎(chǔ)網(wǎng)絡(luò)在ImageNet 數(shù)據(jù)集上進(jìn)行訓(xùn)練，以0.01的學(xué)習(xí)率，0.9的動(dòng)量，10-4的權(quán)值衰減，每個(gè)GPU 批處理大小為2，共計(jì)迭代24000 次來訓(xùn)練并優(yōu)化網(wǎng)絡(luò)。同時(shí)還采用了隨機(jī)縮放，隨機(jī)水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方式。訓(xùn)練完成后，語義分割網(wǎng)絡(luò)固定，直接用于最終深度估計(jì)網(wǎng)絡(luò)的訓(xùn)練。

4.3 評估指標(biāo)

在網(wǎng)絡(luò)結(jié)果評估環(huán)節(jié)，采用單目深度估計(jì)領(lǐng)域公共指標(biāo)，即絕對相對深度誤差A(yù)bs Rel、均方根誤差RMSE、對數(shù)誤差lgRMSE、閾值精度Threshold：

其中，y為深度網(wǎng)絡(luò)預(yù)測的深度圖，y*為對應(yīng)的真值圖，thr為給定閾值，其參數(shù)設(shè)置為δ1＜1.25，δ2＜1.252，δ3＜1.253。

4.4 實(shí)驗(yàn)結(jié)果

為了盡可能消除實(shí)驗(yàn)中出現(xiàn)的隨機(jī)誤差和偶然結(jié)果的影響，本文進(jìn)行了多次重復(fù)試驗(yàn)，取重復(fù)試驗(yàn)平均值為最終實(shí)驗(yàn)結(jié)果，并與當(dāng)下主流的網(wǎng)絡(luò)算法進(jìn)行對比，各項(xiàng)對比結(jié)果見表1，數(shù)據(jù)表示對應(yīng)于該指標(biāo)下的最優(yōu)值。從評估指標(biāo)來看，本文算法結(jié)果均較為理想。在取得理想效果的同時(shí)，還需要參考網(wǎng)絡(luò)處理單張圖像所需的時(shí)間。在計(jì)算效率上，在服務(wù)器端單張圖片處理時(shí)間約為0.087s，但在本地普通電腦端進(jìn)行處理會(huì)出現(xiàn)卡頓現(xiàn)象，距離遠(yuǎn)程實(shí)時(shí)處理還有一定的距離。針對本文的實(shí)驗(yàn)結(jié)果，雖然從方法和模型的角度考慮，已將語音信息通過恰當(dāng)?shù)姆绞饺诤线M(jìn)了多級深度特征中，并對全局特征和局部特征進(jìn)行了融合，提高了網(wǎng)絡(luò)的信息表示能力，但訓(xùn)練出的模型對于復(fù)雜環(huán)境下仍有提升空間，未來工作將從網(wǎng)絡(luò)的參數(shù)量以及網(wǎng)絡(luò)層數(shù)的設(shè)計(jì)上出發(fā)，取得更好的深度預(yù)測效果。

表1 在NYU-DepthV2數(shù)據(jù)集上與當(dāng)下主流算法指標(biāo)比較結(jié)果

5 結(jié)語

本文介紹了一種新穎的語義監(jiān)督單目深度估計(jì)體系結(jié)構(gòu)，該體系結(jié)構(gòu)利用固定預(yù)訓(xùn)練網(wǎng)絡(luò)中的語義信息引導(dǎo)像素自適應(yīng)卷積生成多級深度特征。我們的單目深度網(wǎng)絡(luò)感知了上下文以及豐富的語義信息，可以很好地預(yù)測之前工作對于邊緣有較大誤差的圖像區(qū)域。在具有挑戰(zhàn)性的真實(shí)室內(nèi)場景數(shù)據(jù)集上的實(shí)驗(yàn)表明，我們提出的網(wǎng)絡(luò)模型提高了單目深度估計(jì)任務(wù)的性能。未來的研究方向包括利用其他來源的信息對深度估計(jì)做指導(dǎo)（例如實(shí)例分割掩膜、光流、表面法線等），以及建立更加輕量級的網(wǎng)絡(luò)模型，繼續(xù)推進(jìn)單目深度估計(jì)的實(shí)時(shí)預(yù)測任務(wù)。