基于CNN的彩色圖像引導(dǎo)的深度圖像超分辨率重建

王紫薇，鄧慧萍，向 森，楊建帆

基于CNN的彩色圖像引導(dǎo)的深度圖像超分辨率重建

王紫薇1,2，鄧慧萍1,2，向 森1,2，楊建帆1,2

(1. 武漢科技大學(xué)信息科學(xué)與工程學(xué)院，湖北 武漢 430080；2. 武漢科技大學(xué)冶金自動(dòng)化與檢測技術(shù)教育部工程研究中心，湖北 武漢 430080)

深度圖像表達(dá)了三維場景內(nèi)物體之間的相對距離信息，根據(jù)深度圖像表達(dá)的信息，人們能夠準(zhǔn)確的獲得物體在空間中的位置以及不同物體之間的相對距離，使得深度圖像在立體視覺等領(lǐng)域有著廣泛的應(yīng)用。然而受RGB-D傳感器硬件條件的限制，獲取的深度圖像分辨率低，無法滿足一些具有高精度要求的實(shí)際應(yīng)用的需求。近年來深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)(CNN)在圖像處理方面獲得了非常大的成功。為此提出了一種基于CNN的彩色圖像引導(dǎo)的深度圖像超分辨率重建。首先，利用CNN學(xué)習(xí)彩色圖像的邊緣特征信息與深度圖像的深度特征信息，獲得邊緣紋理清晰的高分辨率深度圖像；再通過不同大小尺寸濾波核的卷積層，進(jìn)一步優(yōu)化深度圖像的邊緣紋理細(xì)節(jié)，獲得更高質(zhì)量的高分辨率深度圖像。實(shí)驗(yàn)結(jié)果表明，相較于其他方法，該方法RMSE值更低，重建的圖像也能更好的恢復(fù)圖像邊緣紋理細(xì)節(jié)。

超分辨率重建；深度圖像；深度信息；卷積神經(jīng)網(wǎng)絡(luò)；深度學(xué)習(xí)

深度信息是人類感知三維空間事物的重要信息。RGB-D傳感器(Kinect等)的發(fā)展，能夠?qū)崟r(shí)的獲取空間內(nèi)物體的深度信息，被廣泛應(yīng)用于機(jī)器人視覺、空間位姿測量、多媒體娛樂等多個(gè)領(lǐng)域[1-3]。由于受硬件的限制，與RGB傳感器能獲取高分辨率的彩色圖像相比，RGB-D傳感器采集的深度圖像分辨率非常低，如Kinect相機(jī)采集的深度圖像分辨率只有640×480，而PMD Camcube 2.0深度相機(jī)的分辨率也只有204×204，限制了三維重建、虛擬現(xiàn)實(shí)等很多領(lǐng)域的發(fā)展。

為了獲得高分辨率的深度圖像，研究人員對深度圖像的超分辨率重建(depth super resolution， DSR)進(jìn)行了研究。從是否利用彩色圖像的角度，深度圖像超分辨率重建可分為單幅圖像的DSR和聯(lián)合彩色圖像的DSR。單幅圖像DSR利用圖像的一些先驗(yàn)知識，重建出高分辨率的深度圖像，常用的方法有圖像插值法和稀疏表示法(ScSR)[4]。由于單幅圖像的DSR中只能應(yīng)用深度圖像自身的圖像信息完成超分辨率重建，往往重建后圖像的分辨率只能提升2~3倍。

考慮深度圖像與其相同場景的彩色圖像在紋理邊緣處有很高的相關(guān)性，利用彩色圖像中清晰的邊緣信息提供的先驗(yàn)信息，引導(dǎo)DSR可進(jìn)一步提高深度圖像的性能。文獻(xiàn)[5-6]分別采用聯(lián)合雙邊濾波器和雙邊濾波器，利用彩色圖像作為先驗(yàn)信息引導(dǎo)DSR；DIEBEL和THRUN[7]最先利用MRF模型將同一場景高分辨率的彩色圖像數(shù)據(jù)整合到深度圖像數(shù)據(jù)中，建立二者的聯(lián)系，通過求解最小二乘優(yōu)化問題，獲得上采樣的深度圖像；FERSTL等[8]提出了一種二階廣義全變分(total generalized variation，TGV)模型，利用彩色圖像的各向異性張量引導(dǎo)DSR；LIU等[9]提出了一種用于彩色圖像引導(dǎo)深度圖恢復(fù)的穩(wěn)健優(yōu)化框架。通過采用魯棒懲罰函數(shù)模擬模型的平滑項(xiàng)獲得高分辨率的深度圖像。然而，盡管彩色圖像引導(dǎo)深度圖像上采樣方法可以獲得很好的結(jié)果，但在許多情況下，由于缺乏與深度圖完全配準(zhǔn)一致的高分辨率彩色圖像，使得彩色圖像引導(dǎo)方法不普遍。

近年來，深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域獲得了很大的成功，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNN）能自動(dòng)提取特征，通過權(quán)重共享大大減少了所需要的參數(shù)，使得CNN能快速處理高維圖像，還具備一定的平移不變性，因而在圖像分類、識別、重建等領(lǐng)域取得了較好的效果。DONG等[10]提出了基于CNN的圖像超分辨率重建(super resolution CNN，SRCNN)來實(shí)現(xiàn)圖像的超分辨率重建，雖然SRCNN對彩色圖像的超分辨率上采樣有著顯著的影響，但由于深度圖的不同特征此模型并不適合直接應(yīng)用于DSR；HUI等[11]提出了一種多尺度融合策略(multi-scale guided convolutional network，MSG-net)，在多尺度引導(dǎo)卷積網(wǎng)絡(luò)中，利用彩色圖像的高頻信息引導(dǎo)DSR，該網(wǎng)絡(luò)的實(shí)現(xiàn)對彩色圖像的分辨率大小有一定的要求，不同分辨率大小的彩色圖像在使用CNN下采樣過程中卷積核的大小不同；ZHOU等[12]基于CNN網(wǎng)絡(luò)結(jié)合彩色圖像的高頻信息重建高分辨率的深度圖像，但是網(wǎng)絡(luò)結(jié)構(gòu)相對于簡單，重建后的圖像依然存在紋理不清晰的問題。

綜上，基于彩色圖像信息可以為DSR提供有價(jià)值的引導(dǎo)，以及深度CNN模型在復(fù)雜圖像細(xì)節(jié)建模方面的成功，本文提出了一種基于CNN的聯(lián)合高分辨率彩色圖像引導(dǎo)的DSR方法。利用CNN聯(lián)合深度圖像和同一場景彩色圖像的有用信息，重建出高分辨率的深度圖像。由于邊緣區(qū)域的某些深度值與小的局部鄰域像素相關(guān)，本文使用了不同大小尺寸的濾波核對重建的高分辨率深度圖像進(jìn)行優(yōu)化，獲得質(zhì)量更好的高分辨率深度圖像。

1 基于CNN的彩色圖像引導(dǎo)的DSR網(wǎng)絡(luò)結(jié)構(gòu)

本文提出了一個(gè)CNN框架，聯(lián)合彩色圖像和深度圖像的上采樣方法，如圖1所示。該網(wǎng)絡(luò)結(jié)構(gòu)主要由彩色圖像引導(dǎo)低分辨率深度圖像的上采樣和重建的高分辨率深度圖像質(zhì)量的優(yōu)化2部分構(gòu)成。

圖1 基于CNN的彩色圖像引導(dǎo)的DSR網(wǎng)絡(luò)結(jié)構(gòu)模型

1.1 聯(lián)合彩色圖像的DSR

彩色圖像引導(dǎo)低分辨率深度圖像的DSR部分，目的是獲得一個(gè)由低分辨率到高分辨率深度圖像的非線性映射，可分為圖像預(yù)處理、特征提取、特征融合和圖像重建4個(gè)步驟。

步驟1. 圖像預(yù)處理。將低分辨率的深度圖像經(jīng)過插值上采樣到所需要的目標(biāo)尺寸，并稱為初始高分辨率深度圖像(IR_D)；將對應(yīng)場景高分辨率的彩色圖像(RGB圖像)轉(zhuǎn)換成YCrCb圖像，記為HR_C。

步驟2. 特征提取。IR_D中含有大量的深度信息，提取其中的深度特征信息可以重構(gòu)出高分辨率的深度圖像。但由于插值上采樣導(dǎo)致IR_D中的深度邊緣信息不清晰，而通道的HR_C中含有明確的邊緣特征信息，可以提取相同場景的彩色圖像邊緣信息引導(dǎo)DSR，獲得高質(zhì)量的高分辨率深度圖像。

本文使用卷積層結(jié)構(gòu)完全相同的2個(gè)卷積通道，分別提取彩色圖像的邊緣特征信息和深度圖像的深度特征信息。Conv1_C，Conv2_C和Conv1_D，Conv2_D為特征提取層。通道的HR_C和IR_D作為CNN的2個(gè)輸入，分別經(jīng)過Conv1_C，Conv2_C和Conv1_D，Conv2_D卷積層，對HR_C和IR_D分別進(jìn)行卷積操作，即

其中，*為卷積操作；1和2分別為Conv1和Conv2的濾波器；的大小為×；為圖像的通道數(shù)；為濾波器數(shù)量；×為卷積核的大小。本文算法中Conv1_C和Conv1_D的通道數(shù)和濾波核大小相同，統(tǒng)稱為Conv1。同樣Conv2_C和Conv2_D統(tǒng)稱為Conv2，即在本文中1=64為Conv1的濾波器數(shù)量，1中包含64個(gè)11×1的濾波器，1=1，1=3；2=64為Conv2層的濾波器數(shù)量，即2中包含64個(gè)22×2的濾波器，2=64，2=3；為偏置向量，維度為維；max(0,)為特征提取后使用的ReLU (Rectified Linear Units)激活函數(shù)；1()和2()分別為Conv1和Conv2層的輸出，即特征提取部分最終分別獲得64幅通道HR_C的邊緣紋理特征圖像和64幅IR_D的深度特征圖像。

步驟3. 特征融合。將提取的彩色圖像邊緣特征信息與深度圖像的深度特征信息融合，融合后的信息與高分辨率深度圖像之間存在著非線性的特征映射的關(guān)系。特征提取部分獲得的邊緣特征與深度特征按通道相加進(jìn)行特征融合，經(jīng)過濾波器大小3=128×64×8×8的Conv3_I卷積層和濾波器大小4=64×1×3×3的Conv4_I卷積層，擬合融合后的特征圖像與高分辨率深度圖像的非線性映射關(guān)系。

又由于DSR主要是通過從低分辨率深度圖像中恢復(fù)其高頻信息，從而獲得高分辨率的深度圖像。通過跳躍連接將Conv4_I輸出的特征圖像信息與IR_D的圖像信息相融合，因?yàn)镮R_D中含有深度圖像全部的低頻信息，使得CNN專注于學(xué)習(xí)深度圖像的高頻信息，更好地恢復(fù)深度圖像的高頻部分。

步驟4. 圖像重建。融合后的特征圖像經(jīng)過濾波核為1，通道數(shù)為2，卷積核大小為3×3的卷積層，得到彩色圖像引導(dǎo)低分辨率深度圖像重建的高分辨率深度圖像(HR_DC)。

1.2 濾波核大小可變的深度圖像優(yōu)化

在網(wǎng)絡(luò)結(jié)構(gòu)的彩色圖像引導(dǎo)低分辨率深度圖像的超分辨率重建部分，已經(jīng)獲得了高分辨率的深度圖像。由于濾波核的大小可能與高分辨率圖像的重構(gòu)質(zhì)量有關(guān)，一些深度值與不同大小鄰域內(nèi)的其他深度值有著不同程度的聯(lián)系，使用單一大小的濾波核可能會(huì)影響上采樣結(jié)果。此外，一般認(rèn)為在一定范圍內(nèi)卷積層數(shù)越多，重構(gòu)結(jié)果越準(zhǔn)確，但當(dāng)網(wǎng)絡(luò)層數(shù)達(dá)到一定深度時(shí)將會(huì)發(fā)生梯度消失、難以訓(xùn)練等問題。本文基于這一假設(shè)，改變內(nèi)核大小并加入了跳躍連接進(jìn)行高分辨率深度圖像的優(yōu)化工作。

Conv1_F~Conv3_F對HR_DC進(jìn)行特征提取，得到所需要的深度特征信息。由于邊緣區(qū)域的某些深度值只與小的局部鄰域像素相關(guān)，因此Conv4_F~Conv7_F使用了更小的濾波核，進(jìn)一步的優(yōu)化高分辨率深度圖像。由表1可知，Conv1_F~Conv7_F濾波器的大小。

表1 Conv1_F~Output_F濾波器W的大小

為了使網(wǎng)絡(luò)更加專注于深度圖像的邊緣紋理信息，Conv7_F層使用了一個(gè)跳躍連接，將HR_DC的低頻信息與Conv7_F層獲得的特征信息相結(jié)合，使得高層網(wǎng)絡(luò)特征信息中直接獲得深度圖像的低頻信息，即重建質(zhì)量優(yōu)化部分的網(wǎng)絡(luò)專注于學(xué)習(xí)邊緣紋理部分的高頻信息。

Output為65通道3×3大小的濾波核，完成優(yōu)化部分高分辨率深度圖像(HR_D)的重建。因優(yōu)化部分輸入的深度圖像HR_DC的分辨率優(yōu)于彩色圖像引導(dǎo)的高分辨率圖像重建部分輸入的深度圖像IR_D的分辨率，則經(jīng)過一系列卷積操作后，HR_D的圖像質(zhì)量將優(yōu)于HR_DC的圖像質(zhì)量。

CNN的整體計(jì)算時(shí)間復(fù)雜度為

其中，為卷積核輸出的特征圖像長度；為神經(jīng)網(wǎng)絡(luò)所有卷積層數(shù)；為神經(jīng)網(wǎng)絡(luò)第層卷積層。本文增加了卷積層、引入不同大小的濾波核進(jìn)行高分辨率深度圖像的優(yōu)化勢必會(huì)導(dǎo)致網(wǎng)絡(luò)計(jì)算成本的增加。但是，一般情況高分辨率重建圖像質(zhì)量的提升難免要以犧牲網(wǎng)絡(luò)的計(jì)算成本為代價(jià)。

1.3 網(wǎng)絡(luò)訓(xùn)練

本文利用隨機(jī)梯度下降(stochastic gradient descent，SGD)優(yōu)化算法訓(xùn)練網(wǎng)絡(luò)，使用最小均方差(mean squared error，MSE)作為損失函數(shù)，即

其中，()為最小均方差，=(W,b)為網(wǎng)絡(luò)中需要學(xué)習(xí)訓(xùn)練的網(wǎng)絡(luò)參數(shù)；為訓(xùn)練樣本的數(shù)量；(/)為重建的高分辨率深度圖像；D為原始的高分辨率深度圖像。通過最小化重建后的高分辨率深度圖像與真實(shí)深度圖像之間的誤差來不斷優(yōu)化網(wǎng)絡(luò)參數(shù)=(W,b)。

2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文算法的有效性，本文實(shí)驗(yàn)的顯卡配置為NVIDIA GeForce GTX 2080 Ti，編譯軟件為PYTHON3.6，使用tensorflow深度學(xué)習(xí)框架進(jìn)行深度神經(jīng)網(wǎng)絡(luò)模型的搭建和訓(xùn)練。

實(shí)驗(yàn)中參數(shù)的設(shè)置。每層網(wǎng)絡(luò)參數(shù)以高斯分布初始化，均值為0，標(biāo)準(zhǔn)差為10–3，初始學(xué)習(xí)率設(shè)置為0.000 01，如果在4個(gè)epochs內(nèi)損失函數(shù)沒有減少，學(xué)習(xí)率衰減0.250 00。如果學(xué)習(xí)率衰減低于，10–7網(wǎng)絡(luò)停止訓(xùn)練。

數(shù)據(jù)集。本文在Middleburry數(shù)據(jù)集[13-16]中選擇了54張RGBD圖像，(其中2001 Middleburry 6個(gè)場景，2006 Middleburry 21個(gè)場景，每個(gè)場景有左右2張不同的RGBD圖像)從MPI Sintel深度圖數(shù)據(jù)集中隨機(jī)選了52張不同場景的RGBD圖像，共106張RGBD圖像。為了充分利用這些深度圖像，對數(shù)據(jù)集進(jìn)行增強(qiáng)(旋轉(zhuǎn)90°，180°，270°)，最終得到424幅深度圖像作為實(shí)驗(yàn)的訓(xùn)練數(shù)據(jù)。本文將2005 Middleburry數(shù)據(jù)集中不同場景的6幅RGBD圖像作為實(shí)驗(yàn)的測試數(shù)據(jù)。

表2利用本文算法重建的高分辨率圖像與其他算法進(jìn)行比較，采用均方根誤差(root mean squared error，RMSE)作為客觀評價(jià)指標(biāo)，其值越小，表明重建結(jié)果圖像質(zhì)量越好。本文選取了10種對比算法，其中BicubicScSR[4]，CLMF0[17]，TGV[8]，RMRF[9]為傳統(tǒng)算法；SRCNN[10]，GDNS[12]，MSG-Net[11]為基于深度學(xué)習(xí)的算法；S_DC使用本文深度圖像重建部分網(wǎng)絡(luò)結(jié)構(gòu)的單幅圖像DSR；HR_DC為本文深度圖像重建部分的聯(lián)合彩色圖像的DSR。從表2數(shù)據(jù)可看出，本文算法在放大2，4，8倍的情況下，可很大程度的優(yōu)于其他的傳統(tǒng)算法，與基于深度學(xué)習(xí)算法相比較，也有一定的優(yōu)勢。本文算法與SRCNN算法比較，在放大2倍的情況下，并不能體現(xiàn)很明確的優(yōu)勢，但是在放大4和8倍時(shí)，本文算法明顯優(yōu)于SRCNN算法，且特別在放大8倍時(shí)，本文算法的RMSE值接近SRCNN的RMSE值的一半。與MSG-Net算法相比較，本文算法在2，4，8倍時(shí)均優(yōu)于MSG-Net算法。

表2 深度圖像超分辨率重建質(zhì)量比較

與不同算法的主觀質(zhì)量對比如圖2~4所示。 圖2為高分辨率Art的局部放大圖像與不同超分辨率算法上采樣后的局部誤差圖(閾值為1)，從局部方法細(xì)節(jié)可以看出對比其他傳統(tǒng)算法上采樣后誤差像素的分布，基于CNN算法上采樣后誤差像素主要集中在圖像的紋理邊緣處。由于SRCNN是基于CNN的單幅深度圖像上采樣，SRCNN上采樣后的圖像對比于其他CNN算法，邊緣紋理處錯(cuò)誤像素較多。GDNS網(wǎng)絡(luò)結(jié)構(gòu)簡單，使深度特征信息與邊緣特征信息融合后不能與高分辨率的深度圖像形成更好的映射，且圖像中易產(chǎn)生不必要的噪聲。S_DC的邊緣錯(cuò)誤像素要多于HR_DC，即聯(lián)合彩色圖像DSR的效果要優(yōu)于單幅圖像DSR。MSG-Net與HR_DC重建效果較好，但是本文算法中用到了改變?yōu)V波核等方法對深度圖像的紋理邊緣處進(jìn)行優(yōu)化處理，使得本文算法在邊緣紋理處的錯(cuò)誤像素點(diǎn)少于MSG-Net。

圖3為其他生活場景的深度圖像4倍的上采樣結(jié)果，證明本網(wǎng)絡(luò)更具有泛化能力。如圖3(c)上采樣后結(jié)果圖出現(xiàn)大面積的像素點(diǎn)錯(cuò)誤、相較于圖3(d)~(f)上采樣后的結(jié)果圖均存在不同程度的振鈴現(xiàn)象與紋理模糊，本文方法能較好地保持深度圖像的邊緣。

圖2 Art圖像在不同算法上采樣8倍后的局部細(xì)節(jié)對比

圖3 圖像在不同算法上采樣4倍后的局部細(xì)節(jié)對比

圖4為不同的超分辨率算法在更大數(shù)據(jù)集上的主觀比較。從圖中可以看出本文算法重建的上采樣圖像明顯優(yōu)于其他算法。因?yàn)樵谏疃炔贿B續(xù)區(qū)域，圖像的像素值發(fā)生變化，一些微小的像素值的變化在深度圖像中并不明顯，使得CNN在學(xué)習(xí)的過程中不能很好地?cái)M合這些像素值的變化。本文算法加入了彩色圖像，利用其更加清晰的邊緣紋理變化引導(dǎo)深度圖像邊緣處的上采樣，使得本文算法能夠更好地重建邊緣紋理信息。圖像質(zhì)量的優(yōu)化部分利用了不同尺寸大小的濾波核，學(xué)習(xí)深度圖像的邊緣部分的像素與不同大小區(qū)域內(nèi)其他像素之間的聯(lián)系，使得本文算法能夠重建出擁有更高質(zhì)量的深度圖像。

圖4 不同的超分辨率算法以8倍的采樣率在更大數(shù)據(jù)集上的主觀比較

((a) 彩色圖像；(b) 原始高分辨率圖像；(c) CLMF0算法上采樣后的圖像；(d) TGV算法上采樣后的圖像；(e) RMRF算法上采樣后的圖像；(f) SRCNN算法上采樣后的圖像；(g) GDNS算法上采樣后的圖像；(h) MSG-Net算法上采樣后的圖像；(i) 單幅深度圖像的DSR；(j) HR_DC；(k) 本文算法上采樣后的圖像)

3 結(jié)束語

本文提出了一種基于CNN的彩色圖像引導(dǎo)深度圖像DSR的方法。根據(jù)深度圖像與同場景彩色圖像之間邊緣對應(yīng)的關(guān)系，利用CNN學(xué)習(xí)彩色圖像的邊緣特征信息與深度圖像的深度特征信息，得到一幅邊緣紋理清晰的高分辨率深度圖像。又因?yàn)橄袼刂蹬c其不同大小鄰域內(nèi)其他像素值的聯(lián)系，用不同大小尺寸濾波核的卷積層，學(xué)習(xí)深度圖像邊緣紋理處像素與其在不同大小區(qū)域內(nèi)其他像素之間的聯(lián)系，進(jìn)一步優(yōu)化深度圖像的邊緣紋理細(xì)節(jié)，獲得更高質(zhì)量的高分辨率深度圖像。經(jīng)過實(shí)驗(yàn)和結(jié)果分析，本文算法在放大不同倍數(shù)的條件下，客觀評價(jià)指標(biāo)優(yōu)于其他算法，主觀效果上能重建出邊緣紋理處更清晰的深度圖像。

[1] KITSUNEZAKI N, ADACHI E, MASUDA T, et al. Kinect applications for the physical rehabilitation[C]// 2013 IEEE International Symposium on Medical Measurements and Applications. New York: IEEE Press, 2013: 294-299.

[2] CHEN G, LI J T, WANG B, et al. Reconstructing 3D human models with a Kinect[J]. Computer Animation & Virtual Worlds, 2016, 27(1): 72-85.

[3] PEDRAZA-HUESO M, MARTíN-CALZóN S, DíAZ-PERNAS F J, et al. Rehabilitation using kinect-based games and virtual reality[J]. Procedia Computer Science, 2015, 75: 161-168.

[4] YANG J, WRIGHT J, HUANG T S, et al. Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[5] KOPF J, COHEN M F, LISCHINSKI D, et al. Joint bilateral upsampling[J]. ACM Transactions on Graphics, 2007, 26(3): 839-846.

[6] YANG Q X. AHUJA N, YANG R G, et al. Fusion of median and bilateral filtering for range image upsampling[J]. IEEE Transactions on Image Processing, 2013, 22(12): 4841-4852.

[7] DIEBEL J, THRUN S. An application of markov random fields to range sensing[J]. Advances in Neural Information Processing Systems, 2005: 291-298.

[8] FERSTL D, REINBACHER C, RANFTL R, et al. Image guided depth upsampling using anisotropic total generalized variation[C]//2013 IEEE International Conference on Computer Vision. New York: IEEE Press, 2013: 993-1000.

[9] LIU W, CHEN X, YANG J, et al. Robust color guided depth map restoration[J]. IEEE Transactions on Image Processing, 2017, 26(1): 315-327.

[10] DONG C, LOY C, HE K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307.

[11] HUI T W, LOY C C, TANG X O. Depth map super-resolution by deep multi-scale guidance[C]// Computer Vision European Conference on Computer Vision. Heidelberg: Springer, 2016:353-369.

[12] ZHOU W T, LI X, REYNOLDS D. Guided deep network for depth map super-resolution: how much can color help?[C]//2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). New York: IEEE Press, 2017: 1458-1461.

[13] SCHARSTEIN D, SZELISKI R, ZABIH R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1-3): 7-42.

[14] SCHARSTEIN D, SZELISKI R. High-accuracy stereo depth maps using structured light[C]//2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2003: 195-202.

[15] SCHARSTEIN D, PAL C. Learning conditional random fields for stereo[C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1063-6919.

[16] HIRSCHMüLLER H, SCHARSTEIN D. Evaluation of cost functions for stereo matching[EB/OL]. (2007-07-16) [2019-09-20]. https://ieeexplore.ieee. org/document/4270273.

[17] LU J, SHI K, MIN D, et al. Cross-based local multipoint filtering[C]//2012 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2012: 430-437.

Super-resolution reconstruction of depth image guided by color image based on CNN

WANG Zi-wei1,2, DENG Hui-ping1,2, XIANG Sen1,2, YANG Jian-fan1,2

(1. College of Information Science and Engineering, Wuhan University of Science and Technology, Wuhan Hubei 430080, China; 2. Engineering Research Center of Ministry of Education of Metallurgical Automation and Testing Technology, Wuhan University of Science and Technology, Wuhan Hubei 430080, China)

The depth image indicates the relative distance between the objects in the three-dimensional scene. According to the information expressed by the depth image, the position of the object in space and the relative distance between different objects can be accurately obtained, so that the depth image has a wide range of applications in areas such as stereo vision. However, due to the limitations of RGB-D sensor hardware, the acquired resolution of depth image is low, which cannot meet the requirements of some practical applications with high precision. Deep learning, especially the convolutional neural networks (CNN), has achieved great success in image processing in recent years. In this light, this paper proposes a super-resolution reconstruction method of depth image guided by color image based on CNN. First, the CNN are used to obtain the edge feature information of color images and the depth feature information of depth images, so as to obtain high-resolution depth images with clear edge texture. Then, the edge texture details of the depth image are further optimized by the convolution layer of the filter kernels of different sizes, so as to obtain the depth image with higher resolution. The experimental results show that the RMSE value of the method proposed is lower than that of other methods, and the reconstructed image shows clearer edge texture details.

super-resolution; depth images; depth information; convolution neural networks; deep learning

TP 391

10.11996/JG.j.2095-302X.2020020262

A

2095-302X(2020)02-0262-08

2019-09-25；

2019-11-08

國家自然科學(xué)基金項(xiàng)目(61702384，61502357)；湖北省自然科學(xué)基金項(xiàng)目(2015CFB365)

王紫薇(1995–)，女，湖北漢川人，碩士研究生。主要研究方向?yàn)槎嗝襟w信息處理。E-mail：vera3a87@qq.com

鄧慧萍(1983–)，女，湖北應(yīng)城人，副教授，博士，碩士生導(dǎo)師。主要研究方向?yàn)槎嗝襟w通信與信息處理。E-mail：denghuiping@wust.edu.cn