基于二階微分算子和測地距離的深度圖超分辨率重建

董文菁　胡良梅　張旭東　楊　慧　陳仲海

(合肥工業大學計算機與信息學院圖像信息處理研究室　安徽 合肥 230009)

?

基于二階微分算子和測地距離的深度圖超分辨率重建

董文菁胡良梅張旭東楊慧陳仲海

(合肥工業大學計算機與信息學院圖像信息處理研究室安徽 合肥 230009)

摘要針對TOF相機原始獲取深度圖像分辨率非常低，且超分辨率重建中易出現邊緣模糊和偽影的問題，提出一種基于二階微分算子和測地距離的深度圖超分辨率重建算法。以彩色信息作為引導，運用雙邊濾波的思想，采用測地距離把低分辨率深度圖像的空間高斯核與高分辨率彩色圖像的幅度高斯核函數結合起來，體現了深度圖與彩色圖的一致性，并引入深度核函數對兩個相鄰像素具有類似顏色但深度值不同的情況進行處理，抑制顏色相似但深度值不同區域的偽影現象，恢復出邊緣輪廓顯著的高分辨率深度圖。實驗結果表明，該算法可以有效保護圖像的邊緣結構且解決偽影問題，并在定性和定量兩個方面都可達到很好的效果。

關鍵詞深度超分辨率重建二階微分算子測地距離TOF相機

0引言

深度信息是三維目標視覺感知的一個重要信息。人機交互、機器人視覺及三維景象重建等方面的應用[1-3]都依賴于高性能高質量的深度圖。目前有以下幾種方法用來捕獲或估計深度圖：激光測距掃描儀[4]可以獲取準確的深度信息，但因采集過程過于緩慢不具備實時性且設備昂貴而限制了其應用；雙目立體視覺方法[5]的相機系統很簡單，但不能獲得無紋理和遮擋區域的深度；Kinect[6]是微軟發布的一種應用于Xbox 360的周邊設備，主要是利用光編碼技術來獲取深度信息，獲取的深度圖像分辨率可達320×240，但深度測距范圍為1.2～3.5 m，且不能在室外操作，也限制了其應用。目前，應用比較廣泛的是TOF(Time-of-flight)深度傳感器。它通過測量所發射的光信號與反射光信號之間的時間延遲，直接捕獲深度信息。相比以上幾種方法，TOF相機可以實時測量傳感器與場景之間的距離。此外，它的捕獲方法在很大程度上獨立于場景特性，能有效處理無紋理區域，解決光照、陰影問題。

然而，由于硬件的限制，TOF相機獲得的深度圖空間分辨率較低，難以滿足一些實際應用的需要。為提高深度圖像的分辨率，許多學者開展了關于深度圖超分辨率重建的研究[7-13]。根據處理的圖像源不同，可分為單幀圖像超分辨率重建和多幀圖像超分辨率重建。但是，在一些實際應用中，要獲取同場景的多幀圖像序列是十分困難的。另一方面，由于多幀圖像超分辨率算法對低分辨率圖像序列之間的運動位移往往有很高的要求(必須是亞像素級別的運動位移)，故在這種情況下，多幀圖像超分辨率算法也不具有可行性。同時，多幀圖像超分辨算法在完成運動估計和配準后，后續的算法大多都以單幀圖像的超分辨率算法為基礎。所以，本文主要討論基于單幀圖像的超分辨率重建算法。由于單幅深度圖像本身固有的信息較少，目前熱門的研究都是基于結合彩色圖像的一些先驗知識恢復出圖像獲取時丟失的信息，從而進行基于彩色信息引導的深度超分辨率重建。然而，這類方法在顏色相似但深度不連續區域易出現邊緣模糊和偽影現象。Park[9]和Kim[10]等分別采用多權重的馬爾可夫隨機場MRF(Markov random field)模型和三邊濾波來去除深度圖中的偽影以提高深度圖像質量；Kang[11]等根據深度圖的邊緣檢測特征得到權重系數，以此實現對MRF模型能量函數的約束，旨在抑制偽影現象，并通過優化能量函數得到高分辨率深度圖。雖然以上幾種方法都對深度圖的偽影現象起到了一定的抑制作用，但由于深度傳播時容易出錯，因此會出現邊緣模糊的情況。Kopf[12]和Cho[13]等采用聯合雙邊上采樣JBU(Joint bilateral upsampling)和引導圖像濾波函數指導深度圖超分辨率重建；Kim J[14]等對聯合雙邊濾波進行改進并提出了自適應雙邊濾波器，用自適應平滑參數和控制參數對顏色和深度兩個濾波器進行加權，不僅提高了深度圖分辨率，同時很好地保持了邊緣信息；Liu[15]等利用聯合雙邊上采樣的思想，利用測地距離[16]把深度空間核函數與顏色幅度核函數結合為一個高斯核，以便更好地發揮顏色信息的引導作用，指導深度圖的超分辨率重建，改善深度圖邊緣模糊情況。以上幾種方法有效改善了邊緣模糊問題，然而未能去除偽影現象。

本文在文獻[15]方法的基礎上，結合雙邊濾波思想，提出了一種基于二階微分算子和測地距離的深度圖超分辨率重建算法，同時解決了邊緣模糊和偽影現象。因二階微分算子深度核函數不依賴于顏色信息，在此引入深度核函數對兩個相鄰像素具有類似的顏色但深度值不同的情況進行處理，聯合測地距離高斯核與二階微分算子深度高斯核函數，恢復出高分辨率深度圖像，在保護邊緣的同時有效解決了偽影問題。

1基于測地距離的超分辨率重建算法

彩色信息引導的聯合雙邊上采樣是深度超分辨率重建中經典的方法，其主要思想是分別運用兩個高斯核函數，對低分辨率深度圖進行空間濾波，對高分辨率彩色圖像進行幅度濾波，得到高分辨率深度圖如下：

其中，I(p)和I(q)分別表示高分辨率彩色圖像上的像素點，p↓和q↓表示低分辨率深度圖d上的像素點，稱為原始像素；f和g分別為空間濾波和幅度濾波函數，k(p)是歸一化因子，Ω(·)表示像素鄰域。

聯合雙邊上采樣方法中的兩個高斯核是采用歐氏距離來度量像素相異性的，沒有考慮圖像的邊緣特性，從而導致在邊緣處出現深度傳播錯誤。因此，Liu[15]等人改用測地距離把兩個高斯核結合為一個高斯核，使其具有深度空間和顏色幅度的一致性，以便在邊緣區域對深度圖實現更好的約束，從而改善邊緣模糊情況。首先，把低分辨率深度圖d映射到高分辨率彩色圖后，經過配準插值得到與彩色圖一樣大小的估計深度圖D，p和q表示估計深度圖D上的像素點，I(p)和I(q)表示彩色圖上的像素點，則像素點p、q之間的測地距離定義如下：

(2)

用高斯函數把測地距離轉換為相關性度量，表示如下：

(3)

其中σ為核函數帶寬參數，即方差。

最后得到基于測地距離的超分辨率重建結果如下：

(4)

2基于二階微分算子和測地距離的超分辨率重建算法

上述基于測地距離的超分辨率重建算法能有效解決邊緣模糊問題，但是沒有對偽影現象進行處理，偽影現象一般出現在圖像中顏色相似但是深度不連續區域。因此本文在此直接使用深度信息，引入了深度梯度核函數，旨在減少顏色信息對該區域的影響，從而抑制深度圖的偽影現象。

深度梯度核函數獲取方法如下。首先，以像素點(m,n)為例，計算得到水平及垂直方向的深度梯度如下：

(5)

其中，D表示插值得到的估計深度圖。式(5)表示在一定像素范圍(連續像素)內，水平方向和垂直方向的深度變化幅度大小。

由于深度圖邊緣上屬于不同深度平面的兩個相鄰像素可能也會有相似的梯度值，使得一階梯度信息不足以約束高分辨率深度圖。因此，我們進一步計算二階導數如下：

(6)

然后，計算水平和垂直方向上二階微分算子差的絕對值，并選擇兩個最大輸出值作為高斯核函數的輸入。以像素點p、q為例，梯度差絕對值定義如下：

(7)

根據式(7)得到二階微分算子深度高斯核函數為：

(8)

以上介紹的是兩個像素點之間的測地距離。擴展到整幅深度圖，為了降低計算復雜度，我們采用文獻[15]中多路復用的方法來計算測地距離，這里共分成K路通道。首先，對低分辨率深度圖d進行等間隔分割，間隔為δ，其對應于每一路低分辨率深度圖網格中兩個連續像素之間的距離。然后，計算每一路通道D上每個像素到原始像素的測地距離，據此在深度圖中實現深度傳播。最后，把K路結果進行累加得到高分辨率深度圖。

令Sk為在第k路通道的原始像素集，每一路的測地距離表示如下：

(9)

(10)

測地距離高斯核函數集成了沿曲線的顏色和空間變化，它對物體表面的細微輪廓較為敏感，即使輪廓兩側之間的差異是微小的，也能得到銳利的深度邊界，從而有效改善深度圖的邊緣模糊現象。二階微分算子深度核函數不依賴于顏色信息，能有效避免因顏色相似深度不同造成的偽影現象。因此本文的方法能有效地保護圖像的邊緣結構且去除偽影現象。

3實驗結果及分析

為了驗證本文算法的有效性，我們采用Middlebury-數據集[17]中提供的深度圖和RGB圖以及采用TOF相機和彩色相機自行拍攝的真實場景圖像分別進行了實驗，并與雙線性插值方法及文獻[15]方法進行了對比。

本文中實驗參數的設定為σ=0.5、λ=10、K=4、σh=0.3。Middlebury-數據集[17]中Cones、Teddy、Art三組圖像的重建結果如圖1所示。其中圖1(a)為高分辨率彩色圖像，圖1(b)為進行下采樣(×4)得到的低分辨率深度圖，圖1(c)為雙線性插值結果，圖1(d)為文獻[15]方法重建結果，圖1(e)為本文方法重建結果。

(a) RGB圖

(b) 低分辨率深度圖

(c) 雙線性插值結果圖

(d) 文獻[15]方法重建結果圖

(e) 本文方法重建結果圖圖1　 Middleburry-數據集[17]實驗結果

從圖1可以看出，利用本文方法得到的深度圖在同一深度區域具有光滑的表面，在深度不連續區域有比較銳利的邊緣，有效解決了邊緣模糊問題。以Art圖為例，在顏色相似區域上的畫筆，兩種對比方法的重建效果不理想，且都出現了偽影現象，本文方法很好地解決了該問題。綜上分析，本文方法得到的超分辨率深度圖像邊緣更加清晰。

為了客觀分析超分辨率重建的結果，采用峰值信噪比(peak-signal-to-noise ratio,in dB)及文獻[18]中提出的DISC準則作為圖像質量的評價標準，分別對Cones、Teddy、Art三組圖片的重建結果進行比較。對比中采用的是Middlebury-數據集[17]里提供的真實深度值。表1給出了各算法峰值信噪比的對比結果，表2給出了DISC對比結果。這里閾值設為3。DISC主要用于度量深度不連續區域的重建結果質量，若重建后得到的深度圖中某個像素和真實值之間的偏差大于設定閾值，那么該像素點則被認為是錯誤點。錯誤點的總數與不連續區域中像素的總數之比即定義為DISC，DISC的值越小，表明該深度不連續區域的錯誤點越少、邊緣效果越好。

表1　峰值信噪比評價結果

表2　DISC評價結果

從表1、表2的評價結果可以看出，本文方法在峰值信噪比和DISC評價結果上均優于雙線性插值和文獻[15]的方法。

除了使用Middleburry標準數據集以外，本文采用TOF相機和彩色相機自行拍攝的真實場景圖像進行了實驗。實驗拍攝所得彩色圖像分辨率為800×800，TOF深度圖像分辨率為200×200，對彩色圖和深度圖配準后進行實驗，實驗結果如圖2所示。

圖2　TOF相機數據實驗結果

從圖2中可以看出，白色紙盒與背景墻顏色相似，雙線性插值和文獻[15]方法的重建結果圖都出現了明顯的偽影現象，而本文方法則能有效避免這個問題；左邊的深色盒子則在重建后出現了邊緣模糊的情況，本文超分辨率重建后的深度圖有銳利的邊緣。綜上分析，本文重建效果優于雙線性插值和文獻[15]的方法。

4結語

本文針對TOF相機獲取場景的深度圖分辨率低，并且存在邊緣模糊和偽影的問題，結合同場景高分辨率彩色圖像，提出一種基于二階微分算子和測地距離的深度圖超分辨率重建算法。首先，將低分辨率深度圖映射到高分辨率彩色空間。然后，利用測地距離把低分辨率深度圖像的空間高斯核與高分辨率彩色圖像的幅度高斯核函數結合起來，以高分辨率彩色圖像信息作為引導得到銳利的深度圖邊緣。最后，在此基礎上增加二階微分算子深度高斯核函數，從而抑制顏色相似區域的偽影現象，并重建得到高分辨率深度圖像。實驗結果表明本文算法可以有效地保護圖像的邊緣結構且抑制偽影現象，在定性和定量兩個方面都可達到很好的結果，具有很好的魯棒性。

參考文獻

[1] Hussmann S,Liepert T.Three-dimensional TOF robot vision system[J].IEEE Transactions on Instrumentation and Measurement,2009,58(1):141-146.

[2] 張旭東，吳國松，胡良梅,等．飛行時間3維相機的多視角散亂點云優化配準[J]．中國圖象圖形學報，2013，18(11)：1445-1451

[3] Endres F,Hess J,Sturm J,et al.3-D Mapping With an RGB-D Camera[J].IEEE Fransaction on Robotics,2014,30(1):177-187.

[4] Cheng X,Zhang H,Xie R.Study on 3D laser scanning modeling method for large-scale history building[C]//Computer Application and System Modeling (ICCASM),2010 International Conference on.IEEE,2010,7:573- 577.

[5] Yoon K J,Kweon I S.Adaptive support-weight approach for correspondence search[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(4):650-656.

[6] Smisek J,Jancosek M,Pajdla T.3D with Kinect[M].Consumer Depth Cameras for Computer Vision.Springer London,2013:3-25.

[7] 楊宇翔，汪增福．基于彩色圖像局部結構特征的深度圖超分辨率算法[J].模式識別與人工智能,2013,26(5):454-459.

[8] 張旭東，沈玉亮，胡良梅,等．改進的PMD距離圖像超分辨率重建算法[J]．中國圖象圖形學報，2012，17(4):480-486．

[9] Park J,Kim H,Tai Y W,et al.High quality depth map upsampling for 3d-tof cameras[C]//Computer Vision (ICCV),2011 IEEE International Conference on.IEEE,2011:1623-1630.

[10] Kim J,Lee J,Han S,et al.Trilateral filter construction for depth map upsampling [C]//IVMSP Workshop,2013 IEEE 11th.IEEE,2013:1-4.

[11] Kang Y S,Lee S B,Ho Y S.Depth map upsampling using depth local features[J].Electronics Letters,2014,50(3):170-171.

[12] Kopf J,Cohen M F,Lischinski D,et al.Joint bilateral upsampling[C]//ACM Transactions on Graphics (TOG).ACM,2007,26(3):96.

[13] Cho J H,Ikehata S,Yoo H,et al.Depth map up-sampling using cost-volume filtering[C]//IVMSP Workshop,2013 IEEE 11th.IEEE,2013:1-4.

[14] Kim J,Jeon G,Jeong J.Joint-adaptive bilateral depth map upsampling[J].Signal Processing:Image Communication,2014,29(4):506-513.

[15] Liu M Y,Tuzel O,Taguchi Y.Joint geodesic upsampling of depth images[C]//Computer Vision and Pattern Recognition (CVPR),2013 IEEE Conference on.IEEE,2013:169-176.

[16] P J Toivanen.New geodesic distance transforms for grayscale images[J].Pattern Recognition Letters,1996,17(5):437-450.

[17] Scharstein D,Szeliski R.High-accuracy stereo depth maps using structured light[C]//Computer Vision and Pattern Recognition,2003.Proceedings.2003 IEEE Computer Society Conference on.IEEE,2003,1:195- 202.

[18] Daniel Scharstein,Richard Szeliski.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J].International journal of computer vision,2002,47(1-3):7-42.

收稿日期：2015-03-04。國家自然科學基金項目(61273237)；安徽省自然科學基金項目(11040606M149)。董文菁，碩士生，主研領域：智能信息處理，圖像處理。胡良梅，副教授。張旭東，教授。楊慧，碩士生。陳仲海，碩士生。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.046

DEPTH IMAGE SUPER-RESOLUTION RECONSTRUCTION BASED ON SECOND-ORDER DIFFERENTIAL OPERATOR AND GEODESIC DISTANCE

Dong WenjingHu LiangmeiZhang XudongYang HuiChen Zhonghai

(LaboratoryofImageInformationProcessing,SchoolofComputerandInformation,HefeiUniversityofTechnology,Hefei230009,Anhui,China)

AbstractThe resolution of originally captured depth image with TOF camera is very low,and it is prone to having problems of blurred edges and artifacts in super-resolution reconstruction.In light of this issue,we proposed a depth map super-resolution reconstruction method which is based on second-order differential operator and geodesic distance.The algorithm is guided with colour information,uses the idea of bilateral filtering,and combines the spatial Gaussian kernel of low resolution depth image and the magnitude Gaussian kernel function of high resolution colour image with geodesic distance,thus reflects the consistency of depth map and colour image.Moreover,the algorithm introduces the depth kernel function to deal with the situation that two adjacent pixels have similar colour but different depth values,and suppresses the artifacts in the regions with similar colour but different depth values.Then the high resolution depth map with significant edge contour is restored.Experimental results demonstrated that this algorithm can effectively preserve the edge structure of image and solve artifacts problem,and reaches very good effect in both qualitative and quantitative aspects.

KeywordsDepth image super-resolution reconstructionSecond-order differential operatorGeodesic distanceTOF camera