基于聯合雙邊濾波的深度圖像增強算法

劉金榮，李淳芃，歐陽建權，劉 京

?

基于聯合雙邊濾波的深度圖像增強算法

劉金榮1,2，李淳芃2，歐陽建權1，劉 京2

(1. 湘潭大學智能計算與信息處理教育部重點實驗室，湖南 湘潭 411105；2. 中國科學院計算技術研究所，北京 100190)

主動光設備是目前獲取深度圖的主要方法，被廣泛應用于導航、人機交互、增強現實等領域。但主動光設備存在分辨率低、空洞、邊緣不匹配等問題。為此，提出一種基于聯合雙邊濾波的深度圖像增強算法。采用基于深度的前景分割方法，找出深度圖與彩色圖邊緣不匹配像素集合，利用基于聯合雙邊濾波的插值算法對空洞進行填充。為更好保持邊緣細節，增加引導深度相似項與梯度域項的方法進行插值。實驗結果表明，該算法比已有方法的最小均方誤差平均減少約13%，具有更好的保持邊緣效果。

聯合雙邊插值；雙邊濾波；梯度域；邊緣保持；前景分割；深度圖像增強

1 概述

深度圖像被廣泛應用于導航、人機交互、增強現實等領域。當前獲取深度圖像的方法主要有被動光方法[1]和主動光方法[2]。被動光方法是利用計算機視覺技術，通過計算二維圖像特征與三維空間的幾何對應關系獲取深度圖像。然而，被動光方法需要高代價的時間復雜度、嚴格的約束條件以及精確的圖像校正等，因此很難在實際中得到應用。被動光方法是通過飛行時間或者光編碼技術捕捉三維場景的深度，相對被動光方法，主動光設備因其能實時獲取深度圖像，成為另一種越來越受關注的深度獲取方法。然而低成本的深度獲取設備存在分辨率低、空洞、邊緣不匹配等問題，限制其在實際中的應用。如何從低成本主動光設備獲取的深度圖中恢復高質量的深度圖像具有重要作用。

深度信息與顏色紋理信息是對相同三維場景的不同觀察結果，兩者具有很強的結構相關性，因此通過融合高分辨率彩色圖像增強深度圖是可行的。在此基礎上，目前對于深度圖像增強方法已有不少的研究，歸納起來，主要分為2類：基于全局優化的插值方法[3-4]和基于雙邊的插值方法[5-6]。文獻[3]采用基于馬爾科夫隨機場的深度圖像插值方法，將高分辨率深度圖的后驗概率分布定義馬爾科夫隨機場，求最大后驗概率。文獻[4]提出了基于最小二乘優化的插值方法，并結合非局部均值和多元特征權重約束因子考慮像素間的平滑性，有效保證了邊緣結構特征。文獻[5]針對邊緣擴散問題，提出一種自適應融合顏色相似項與原始深度相似項的插值方法，有效阻止了邊緣擴散，使得算法更具魯棒性。然而，基于雙邊濾波的插值方法容易損傷深度圖像邊緣結構，導致邊緣過平滑。文獻[6]提出基于雙邊濾波的插值算法，即將已知的高分辨率彩色圖像作為引導圖，直接對低分辨率圖像進行聯合雙邊上采樣，但在深度不連續的區域對應相同的顏色時，該方法導致邊緣擴散。文獻[7]的工作與文獻[4]比較相關，采用自回歸作為優化模型。基于全局優化的插值方法，不僅考慮局部內的平滑因素，而且從整體上考慮深度圖像全局代價，能獲得高質量的深度圖，但此類方法復雜度高，在實時性較強的深度圖像增強中，低復雜度的基于雙邊濾波的插值方法更合適。文獻[8-9]提出了基于雙邊濾波的空洞填補方法，但并沒有增強深度圖像的分辨率。近年來，基于梯度域的彩色圖像濾波[10-11]被認為是一種有效保持邊緣的濾波器。文獻[4]證明了在基于全局優化框架下，彩色圖像梯度域的平滑約束具有更好的邊緣保持作用。因此，針對已有的基于聯合雙邊濾波插值方法容易導致過平滑問題，本文引入引導深度相似項及梯度域項，提出一種改進的聯合雙邊的深度圖像插值方法，從而進一步減少邊緣過平滑問題，進而提高插值效果。

2 算法描述

本文作為主動光深度圖像后處理增強算法，提出一種融合彩色圖像的深度圖像增強方法，該方法首先對深度圖像做預處理，然后計算出彩色圖像梯度域、引導深度圖像，最后采用改進的聯合雙邊濾波插值方法進行插值。本文的總體框架如圖1所示。

圖1 深度圖增強整體框架

2.1 預處理

經過圖像視角對齊之后，深度圖與彩色圖存在不匹配的前景邊緣，例如圖2(c)彩色與深度圖的融合結果所示，其邊緣不匹配。如果這種不匹配邊緣問題在插值之前沒有解決，這些不匹配像素被當作正確的采樣數據，導致插值錯誤，從而進一步惡化前景邊不匹配現象。為解決此問題，本文首先根據前景與背景的顯著深度差異，得到深度圖的前景邊緣輪廓，如圖2(d)所示，記為。隨后采用基于深度圖的前景分割方法[13]得到彩色圖的前景邊緣輪廓，如圖2(e)所示，記為，該方法根據對應的，對彩色圖像建立前景與背景的混合高斯模型，然后采用圖割法進行優化。

2.2 標準聯合雙邊濾波插值

2.3 改進的聯合雙邊濾波插值

圖3 Art深度圖局部2倍上采樣的結果

針對上述第1個問題，采用文獻[5]方法加入引導深度相似項。其基本思想是低分辨率的深度圖像包含高分辨率的部分深度信息，可利用低分辨率的冗余信息來彌補僅依賴顏色相似項的不足。針對第2個問題，引入梯度項約束因子，相對于像素顏色的相似性的不穩定性，梯度項更穩定，從圖像顯著結構來說，梯度比顏色具有更強烈的邊緣結構特征。綜上所述，改進的聯合多邊插值方法如式(5)：

引導深度相似項定義為：

3 實驗結果及分析

為驗證本文改進方法的可行性與有效性，就本文算法與聯合雙邊插值(JBU)[6]、基于MRF插值算法(MRFs)[3]、自適應聯合雙邊插值(NAFDU)[5]作對比實驗。實驗數據采用了middlebury[1]標準數據集Art、Book、Moebius及由kinect采集的數據。標準數據集的彩色圖像分辨率為1 376×1 088，原始深度圖像分辨率分別為688×544、344×272、172×136 (即上采樣2倍、4倍、8倍)。Kinect數據的彩色圖像分辨率為1 280×1 024，深度圖像分辨率為640×480。

3.1 實驗1

各個算法運行在Art、Book及Mobius 3組實驗數據下的結果與真實值之間的最小均方誤差(MSE)如表1所示。

表1 最小均方誤差對比

由表1可知，本文方法的MES值比MRFs、JBU及NAFDU分別減少了21.14%、20.57%、5.43%，比JBU與NAFDU平均減少了13%。本文算法的結果明顯優于JBU方法和MRFs，較NAFDU方法也有改進。

3.2 實驗2

對Art深度圖進行4倍上采樣，結果如圖4所示，其中，左圖為4倍深度圖上采樣，右圖為左圖方框放大結果。JBU算法[6](圖4(a))與MRF[3](圖4(b))均在在邊緣起許多“毛狀”想象，這是因僅靠彩色相似項約束時，當深度圖兩邊的顏色相差不大時導致邊緣擴散。而NAFDU算法[5](圖4(c))通過加入引導深度圖的約束，解決邊緣擴散問題，但是它們在邊緣處有過平滑問題。圖4(d)說明了本文算法不僅在平滑區域得到了好的濾波，而且在邊緣區域保持邊緣細節。

圖4 Art深度圖4倍上采樣的直觀結果

3.3 實驗3

為更進一步驗證本文方法的實際可行性，本文在kinect獲取的數據上做了驗證，如圖5所示。圖5(c)是未經過前景邊緣匹配處理的深度圖，圖5(e)是經過前景邊緣匹配處理后的深度圖。直觀上圖5(e)顯然比圖5(c)更加合理。從點云繪制結果來看，圖5(f)的前景邊緣附近的錯誤點比圖5(d)的前景邊緣附近的錯誤點要少很多，說明本文對深度圖與彩色圖像的前景不匹配問題處理是有效的。圖2與圖5說明了本文方法不僅能填充空洞，而且還將分辨率從640×480提升到1 280×1 024。

圖5 kinect深度圖增強

4 結束語

本文通過結合基于深度的前景分割、聯合雙邊濾波插值方法，實現了一種融合彩色圖的深度圖增強方法。為了更好保持邊緣信息，引入引導深度相似項及梯度域項，改進了已有的聯雙邊濾波插值方法。實驗結果表明，本文方法比已有的聯合雙邊插值方法具有更好的保邊效果。此外基于深度的前景分割預處理方法有效解決了前景邊緣不匹配問題。下一步工作將解決其他非前景邊緣不對稱問題，進一步提高深度圖質量。

[1] Scharstein D, Szeliski R. A Taxonomy and Evaluation of Dense Two-frame Stereo Correspondence Algorithms[J]. International Journal of Computer Vision, 2002, 47(1/3): 7-42.

[2] SwissRangerTMSR4000 Data Sheet[EB/OL]. (2012-10-10). http://www.mesaimaging.ch/prodview4k.php.

[3] Diebel J. An Application of Markov Random Fields to Range Sensing[C]//Proc. of Advances in Neural Information Processing Systems Conference. [S. 1.]: IEEE Press, 2006: 291-298.

[4] Park J, Kim H, Tai Y W, et al. High Quality Depth Map Upsampling for 3D-TOF Cameras[C]//Proc. of IEEE International Conference on Computer Vision. [S. 1.]: IEEE Press, 2011: 1623-1630.

[5] Chan D, Buisman H, Theobalt C, et al. A Noise-aware Filter for Real-time Depth Upsampling[C]//Proc. of Workshop on Multi-camera and Multi-model Sensor Fusion Algorithms and Applications. Marseille, France: [s. n.], 2008: 1-12.

[6] Kopf J, Cohen M F. Joint Bilateral Upsampling[J]. ACM Transactions on Graphics, 2007, 26(3): 96-100.

[7] Yang Jingyu, Ye Xincheng, Li Kun, et al. Depth Recovery Using an Adaptive Color-guided Auto-regressive Model[C]// Proc. of ECCV’12. Berlin, Germany: Springer, 2012: 158-171.

[8] Matyunin S, Vatolin D, Berdnikov Y, et al. Temporal Filtering for Depth Maps Generated by Kinect Depth Camera[C]//Proc. of 3DTV’11. [S. 1.]: IEEE Press, 2011: 1-4.

[9]Camplani M, Salgado L. Efficient Spatio-temporal Hole Filling Strategy for Kinect Depth Maps[C]//Proc. of IS&T/SPIE’12. [S. 1.]: IEEE Press, 2012: 8920-8928.

[10] Li Zhengguo, Zheng Jinghong, Zhu Zijian, et al. A Bilateral Filter in Gradient Domain[C]//Proc. of ICASSP’12. [S. 1.]: IEEE Press, 2012: 1113-1116.

[11] Yang Qingxiong. Recursive Bilateral Filtering[C]//Proc. of ECCV’12. Berlin, Germany: Springer, 2012: 399-413.

[12] Herrera C, Kannala J. Joint Depth and Color Camera Calibration with Distortion Correction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 2058-2064.

[13] Wang Liang, Gong Minglun, Zhang Chenxi, et al. Automatic Real-time Video Matting Using Time-of-flight Camera and Multi-channel Poisson Qquations[J]. International Journal of Computer Vision, 2012, 97(1): 104-121.

[14] Tomasi C, Manduchi R. Bilateral Filtering for Gray and Color Images[C]//Proc. of the 6th International Conference on Computer Vision. [S. 1.]: IEEE Press, 1998: 839-846.

[15] Keys R. Cubic Convolution Interpolation for Digital Image Processing[J]. IEEE Transactions on Acoustics, Speech and Signal Processing, 1981, 29(6): 1153-1160.

[16] 王孝通, 金 鑫, 徐曉剛, 等. 聯合雙邊圖像插值[J]. 中國圖象圖形學報, 2011, 16(12): 2117-2123.

編輯 索書志

Depth Image Enhancement Algorithm Based on Joint Bilateral Filtering

LIU Jin-rong1,2, LI Chun-peng2, OUYANG Jian-quan1, LIU Jing2

(1. Key Laboratory of Ministry of Education for Intelligence Computation and Information Processing, Xiangtan University, Xiangtan 411105, China; 2. Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China)

Depth image captured by active sensor is a current tendency, which is widely used in navigation, human computer interaction, augmented reality and so on. However, common low-cost sensors have their own disadvantages, such as low resolution, holes, unmatched boundary of edge. For these problems, this paper proposes a depth image enhancement algorithm based on improved joint bilateral filtering. Depth-based foreground segmentation method is adopted to figure out the set of pixels of unmatched foreground edge, and interpolation algorithm based on joint bilateral filter is used to fill the holes. Meanwhile, in order to make further improvement, guided depth similar item and gradient item are introduced to preserve edge structure. Experimental results show that compared with the existing joint bilateral interpolation, the improved method decreases the Mean Squared Error(MSE) by 13% in average which has better effect on edge-preserving.

joint bilateral interpolation; bilateral filtering; gradient domain; edge preserving; foreground segmentation; depth image enhancement

1000-3428(2014)03-0249-04

A

TP391.41

湖南省高校創新平臺開放基金資助項目(12K043)；湖南省科技廳基金資助項目(2012SK3165)。

劉金榮(1987－)，男，碩士研究生，主研方向：圖像處理，多媒體處理；李淳芃，助理研究員；歐陽建權(通訊作者)，教授；劉 京，博士研究生。

2013-03-12

2013-04-09 E-mail：jinrong.liujy@gmail.com

10.3969/j.issn.1000-3428.2014.03.052