一種基于局部直方圖匹配的深度編碼濾波算法

朱帥++鄧慧萍++王曦明++周恒穎++欒桌

摘要：深度圖壓縮編碼會引起深度圖失真，進而造成虛擬合成視點圖像邊緣模糊、缺失甚至前/背景錯位，嚴重影響3D視頻質量。利用深度圖邊緣突出、內部平滑的特性，分析發現其局部累計直方圖呈線性分段函數分布的規律。從深度圖編碼流中提取圖像分塊大小，建立圖像塊直方圖映射函數，匹配編碼失真后的深度圖與原始參考深度圖的局部累計直方圖，校正由深度圖編碼引起的深度錯誤，改善深度圖質量。實驗結果表明，提出的方法不僅能提高深度圖主觀質量，消除深度圖編碼邊緣模糊現象，而且信噪比最高可提高2.03dB。

關鍵詞：3D視頻；深度圖編碼；直方圖匹配；深度圖濾波

DOIDOI：10.11907/rjdk.161687

中圖分類號：TP317.4

文獻標識碼：A文章編號文章編號：16727800（2016）009016703

基金項目基金項目：大學生科技創新基金研究項目（14ZRA142）

作者簡介作者簡介：朱帥（1994 -），男，江蘇沭陽人，武漢科技大學信息科學與工程學院學生，研究方向為2D轉3D圖像處理算法；鄧慧萍（1982-），女，湖北武漢人，武漢科技大學信息科學與工程學院講師、碩士生導師，研究方向為圖像識別及處理算法。

0引言

三維視頻（3DV）能給用戶提供更真實的立體視覺體驗，已成為數字媒體、網絡、信息技術等各種視覺通信的一種新形式。深度信息是3D場景捕獲中一個非常重要的幾何量，它反映的是3D場景中物體到成像平面的距離。由于深度圖與紋理圖相比不僅更能節省碼流，還能方便靈活地利用基于深度的繪制技術（DIBR）合成不同視角的虛擬視點[1]。因此，基于深度的3D視頻數據格式是實現3D視頻系統最有效且可行的方案。

深度圖編碼是3D視頻系統中一個重要而特殊的問題，深度圖與一般的自然圖像/視頻相比具有獨特性。目前有很多方法探索利用深度圖特征獲得更好的編碼性能或降低編碼復雜度，這些方法包括基于空域上下采樣的深度圖非對稱編碼[23]、基于合成視點失真的深度編碼優化[45]、利用深度與紋理相關性的聯合編碼[67]以及一些新的編碼框架[8]。然而，在深度壓縮編碼過程中，量化必然會帶來深度圖失真，進而造成虛擬合成視點質量的嚴重下降，例如前/背景混疊造成的圖像邊緣模糊、邊緣缺失甚至前/背景錯位。因此深度圖編碼重構成為提高編碼性能、改善3D視頻質量的重要方法和手段，常用于深度編碼的后處理增強深度圖質量[910]，或用于環路濾波在解碼前修正深度錯誤[1112]。

筆者提出了一種有效的深度編碼后處理方法，它利用深度圖局部累計直方圖呈分段函數分布的規律，匹配編碼失真后的深度圖與原始參考深度圖，校正由深度圖編碼引起的深度錯誤，提高深度圖質量。該方法對深度圖的主觀質量和客觀質量都能起到明顯的改善效果。

3實驗結果與分析

為了驗證本文提出的基于局部直方圖匹配的深度圖濾波算法的有效性，實驗中采用了5組深度圖：Art（695×555）、 Venus（434×383）、teddy（900×750）、Cones（900×750）和books（695×555）。深度圖采用H.264/AVC參考軟件平臺JMVC8.5編碼，解碼后的深度圖采用提出算法進一步后處理濾波。深度圖的分塊大小從編碼參數中提取，為編碼塊大小。為了驗證不同失真下提出算法的有效性，量化參數（Quantization Parameter，QP）分別設置為32、40和48。

表1所示是5組深度圖在不同QP下，濾波前、后的峰值信噪比（Peak Signal Noises Ratio， PSNR）。從中可以看出，深度圖濾波后，PSNR均有不同程度的提高，最高可達到2.03dB，平均PSNR也提高了近1dB。

本文提出的算法不僅能提高深度圖的PSNR，圖像主觀質量也有明顯改進。圖5所示是濾波前后深度圖的主觀質量對比結果，編碼量化參數QP=48。為了更清晰地看到圖像細節，截取了圖像的局部塊放大，將原始深度圖、濾波前深度圖和濾波后深度圖進行對比。從圖5（b）中可以看出，濾波前的深度圖由于編碼壓縮引起了圖像失真，在物體邊緣有明顯的模糊甚至方塊效應。而經過提出濾波算法處理后的深度圖，圖像質量有了很大改善，邊緣更清晰，更接近原始深度圖質量，如圖5（c）所示。

圖6進一步給出了不同失真下提出算法的濾波效果。圖6所示是Cones深度圖在QP分別為32、40和48的情況下，編碼失真后的深度圖在濾波前、后的主觀質量對比。由圖6（a）可以看出，QP越大，深度圖編碼失真越明顯。在QP=48時，深度圖質量下降嚴重，圖像邊緣模糊不清。但經過提出算法濾波后，深度圖質量都有比較明顯的改善，邊緣清晰、干凈。結果表明，深度圖失真越嚴重，提出濾波算法的效果越顯著。

4結語

本文充分分析了深度圖的局部直方圖統計特征，針對深度編碼量化引起的深度圖邊緣模糊問題，提出了一種簡單有效的深度編碼后處理方法。該方法通過匹配失真深度圖與參考深度圖的累計直方圖，建立映射函數，將失真深度圖的錯誤深度值映射到正確的深度上。該方法不僅能提高深度圖的PSNR，而且使深度圖的主觀質量得到明顯提升，處理后的深度圖像邊緣更清晰、干凈。

參考文獻參考文獻：

[1]FEHN C.Depthimagebased rendering （DIBR），compression，and transmission for a new approach on 3DTV [C].Proc of SPIE in Stereoscopic Displays and Virtual Reality Systems XI，Berlin：Springer，2004：93104.

[2]SHAO F，JIANG G Y，YU M，et al.Asymmetric coding of multiview video plus depth based 3D video for view rendering [J].IEEE Transactions on Multimedia，2012，14（1）：157167.

[3]DENG H P，YU L，ZHANG J T，et al.Edgepreserving down/upsampling for depth map compression in high efficiency video coding [J].Optical Engineering，2013，52（7）：5558

[4]ZHANG Y，KWONG S，XU L，et al.Regional bit allocation and rate distortion optimization for multiview depth video coding with view synthesis distortion model[J].IEEE Transactions on？Image Processing，2013，22（9）：34973511.

[5]DENG H P，YU L，FENG B，et al.Structural similaritybased synthesized view distortion estimation for depth map coding [J].IEEE Trans.on Consumer Electronics，2012，58（4）：13381344.

[6]楊旭，常義林，霍俊彥，等.一種三維視頻深度圖像快速幀內編碼方法[J].西安電子科技大學學報，2012，39（3）：713.

[7]YUAN H，CHANG Y L，HUO J，et al.Modelbased joint bit allocation between texture videos and depth maps for 3D video coding [J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（4）：485497.

[8]MAITRE M，DO M N.Depth and depth–color coding using shapeadaptive wavelets[J].Journal of Visual Communication and Image Representation，2010，21（5）：513522.

[9]MIN D，LU J，DO M N.Depth video enhancement based on weighted mode filtering[J].IEEE Transactions on Image Processing，2012，21（3）：11761190.

[10]OH K J，YEA S，VETRO A，et al.Depth reconstruction filter for depth coding[J].Electronics letters，2009，45（6）：305306.

[11]LIU S J，LAI P L，TIAN D，et al..New depth coding techniques with utilization of corresponding video[J].IEEE Transactions on Broadcasting，2011，57（2）：551561.

[12]OH K J，VETRO A，HO Y S.Depth coding using a boundary reconstruction filter for 3D video systems[J].IEEE Transactions on Circuits and Systems for Video Technology，2011，21（3）：350359.

[13]李錦，王俊平，萬國挺，等.一種結合直方圖均衡化和MSRCR的圖像增強新算法[J].西安電子科技大學學報，2014，41（3）：103109.

[14]HIRSCHM？LLER H，SCHARSTEIN D.Evaluation of cost functions for stereo matching[C].Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR 2007），IEEE，2007：18.

責任編輯（責任編輯：黃健）