一種預處理后分類填補空洞的方法

楊依忠, 徐逸琛, 馬 蘢, 張 強

(合肥工業大學 電子科學與應用物理學院,安徽 合肥 230009)

一種預處理后分類填補空洞的方法

楊依忠, 徐逸琛, 馬 蘢, 張 強

(合肥工業大學 電子科學與應用物理學院,安徽 合肥 230009)

深度圖像繪制(depth-image-based rendering,DIBR)技術是目前解決3D顯示中片源短缺問題普遍采用的方法,但采用DIBR技術繪制的目標圖像上不可避免地會產生空洞點。為了獲取更高質量的目標圖像,文章提出一種預處理后分類填補的空洞點解決方案。該方案在預處理階段,先對濾波后的深度圖進行前景向后景的梯度過渡,經過DIBR變換之后得到的目標圖像上空洞點會減少且更為分散;在空洞填補階段,先對目標圖像上的空洞點進行標記,對非邊界的大小空洞點自動匹配不同的插值模板進行插值填補,對邊界位置的大空洞點則用參考圖像上相應位置像素點進行填補。實驗結果表明,該方案能夠較好地填補梯度過渡后目標圖像上的空洞點,填補結果準確且算法簡單,填補耗時短。

深度圖像繪制(DIBR);梯度過渡;空洞點;空洞填補

0 引 言

近幾十年來隨著視頻顯示技術的發展,觀眾對顯示效果的要求越來越高,單純的提高分辨率已經不能滿足人們對視覺享受的追求。而3D顯示憑借著強烈的立體感和真實感給觀眾帶來了極大的震撼,3D視頻在影院和電視系統都占據著越來越多的比重。因此,立體顯示將會成為未來顯示技術的新方向[1-2]。

3D片源的短缺是影響3D顯示進一步發展的關鍵[3]。利用多攝像機可以采集到準確的三維視頻源,但是成本高、制作周期長，限制了其推廣應用;2D到3D的視頻轉換技術難度小、成本低,且可以充分利用現有大量視頻源,已經成為解決3D片源短缺問題的主要方法。其中基于深度圖像繪制(depth image based rending, DIBR)[4-5]的2D轉3D技術憑借良好的目標圖像效果逐漸得到廣泛認可。

DIBR技術在實現時輸入參考圖像及其對應的深度圖像,然后進行新視點的繪制得到目標圖像,DIBR算法流程如圖1所示。該方法的繪制過程包括深度圖像的預處理、DIBR虛擬視點繪制和空洞填補3個關鍵部分[6]。

圖1 DIBR算法流程

采用DIBR技術進行虛擬視點的繪制,繪制后的目標圖像上會不可避免地產生空洞點,其主要原因如下[7]:

(1) 將參考圖像上的像素點繪制到目標圖像上時,由參考圖像中的可見物體在目標圖像上的投影發生了擴張而引起空洞點。該類空洞點產生的示意圖如圖2所示,參考圖像上的相鄰像素點F和B分別繪制到目標圖像上的F′點和B′點的位置,若在F′和B′之間沒有其他像素點繪制過來,則該區域在目標圖像上就會以空洞點的形式呈現,這類空洞點通常會出現在深度圖像中灰度值變化比較劇烈的區域,一般為前后景的邊界位置。

圖2 第1類空洞產生的示意圖

(2) 由物體的可見性發生變化而引起空洞點。這類空洞點一般出現在目標圖像邊界位置,通常以大空洞點呈現,嚴重影響目標試點的視覺效果。為解決該類空洞點的問題,常用的方法是采用繪制前對深度圖進行預處理和虛擬視點繪制后對目標圖像進行空洞填補。

對深度圖像進行預處理操作主要是濾波深度圖像[8]以平滑深度圖,減少深度圖像上相鄰像素點深度信息的突變,從而減小繪制后的目標圖像上空洞點的尺寸和數量。對于濾波器的選擇,文獻[9]提出采用高斯濾波器平滑深度圖以消除合成視圖中較大的空洞或使之變小;文獻[10]對濾波器進行了非對稱改進以減弱幾何扭曲的現象,常見的濾波器還有均值濾波器、邊緣濾波器等。在濾波區域的選擇上,由于前、后景物體對視覺效果的影響不同,一般會對前景物體進行保護,即只對深度圖的后景進行濾波來提高目標圖像的真實度。平滑深度圖已成為減少空洞點常用的方法,但是濾波深度圖不可能消除目標圖像上所有的空洞點,輕微的平滑對于空洞點的減少作用有限,過度的濾波又會影響最后所得目標圖像的質量。

既然濾波不能消除所有的空洞點,為了提高目標圖像的質量,就要對剩余的空洞點進行填補,空洞填補結果的好壞直接決定著最終3D顯示的效果。最為準確的空洞填補方法是利用多攝像機視點進行填補,這是由于目標圖像中空洞位置的像素信息可能存在于另一個攝像機視角中。多攝像機視點如圖3所示,若求攝像機4的目標右視圖,則物體1右下區域的深色部分很可能在目標視圖中以空洞來呈現,可以利用預先采集到的攝像機5視角的相應位置進行填補,因此這種方法填補的是該位置最真實的像素信息。但是該方法技術難度大、采集成本高。

圖3 多攝像機視點

常用的對于小空洞點的填補主要有插值法[11],即通過插值相鄰像素點或偏移量來進行空洞的填補,這種方法雖不精確但復雜性低。而對于大空洞點的填補,最近比較流行的圖像修復技術[12-14]如圖4所示,其需要依據紋理和構造對待修補區域進行最適合匹配塊的搜索,因此復雜度高、耗時長。

圖4中,Φ為源區域；?Ω為邊界；I為P點的等照度線方向；nP為P點的法向量方向。

圖4 圖像修復技術

1 本文方法

濾波會降低深度圖的質量,尤其是對前景物體的濾波會大大降低繪制后的目標圖像的真實度。而如果只對深度圖中變化比較劇烈的前、后景邊界進行處理,那么不會對深度圖的質量有太大的影響。

對該區域進行梯度漸變過渡之后,該區域的深度值差值會變小,由DIBR算法得到的相鄰像素點視差值的差值也會變小,因此繪制后的目標圖像上的大空洞區域也會減少,再對繪制后的大、小空洞點分開填補就會比較準確。

因此,本文提出一種梯度過渡后分類填補的空洞點解決方案。該方案包括預處理和空洞填補2個部分:① 在預處理部分先對濾波后的深度圖進行前、后景梯度過渡;② 在空洞填補部分先把繪制后的目標圖像上的空洞點分類標記,然后根據空洞點的大小和位置自動匹配不同的方法進行填補。

1.1 預處理

本文以獲取目標左視圖為例,對深度圖進行預處理的流程包括濾波、前后景邊界標記、梯度過渡等步驟。在進行簡單的濾波處理后,需要對深度圖的前景物體左側邊界進行標記,本文在標記時對前后景邊界和物體自身邊界不進行區分。具體實現時根據深度圖中相鄰的2個像素點Dep(i,j-1),Dep(i,j)進行前景邊界的判斷,如果其差值大于預先給定的閾值d0,那么認為該處為前、后景邊界處,即

(1)

其中，當Depd(i,j)=1時，標記了前景物體左側邊界。

對深度圖進行前景邊界標記,如圖5所示,圖5a標記的為深度圖5b前景物體的左側邊界。對前景物體復雜的情況,同樣把按(1)式提取的邊界當作前、后景邊界進行處理。

圖5 深度圖前左側邊界標記

完成圖5所示的邊界標記后,再進行邊界位置前景向后景灰度值的梯度過渡[15]。首先對邊界處的前、后景灰度值進行判斷,看其是否滿足過渡條件,即

Dep(i,j-n)-Dep(i,j-n-1)>a

(2)

其中,Dep(i,j)為Depd(i,j)=1處,即(1)式標記的前、后景邊界位置;a為梯度閾值;n為當前完成梯度過渡的步數。若滿足(2)式的條件,則進行梯度遞減的過渡,即

Dep(i,j-n-1)=Dep(i,j-n)-a

(3)

完成1次過渡后再重新對邊界位置進行判斷、梯度遞減直至相鄰兩像素點深度值差值小于閾值a。(3)式中若n取值大于8,一般就能完成邊界處前、后景的梯度過渡操作。

對前景物體左側邊界進行梯度過渡前、后的示意圖如圖6所示,其中黑點表示繪制后的目標圖像上的空洞點。

圖6 深度圖前景梯度過渡前、后的示意圖

經過上述預處理后即可得到深度圖,其中濾波操作能夠去除深度圖上的噪聲點,并且失真不會太嚴重;而前、后景的梯度過渡專門平滑前、后景邊界處深度值變化劇烈的區域(見圖6),能夠分割繪制后的目標圖像上非邊界的大空洞點。

1.2 空洞填補

把預處理后的深度圖與參考圖像輸入到平行攝像機模型進行DIBR三維圖像變換[16-17],由于所求為目標左視圖,為消除褶皺[18],繪制目標圖像的順序為從右向左、從上到下,即可得到帶有空洞點的目標圖像。

目標圖像上存在的空洞點可以分為邊界的大空洞點、前后景邊界處分割后的空洞點和孤立的雜質小空洞點。本文提出的填補方法先對空洞點進行大小和位置的判斷,再分別匹配不同的插值模板完成填補。在判斷空洞點的大小之前先用mask(i,j)模板對目標圖像上所有的空洞點進行標記,即

(4)

其中,Des(i,j)為繪制后的目標圖像上點(i,j)處的灰度值。

如果某一位置空洞點Dep(i,j)周圍8個像素點Des(i-1,j-1)、Des(i-1,j)、Des(i-1,j+1)、Des(i,j-1)、Des(i,j+1)、Des(i+1,j-1)、Des(i+1,j)、Des(i+1,j+1)中標記的非空洞點數量(即 mask(i,j)=0的數量)不小于3,那么該類空洞點標記為小空洞點;如果該空洞點周圍8個像素點中標記的非空洞點數量小于3,那么把該類空洞點標記為大空洞點。

對于標記的非邊界位置的大、小空洞點自動匹配不同的插值模板進行插值填補,小空洞點用其周圍8個像素點中非空洞點均值進行插值填補,大空洞點則在11×11的模板內尋找非空洞點進行填補。11×11模板內進行非空洞點插值的形式為:

Des(i,j)=

(5)

其中,分子為以點(i,j)為中心的11×11模板內所有非空洞點像素值的和;分母為以點(i,j)為中心的11×11模板內所有非空洞點的個數。

對于邊界位置的大空洞點則直接用參考圖像上相應位置像素點進行填補,Img(i,j)表示輸入的參考圖像上相應位置的像素點灰度值,則有：

Des(i,j)=Img(i,j)

(6)

經過上述對虛擬視點繪制后的目標圖像上大、小空洞點的分開填補,即可得到填補后的目標圖像。

2 實驗結果

為了驗證本文提出的梯度過渡后分類填補方法的效果,本文用大小為564×738的“ding”和600×800的“overlook”2幅圖像進行驗證。實驗平臺是一臺主頻為3.40 GHz、內存為4 GB、Intel處理器的PC機。驗證包括2個部分:① 提出的深度圖預處理對繪制后的目標圖像上空洞點的影響;② 空洞填補算法需要的填補時間和最后所得目標圖像的質量。

用本文方法得到的深度圖與參考圖像進行虛擬視點繪制,得到帶有空洞點的目標圖像,統計繪制后目標圖像上的空洞點數量和分布情況,并與其他2種不同預處理深度圖繪制的目標圖像進行比較,結果如圖7所示。

(a) 未處理 (b) 均值濾波 (c) 高斯低通濾波 (d) 本文方法

其中,圖7a為原始深度圖與參考圖像進行3D繪制得到的目標圖像;圖7b為進行均值濾波[19]后的深度圖與參考圖像進行3D繪制得到的目標圖像;圖7c為進行高斯低通濾波[20]后的深度圖與參考圖像進行3D繪制得到的目標圖像;圖7d為本文方法操作后的深度圖與參考圖像進行3D繪制得到的目標圖像。

對圖7中幾種不同預處理方法得到的目標圖像上的空洞點進行統計,結果見表1所列。

表1 目標圖像上空洞點的數量統計

從表1可以看出,圖像“overlook”采用本文方法預處理后的深度圖繪制得到的目標圖像上空洞點數量是最少的,并且在目標圖像(圖7d)上的空洞點與其他幾幅目標圖像相比也是最為分散的;而對于圖像“ding”,采用本文方法預處理后的深度圖繪制得到的目標圖像上空洞點數量僅略高于高斯低通濾波器的,但是目標圖像(圖7d)上的空洞點比其他目標圖像上的更為分散。由此可見,本文提出的深度圖預處理方法的效果較好,繪制后的目標圖像上空洞點數量大大減少,且大空洞被分割為小空洞點。

用本文提出的空洞填補方法對圖7“ding”和“overlook”的目標圖像(圖7d)上的空洞點進行填補,計算填補時間和填補后的目標圖像峰值信噪比(peak signal to noise ratio,PSNR),并與另外2種空洞填補方法進行比較。深度輔助填補需要參考深度圖,在目標圖像待填補點41×41的模板內尋找與該點深度值相差小于6的非空洞點進行填補。循環插值方法優先填補最小的那些空洞點,之后再次掃描、填補,直至所有空洞點填補完成。目標圖像“ding”和“overlook”采用不同方法[21]進行空洞填補后的效果如圖8所示。不同填補方法填補后的目標圖像的PSNR值和填補耗時見表2所列。

(a) 未填補 (b) 深度輔助填補 (c) 循環插值方法 (d) 本文算法

圖8 “ding”(上)和“overlook”(下)的目標圖像經不同方法填補后的效果

由表2可以看出,對于圖像“ding”,本文方法填補后目標圖像的PSNR值僅稍低于深度輔助填補方法,但填補耗時卻遠遠低于深度輔助填補方法;而對于圖像“overlook”,本文方法得到的目標圖像的PSNR值是最高的,且填補耗時是最低的。因此,本文提出的空洞填補方法具有較好的填補效果,其填補得到的目標圖像不僅具有較高的PSNR值,而且耗時非常短。

3 結 論

本文提出了一種預處理后分類填補的空洞點解決方案。先對濾波后的深度圖進行前景向后景梯度過渡的預處理,對完成虛擬視點繪制后的目標圖像上的空洞點進行大小和位置標記,并對非邊界的大小空洞點自動匹配不同的差值模板進行插值填補。實驗結果表明,經過深度圖前、后景梯度過渡后,繪制得到的目標圖像上空洞點數量減少,且大空洞點被分割成小空洞點;經過本文提出的空洞點分類填補方法填補后的目標圖像具有較高的PSNR值,且填補耗時非常短。

[1] JENG T R,HUANG D R,LIU K C,et al.New 3D image technologies developed in Taiwan[J]. IEEE Transactions on Magnetics,2011,47(3):663-668.

[2] LIU R,XIE H,TAI G,et al.Depth adjustment for depth-image-based rendering in 3D TV system[J].Journal of Informational and Computational Science,2011,8(16):4233-4240.

[3] 趙興朋.視頻圖像2D轉3D算法研究及硬件實現[D].青島：中國海洋大學,2012.

[4] LEE P J，EFFENDI E.Nongeometic distortion smoothing approach for depth map preprocessing[J].IEEE Transactions on Multimedia,2011,13(2):246-254.

[5] RUNG Y H,CHENG Y.VLSI architecture for real-time HD 1080p view synthesis engine[J].IEEE Transactions on Circuits and Systems for Video Technology,2011,21(9):1329-1340.

[6] CHEN W Y,CHANG Y L,CHIU H K,et al.Real-time depth image based rendering hardware accelerator for advanced three dimensional television system[C]// IEEE International Conference on Multimedia and Expo. [S.l.]:IEEE,2006:2069-2072.

[7] GAUTIER J,MEUR L,GUILLEMOT C.Depth-based image completion for view synthsis[C]// The True Vision-Capture,Transmission Display of 3D Video.[S.l.]:IEEE,2011:1-4.

[8] KOPPEL M,MAKHLOUF M B,NDJIKI-NYA P.Optimized adaptive depth map filtering[C]// IEEE International Conference on Image Processing.[S.l.]:IEEE,2014:1356-1360.

[9] FEHN C.Depth-image-based rendering (DIBR),compression,and transmission for a new approach on 3D-TV[J].Proceedings of SPIE-The International Society for Optical Engineering,2004,5291:93-104.

[10] ZHANG L,TAM W J,WANG D.Stereoscopic image generation based on depth images[J].IEEE Transactions on Broadcasting,2005,51(2):191-199.

[11] CHEN C H,SUNG C Y,CHEN T Y,et al.An efficient hole-filling approach using adaptive rendering[C]// International Conference on Genetic & Evolutionary Computing.[S.l.]:IEEE Computer Society,2012:336-339.

[12] 駱凱,李東曉,馮雅美,等.基于DIBR和圖像修復的任意視點繪制[J].中國圖象圖形學報,2010,15(3):443-449.

[13] CHENG C,LIU J,YUAN H,et al.A DIBR method based on inverse mapping and depth-aided image inpainting[C]// IEEE China Summit & International Conference on Signal and Information Processing.[S.l.]:IEEE,2013:518-522.

[14] WU H,FENG J,ZHANG H,et al.A virtual view synthesis algorithm based on image inpainting[C]// Third International Conference on Networking and Distributed Computing.[S.l.]:IEEE,2012:153-156.

[15] LU X H,FANG W,CHEN F M.Foreground-Object-Protected Depth Map Smoothing for DIBR [C]// IEEE International Conference on Multimedia and Expo.[S.l.]:IEEE, 2012:339-343.

[16] LIN T C,HUANG H C,HUANG Y M.Preserving depth resolution of synthesized images using parallax-map-based DIBR for 3D-TV[J].IEEE Transactions on Consumer Electronics,2010,56(2):720-727.

[17] XU X,PO L M,CHENG K W,et al.A foreground biased depth map refinement method for DIBR view synthesis[C]// IEEE International Conference on Acoustics, Speech and Signal Processing.[S.l.]:IEEE,2012:805-808.

[18] 劉占偉,安平,劉蘇醒.基于 DIBR 和圖像融合的任意視點繪制[J].中國圖像圖形學報,2007,12(10):1696-1700.

[19] 謝輝.基于深度圖像繪制的視圖合成研究[D].重慶：重慶大學,2013.

[20] HSIAO P Y,CHOU S S,HUANG F C.Generic 2D gaussian smoothing filter for noisy image processing[C]// TENCON 2007-2007 IEEE Region 10 Conference.[S.l.]:IEEE,2007:1-4.

[21] 劉然,朱慶生,張小云,等.一種用于視圖合成的空洞填充算法[J].計算機應用研究,2009,26(8):3146-3148.

(責任編輯 胡亞敏)

Hole-filling method with classification after pre-processing

YANG Yizhong, XU Yichen, MA Long, ZHANG Qiang

(School of Electronic Science and Applied Physics, Hefei University of Technology, Hefei 230009, China)

Depth-image-based rendering(DIBR) technology is widely used in 3D drawing to solve the problem of sources inadequacy. However, there tends to be some empty by the view of DIBR synthesis. To reduce the influence of holes on target image as much as possible, a hole-filling method with classification after pre-processing is proposed. The program consists of two parts: the gradient transition between foreground and background is taken when pre-processing depth image, so there will be less and scattered holes on target image after 3D warping; the holes must be classified before they are filled, then the interpolation template will adjust automatically when filling big or small non-boundary holes, and the left boundary big holes will be filled by pixel corresponding position on reference image. Experimental results show that the algorithm can be employed efficiently for filling the holes after gradient transition, and the algorithm is simple, the filling time is short.

depth-image-based rendering(DIBR); gradient transition; hole; hole-filling

2016-01-27；

2016-03-18

合肥工業大學科學研究發展基金資助項目(J2014HGXJ0083)

楊依忠(1975-),男,安徽合肥人,合肥工業大學副教授,碩士生導師.

10.3969/j.issn.1003-5060.2017.08.015

TP751

A

1003-5060(2017)08-1082-06