一種去除虛假邊緣的任意視點繪制方法

呂夢春，張曉林

（中國科學院 上海微系統與信息技術研究所，上海 200050）

一種去除虛假邊緣的任意視點繪制方法

呂夢春，張曉林

（中國科學院 上海微系統與信息技術研究所，上海 200050）

基于深度圖的視點渲染（DIBR）是支撐3D視頻服務的一種重要技術。為了解決任意視點繪制結果中常出現的虛假邊緣問題，本文在前向映射過程中采用了一種深度圖不連續區域檢測的算法，且在后向映射過程為了節省計算成本僅對必要的像素點集處理，并對alpha融合后的圖像進行紋理修復，獲得了高質量的視點繪制結果。實驗證明，在微軟提供的多視點數據集上測試得到PSNR和SSIM指標都優于DIBR標準參考方法的處理結果。

視點渲染；深度圖；DIBR；多視點

裸眼3D電視技術[1]將成為下一代視頻技術的重點。為了能達到裸眼自由觀看的目的，自由視點技術（FTV）應運而生。顯然，單純采用多視點拍攝的方式（MVV），不僅占用內存太多，傳輸時也需要高帶寬。基于深度圖的視點渲染技術[2-4]（DIBR）一方面能在視點間流暢的完成新視點繪制，也另一方面能節省帶寬和內存，是目前國際上公認的自由視點3D電視視頻信息傳輸的解決方案。

DIBR方法要求多視點深度圖和紋理圖圖像對作為其3D數據表示。深度圖表示了3D場景的表面結構信息和每個像素點到實際物體之間的距離信息。這種數據能直接從深度攝像機獲取或者以立體匹配[5]的方式從紋理圖像對推算出來。當前基于深度圖的視點渲染技術存在的問題主要有視點映射之后像素坐標取整造成的誤差、被遮擋物體重現后的空洞填補、前景和背景交接處的虛假邊緣等。相關研究表明，對映射后的深度圖進行雙邊濾波器處理[6]的方法會給整幅圖像造成模糊，而利用深度信息進行紋理填補的算法[7-10]在填補過程中要花費較多計算成本來修復深度圖，此外，利用顯著性信息[11]的紋理填補方式也在一定程度上能填好重現（disocclusion）區域。

文中分析了前景和背景交界處的虛假邊緣產生的原因，并采用了一種深度圖預處理的方式即基于深度圖不連續區域檢測的方法來解決此問題，搭建了整個視點繪制框架，最后從主觀視覺和客觀評價兩方面驗證了本方法的有效性。

1 系統概覽

整個DIBR框架主要包括5部分：多視點圖像對獲取，深度圖預處理[12]，視點轉換，圖像融合以及紋理圖修復[13-14]。獲取的多視點圖像對通常作為參考視點來重建虛擬視點的紋理圖和深度圖。文中選取自由設定的視點左右兩邊的相機作為參考視點，目的是繪制出虛擬視點高質量的紋理圖，其基本流程圖如圖1所示。視點轉換過程中盡管采用了Z-Buffer的方式選擇靠近相機的像素信息，在前景物體上仍出現較為嚴重的虛假邊緣。去除虛假邊緣的圖像后處理方式如膨脹腐蝕等穩定性不高，本文對深度圖進行預處理，即檢測深度圖不連續區域。檢測的區域在前向視點轉換過程中有選擇性的被略過，盡管此時造成了較大的空洞，但是保證了映射后前景物體邊緣信息的準確性。在反向映射時，即逆向視點轉換過程中，為了節省計算成本僅映射中值濾波后深度值有改變的像素點紋理信息。重現區域屬于背景信息，在圖像融合過程中左右兩路視頻背景相互補償使得虛擬視點重現區域紋理有可靠的恢復。此時還有一部分信息不完整，可采用紋理圖修復的方式進行填補，最終繪制出高質量的虛擬視點紋理圖。

圖1 DIBR視點繪制流程圖

2 任意視點繪制

2.1 視點轉換關系

視點轉化關系，即三維空間映射關系是整個基于深度圖的視點繪制（DIBR）框架的基石，包括前向映射和反向映射兩種。從參考視點到虛擬視點的轉換稱為前向映射，而從虛擬視點返回參考視點則是反向映射。

當相機坐標系和世界坐標系重合時可認為旋轉矩陣Rr為3×3的單位矩陣而平移矩陣tr為零向量。而內參矩陣Kr代表相機結構信息。已知參考視點像素p（ur，vr）和其對應深度圖上的深度值zr，通過公式（1）能計算得到空間中對應三維點的坐標P（Xw，Yw，Zw）。

設定好虛擬相機的位姿以后，獲取其相對參考相機的旋轉矩陣Rv和平移矩陣tv，就能將點空間點P重新投影到虛擬視點平面上并通過公式（2）得到每一個像素的坐標（uv，vv）。其中Kv為虛擬相機的內參。

這種像素級點對應的映射方式實現了視點轉換，保持了場景中物體的紋理信息一致性。在前向視點轉換實際過程中需要根據該像素是否屬于深度不連續區域來判斷是否執行空間映射。

2.2 深度圖區域檢測

在深度圖像中，可認為局部區域的深度值差異較小時該區域屬于同一塊前景或背景區域。而當局部深度值差異明顯時可以認為該像素點處在前景和背景交界處。通過設定深度區域閾值，可檢測出參考視點深度圖中的不連續區域。具體計算方式如下：d（ur，vr）為深度圖上某一點的坐標，在其3×3鄰域內以公式（3）計算區域深度均值，并得到兩值的差Δd=-d（ur，vr）。當Δd大于閾值Thred時則認為該點屬于不連續區域。通常Thred根據整幅深度圖的深度值設定，這里選為10。

深度不連續區域如圖2（b）中白線所示，在前向映射時，那些深度不連續區域被略過，僅映射深度連續區域的像素點集。當虛擬視點中某一坐標有多個深度值的像素點對應時，采用Z-Buffer技術僅選取深度值最小的像素點。這時獲取到虛擬視點的紋理圖和深度圖會有很多空缺。由于參考視點紋理圖信息是完整的，中值濾波后的虛擬視點深度圖能應用在反向映射過程中，填補了紋理圖中前景和背景區域內部的單像素寬度的縫隙。為了節省計算量，反向映射時僅對深度圖中深度值有改變的點集進行反向恢復紋理信息，圖3中白色部分標記了這個點集。

圖2 深度不連續區域檢測示意圖

圖3 中值濾波中深度值有改變的點集

2.3 圖像融合

繪制中間視點時，該視點有左右兩路參考視點的信息。因為在左右視點中有互補的背景區域，即從左邊往中間視點映射時，虛擬視點前景靠左邊空缺區域較大，該部分能被右邊的視點看得并融合到最終視點上，對于右邊往中間視點映射時則同理。

圖4 區域標記

圖4 中用4種不同顏色區分了融合圖像區域的不同像素信息來源，其中淺白色代表只來自右邊視點的像素信息，深色代表只來自左邊視點的像素信息，灰色則代表左右兩視點都有的像素信息，白色代表空缺的像素信息。

對于左右參考視點都能提供信息的像素點，其像素值采用alpha融合方式獲得。兩個參考相機與虛擬相機平移向量距離分別為dl和dr，其中圖像融合系數α由dl/dl+dr決定。

2.4 融合區域填補

因為左右兩邊繪制的視點融合以后所剩下的空缺比較少，文中采用基于樣本塊紋理綜合的圖像修復技術Criminisi算法[14]對這些區域的紋理信息進行修復。

圖5 Criminisi填補算法示意圖

圖5 整個區域為圖像I，其中Ω代表需要填充的空缺區域Φ=I-Ω，而原始數據區域。δΩ是空缺區域的邊緣，Ψp是中心像素為p的目標區域匹配塊，包含了原始數據區域和空缺區域。相關研究表明填補順序對保持物體邊緣結果信息有重要作用，Criminisi算法使用了置信項C（p）和數據項D（p）的乘積來代表填補順序的先驗P（p）。置信項C（p）表示當前塊

的可信度，而數據項D（p）代表當前像素點的等照度方向。以優先級確定像素點p以后，使用塊匹配的方式找到與以p為中心塊P最相近的塊Q。其相似性準則為SAD，取值越小代表越相近，并用塊Q填補塊P。每進行一次填補之后更新填補順序的先驗P（p），然后迭代匹配至空缺像素都被填補完整。

3 實驗結果和分析

文中在Matlab環境下編寫代碼，在MSR提供的Ballet和Breakdancers多視點序列[15]上驗證了算法的有效性。該數據集圖像分辨率為1024×768，獲取幀率為15 fps，共提供了100幀的圖像數據和8個相機的參數。

Y.Mori的雙邊濾波器處理算法是DIBR的標準參考方法，在結果比較中作為參照來說明本方法的有效性。以Ballet序列第56幀視點繪制結果來看，本文結果圖6（b）中前景的邊緣是單一的，去除了雙邊濾波器方法中虛假邊緣。

圖6 繪制結果在主觀視覺上的比較

圖7 PSNR結果比較

如圖7所示，左右兩圖分別是在Ballet和Breakdancers序列上對100幀圖像計算真實視點和虛擬視點圖像的PSNR值得到的曲線，PSNR值越高表明兩張圖像越相似。其中由x連接的曲線代表本文算法結果，比Y.Mori的雙邊濾波器處理算法結果即由o連接而成的曲線繪制質量高，Ballet序列上平均提升了1.99 dB，而在Breakdancers序列上平均提升了0.86 dB。

文中也依據準則SSIM[16-17]計算了真實視點和虛擬視點圖像間的結構相似性，其值接近1代表結構保存得完整。圖8顯示出本文算法在這種標準下也優于基于雙邊濾波器的算法。

4 結論

文中分析了前景和背景交界處虛假邊緣的問題，確認該問題是映射過程中邊緣處的景深處理不當造成的，并搭建了整個繪制框架用深度圖預處理的方式基本解決了這個問題，通過本方法的處理，使多視點圖像可以讓觀眾在主觀上感覺到了觀看質量的提升，并且在MSR的圖像序列上驗證了該算法的魯棒性，有效的避免了最終繪制視點中前景邊緣處的虛假邊緣。

圖8 SSIM結果比較

[1]Fehn C.Depth-image-based rendering（DIBR），compression and transmission for a new approach on 3D-TV[J].Proceedings of SPIE-The International Society for Optical Engineering，2004（5291）:93-104.

[2]Kauff P，Atzpadin N，Fehn C，et al.Depth map creation and image-based rendering for advanced 3DTV services providing interoperability and scalability[J].Signal Processing Image Communication，2007，22（2）:217-234.

[3]Kang S B.A survey of image-based rendering techniques[J].Videometrics Spie，1997（3641）:2-16.

[4]Szeliski R S，Salesin D，Sch?dl A.Video-based rendering: IET，US 6636220 B1[P].2003.

[5]Scharstein D，Szeliski R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[C]//Stereo and Multi-Baseline Vision，2001.（SMBV 2001）.Proceedings.IEEE Workshop on.IEEE，2001:131-140.

[6]Mori Y，Fukushima N，Yendo T，et al.View generation with 3D warping using depth information for FTV[J].Signal Processing Image Communication，2009，24（S1-2）:65-72.

[7]Daribo I，Pesquet-Popescu B.Depth-aided image inpainting for novel view synthesis[C]//Multimedia Signal Processing（MMSP），2010 IEEE International Workshop on.IEEE，2010:167-170.

[8]Oh K J，Yea S，Ho Y S.Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-D video[C]//Picture Coding Symposium.

[9]Yang X，Liu J，Sun J，et al.DIBR based view synthesis for free-viewpoint television[C]//Proceedings of the 3DTV Conference，The True Vision-Capture，Transmission and Display of 3D Video（3DTV-CON），2011:1-4.

[10]Do L，Zinger S，Morvan Y，et al.Quality improving techniques for free-viewpoint DIBR[J].Proceedings of SPIEThe International Society for Optical Engineering，2009（7524）:1-4.

[11]Macchiavello B，Dorea C，Hung E M，et al.Low-saliency prior for disocclusion hole filling in DIBR-synthesized images[C]//Acoustics，Speech and Signal Processing（ICASSP），2014 IEEE International Conference on.IEEE，2014: 579-583.

[12]Zinger S，Do L，With P H N D.Free-viewpoint depth image based rendering.[J].Journal of Visual Communication& Image Representation，2010，21（S5-6）:533-541.

[13]Alexandru Telea.An image inpainting technique based on the fast marching method[J].Journal of Graphics Tools，2004，9（1）:23-34.

[14]Antonio C，Patrick P，Kentaro T.Region filling and object removal by exemplar-based image inpainting.[J].IEEE Transactions on Image Processing A Publication of the IEEE Signal Processing Society，2004，13（9）:1200-1212.

[15]Zitnick C L，Kang S B，Uyttendaele M，et al.High-quality video view interpolation using a layered representation[J].Acm Transactions on Graphics，2004，23（3）:600-608.

[16]Zhou W，Alan Conrad B，Hamid Rahim S，et al.Image quality assessment:from error visibility to structural similarity[J].IEEE Transactions on Image Processing，2004，13（4）:600-612.

[17]艾超，胡方明.消除脈沖噪聲的改進自適應濾波算法[J].電子科技，電子科技，2013（2）:5-9.

A method of ghost contour removal for Free-viewpoint

LV Meng-chun，ZHANG Xiao-lin
（Chinese Academy of Sciences Shanghai Institute of Microsystem and Information Technology，Shanghai 200050，China）

Depth ImageBased Rendering（DIBR）technique has been recognized as the most important technique to provide 3d video services.In order to remove the ghost contours in the final rendered view，this paper proposed a depth-based discontinuous region detection algorithm in the forward warping process，and then process the changed pixels in the inverse warping，finally inpaint the alpha blended view to obtain high-quality virtual view.Experiments show that the results of PSNR and SSIM metrics outperform that of the standard reference method on the multi-view dataset provided by Microsoft Research.

view rendering；depth map；DIBR；multi-view

TN919.82

A

1674－6236（2016）15-0187-04

2016-01-08 稿件編號：201601049

上海張江國家資助創新示范區專項發展資金（ZJ2015-ZD-001）

呂夢春（1990—），男，湖北武漢人，碩士研究生。研究方向：圖像處理、3D視頻。