一種基于WMF-ACA的深度圖像修復算法

沈慧中 張倩 王斌 孫藝晉 吳玉靜 王曉慧

摘 ?要： 針對RGBD相機由于硬件條件的限制，所獲取的深度圖像往往存在空洞與噪聲的問題，提出一種彩色圖像引導的深度圖像空洞填補方法.對深度圖像邊緣區域采用基于局部直方圖的加權模式濾波器（WMF）進行處理，在有效保留深度圖邊緣與細節的前提下，消除圖像噪聲.對深度圖像非邊緣區域采用一種異步元胞自動機（ACA）模型算法，根據鄰域和迭代規則對深度圖空洞進行填補，快速、準確地完成任務.在立體匹配數據集Middlebury上測試所提算法實現性能，實驗結果表明：該算法的結構相似性（SSIM）與峰值信噪比（PSNR）更高，能夠準確地填補深度圖空洞，同時保持深度圖邊緣清晰.

關鍵詞： 深度圖; 空洞填補; 加權模式濾波器（WMF）; 異步元胞自動機（ACA）

Abstract： To solve the problem of holes and noise in the depth image due to the limitation of RGBD camera hardware， a color image-guided method for filling holes in depth image was proposed. Firstly， for the boundary area of the depth image， a weighted mode filter（WMF） based on local histogram was used for processing which effectively preserved the boundary and details and eliminated noise of the depth image. Secondly， an asynchronous cellular automaton （ACA） model algorithm was adopted for the non-boundary area of the depth image.The depth map holes were filled by using the neighborhood and iteration rules and the mission was completed fleetly and accurately. Finally， the performance of the proposed algorithm was tested on Middlebury. Experimental results showed that the proposed algorithm in this paper could accurately fill the holes in the depth map with a clear boundary.

Key words： depth image; hole filling; weighted mode filter（WMF）; asynchronous cellular automaton（ACA）

0 ?引言

深度圖像是一種表示場景深度信息的特殊圖像.隨著消費級深度相機的出現，深度圖像被廣泛應用于三維重建、人臉識別、語義分割等領域.深度相機雖然具有價格低廉、可實時獲取深度圖像的優點，但是受制于硬件條件以及環境的變化，所獲取的深度圖像往往存在深度信息丟失的問題，影響深度圖的后續應用.

目前針對深度圖像空洞填補以及質量優化方面的工作主要分為兩類：第一類是只依賴深度圖像內部信息進行深度修復;第二類是利用與深度圖像對應的彩色圖引導深度圖的修補.在第一類方法中，VIJAYANAGAR等[1]利用高斯濾波估計缺失的深度值，然而此方法僅考慮了空洞周圍像素點的深度信息，未考慮物體邊緣像素的差異性，存在邊緣模糊問題.CAMPLANI等[2]利用雙邊濾波實現空洞填補，通過像素點的空間位置以及自身像素值，計算濾波權值的大小.雖然可有效保留邊緣信息，但當空洞較大時，置信度較低.TELEA[3]利用快速行進法（FMM）計算出空洞鄰域像素點的方向因子，通過加權平均估算空洞深度值，但該方法容易在修復邊界和等照度線上產生模糊現象.在第二類方法中，LE等[4]提出了聯合雙邊濾波方法，利用RGB圖像引導深度圖像修補，但當物體與背景顏色較近時，該方法易產生誤差.WANG等[5]利用視頻序列估計背景深度來恢復深度圖，該方法計算量大，且無法應用于單個深度圖.WANG等[6]利用馬爾可夫隨機場模型將彩色圖的顏色、平滑先驗信息等與原始深度圖融合，達到恢復深度圖的目的，然而深度圖與彩色圖邊緣的不一致會導致邊緣模糊問題.基于上述研究，本文作者提出了一種使用彩色圖引導深度圖空洞填補的方法，采用加權模式濾波器（WMF）與異步元胞自動機（ACA），分別對深度圖像邊緣與非邊緣區域進行空洞修復，最終得到結構完整、邊緣清晰的深度圖.

1 ?算法實現

1.1 邊緣區域深度圖的修復

深度值往往在物體內部連續變化，而在邊緣處呈現出明顯不連續的特征，針對邊界區域深度值的恢復，采用基于局部直方圖的WMF進行處理.在圖像領域，直方圖表示數字圖像中像素強度的分布，統計每一個強度值所具有的像素個數，在局部直方圖的基礎上定義WMF.通過指定窗口大小內的鄰域像素q，計算像素點p具有深度值d的局部直方圖。

1.2 非邊緣區域深度圖的修復

元胞自動機是由馮·諾伊曼為模擬生命系統自我復制功能所提出的一個時間、空間都離散的動力學系統.元胞空間中的每一個元胞都取有限個狀態，并且每個元胞的個體演變僅與其當前狀態以及其鄰域有關，元胞之間通過相同的作用規則相互作用構成動態系統演化.深度值通常存在集群性，尤其在非邊緣區域顏色相似的像素往往具有相似的深度值，采用元胞自動機模型的彩色圖來引導深度圖進行空洞填補，該方法不但規則簡單，易于實現，并且具有較快的運行速度，能較為準確地完成深度圖的修復.

元胞自動機由元胞、元胞空間和鄰居組成.元胞是元胞自動機的基本組成部分，離散地分布在歐幾里得空間;元胞空間是歐幾里得空間上的網格點集合，可分為一維、二維和三維;鄰居是單個元胞進行狀態更新時需要搜索的空間域.

由于圖像采用矩陣的方式進行存儲，每一個數字代表著對應的像素，所以在本文中將每個數字看作單個元胞，本算法采用Moore類型鄰域規則對空間相鄰的元胞進行計算比較.設元胞X的狀態為S，當X為非深度缺失像素時，在t+1時刻X的狀態=St，像素原始深度值保持不變;當X為深度缺失像素時，則在t+1時刻計算彩色圖中X像素點與其周圍8個鄰居像素點顏色特征向量的歐幾里得距離：

2 ?實驗結果

本算法使用Matlab R2018b軟件，計算機配置為i7處理器：主頻為2.60 GHz，8內核，8 GB內存，Windows 10系統.為了驗證算法的有效性，從Middlebury公開數據集選取多幅深度圖及彩色圖進行實驗，并將實驗結果與文獻[7]中基于卷積神經網絡的深度圖修復（DeCNN）方法，及文獻[8]中基于改進的最小二乘法的深度圖修復（EWLS）方法進行比較，深度圖修復效果如圖2所示.

從實驗結果可以看出，DeCNN由于該網絡結構相對簡單，所獲得的特征較少，EWLS算法只使用了彩色圖像的單尺度引導，兩種方法都將造成所恢復的深度圖像出現邊緣模糊現象;而本算法不僅能夠較好地填充空洞，還能保持邊緣細節以及結構的完整，在圖像平滑性和質量方面都有提升.

為了客觀評價圖像修復質量，引入結構相似性（SSIM）和峰值信噪比（PSNR）對各算法的執行效果進行客觀評價.SSIM衡量兩幅圖像的相似度，PSNR表示圖像抗噪性能，兩個指標的值越大越好.結果如表1～2所示.由表1～2可見，相較于DeCNN和EWLS算法，本算法對圖像的修復效果更好.

3 ?結 論

本文作者針對深度圖像存在深度缺失與噪聲的問題，用彩色圖引導深度圖，提出了一種新的圖像修復方法.利用算法復雜度較低的ACA算法處理深度值連續變化的非邊緣區域，并使用WMF算法解決由噪聲引起的邊緣模糊問題，對于不同區域采用不同的修復算法，在提升深度圖修復質量的同時，降低了算法復雜度.實驗結果表明：本算法在修復大面積空洞的同時，保持了邊緣細節以及結構完整性，達到了良好的修復效果，得到了較高質量的深度圖像.另外，空洞區域周圍場景的復雜度會對修復結果造成很大影響，對復雜場景的修復，本算法仍存在不足，下一步將對不足之處做出改進.

參考文獻：

[1] VIJAYANAGAR K R， LOGHMAN M， KIM J. Refinement of depth maps generated by low-cost depth sensors [C]// Soc Design Conference. Jeju Island： IEEE，2012：355-358.

[2] CAMPLANI M， SALGADO L. Efficient spatio-temporal hole filling strategy for Kinect depth maps [J]. The International Society for Optical Engineering，2012（1）：1-10.

[3] TELEA A. An image inpainting technique based on the fast marching method [J]. Journal of Graphics Tools，2004，9（1）：23-34.

[4] LE A， JUNG S W， WON C. Directional joint bilateral filter for depth images [J]. Sensors，2014，14（7）：11362-11378.

[5] 王奎， 安平， 張兆楊， 等. Kinect 深度圖像快速修復算法 [J]. 上海大學學報（自然科學版），2012，18（10）：454-458.

WANG K， AN P， ZHANG Z Y， et al. A fast repair algorithm of depth image [J]. Journal of Shanghai University（Nature Science Edition），2012，18（10）：454-458.

[6] WANG Y， ZHONG F， PENG Q， et al. Depth map enhancement based on color and depth consistency [J]. The Visual Computer，2014，30（10）：1157-1168.

[7] ZHANG X， WU R. Fast depth image denoising and enhancement using a deep convolutional network [C]// International Conference on Acoustics Speech and Signal Processing. Shanghai：IEEE，2016：2499-2503.

[8] LIU W， CHEN X， YANG J， et al. Robust color guided depth map restoration [J]. IEEE Transaction Image Process， 2016， 26（1）：315-327.

[9] MIN D， LU J， DO M N. Depth video enhancement based on weighted mode filtering [J]. IEEE Transaction Image Process，2012，21（3）：1176-1190.

[10] LIU J， GONG X. Guided depth enhancement via anisotropic diffusion [C]// Pacific-Rim Conference on Multimedia. Cham：IEEE，2013：408-417.

[11] CHANG T， LIAO W， YANG J. Robust depth enhancement based on texture and depth consistency [J]. IET Signal Processing，2017，12（1）：119-128.

[12] XU D， FAN X，ZHANG S， et al. Multiscale directional fusion for depth map super resolution with denoising [C]// IEEE International Conference on Acoustics Speech and Signal Processing. Brighton： IEEE，2019：2342-2346.

[13] TANG S， ZHU Q， CHEN W， et al. Enhanced RGB-D mapping method for detailed 3D indoor and outdoor modeling [J]. Sensors，2016，16（10）：1589-1616.

[14] ZHANG X， GUO Q， GUAN Y， et al. Color-guided restoration and local adjustment of multi-resolution depth map [J].Smart Innovations in Communication and Computational Sciences，2018，2：131-138.

[15] LIU J Z， WU W H， CHENG C，et al.Depth image inpainting method based on pixel filtering and median filtering [J].Journal of Optoelectronics Laser，2018，29（5）：539-544.

（責任編輯：包震宇）