一種改進的非銳化掩模深度圖像增強算法

馮 策，戴樹嶺

(北京航空航天大學自動化與電氣工程學院，100191北京)

深度圖像的獲取是機器視覺中的重要步驟，三維重建、碰撞檢測、增強現實、模式識別等都依賴于對深度圖像的分析.由于深度信息獨立于光照以及物體表面的光反射特性，與傳統的圖像相比，深度圖像不受光照改變以及陰影的影響，因此，深度圖像更容易表現物體的特征，適用于提升機器視覺任務的可靠性和實時性.

深度圖像通常由雙目相機，陣列相機以及深度相機［1］進行采集，然而由于采集設備獲取的深度圖質量不高，通常存在圖像缺失，分辨率低，以及噪聲嚴重等問題，制約了深度信息在工業上的應用.所以如何來改善深度圖的質量是本文所要研究的內容.

1 問題分析

由傳感器獲取的深度信息主要存在以下兩方面問題:由于攝像頭精度問題所固有的誤差和光噪聲;由于在物體邊緣處存在深度不連續性，導致在對象的邊界處會出現許多空洞，即深度缺失.

近些年，研究人員在深度圖像質量優化方面做出了許多工作.在深度圖降噪方面，文獻［2］改進了自適應核回歸算法，對深度圖像進行了降噪的同時保持了細節，但是沒有修復缺失，并且計算復雜度較高.文獻［3］采用了三邊濾波法進行降噪處理，并在時域上增強了圖像細節，但預處理流程復雜，需要對圖像進行分割以及前景提取等.在深度圖修復缺失方面，文獻［4］分別采用兩種尺寸的窗體對深度圖像進行中值濾波，大尺寸窗體用來填充缺失，小窗體用來平滑噪聲，但是算法沒有解決邊緣毛糙的問題.文獻［5］提出了時域濾波深度圖修復增強算法，但是這種方法復雜度高，也不適用于修復單幅的深度圖像.文獻［6］在硬件方面作了創新，提出了結合深度相機與雙目相機方式來修復深度圖像，但是系統過于龐大，不易于實現.

這里針對傳統修復算法存在的問題提出了深度圖增強的分析方法:1)結合空間濾波算法與空間圖像增強算法來提高圖像質量，目的是濾除噪聲同時增強被模糊的細節部分;2)深度圖像的缺失通常存在于邊緣部分以及深色部分，利用深度圖對應的彩色圖像相關性填補圖像中缺失的部分.根據以上分析，本文改進了經典的非銳化掩模算法［7］，并結合了聯合雙邊濾波法，構造出了自適應的深度圖像增強的算法，既可以填補缺失，平滑噪聲，又可以保持細節的清晰.

2 自適應的非銳化掩模深度圖像增強算法

2.1 改進的非銳化掩模算法

如圖1所示，經典的非銳化掩模是將圖像的高頻部分與原圖像疊加的增強過程，如下式所示，高頻部分是通過原圖像與圖像的低頻部分作差得到的.通常深度圖像包含3種類型的區域:邊緣區域、平坦區域和細節區域，對應圖2、3中的標號1、2、3部分，其中細節區域和邊緣區域包含圖像的重要信息，圖像增強的主要目的是對這兩類區域作適當的增強，同時盡量避免放大圖像噪聲.

圖1 非銳化掩模算法

其中:Di為待處理的深度圖，Do為增強后的深度圖像為原圖像高斯濾波的過程，ΔDi為得到的圖像高頻部分，λ為增強部分的權重因子．

非銳化掩模算法非常適用于深度圖像的增強，原因如下:1)深度圖和彩色圖不同，彩色圖像中存在高光和陰影等不希望增強的部分，而這些部分在深度圖像中是不存在的;2)非銳化掩模的高頻掩模部分，通常一側是光暈，另一側是陰影，如圖4中的掩模ΔDi所示，主要適用于不同層次物體間的邊緣以及細節區域的增強，而深度圖像中高對比度的部分主要是邊緣區域和細節區域.2006年Luft等［8］利用深度圖的高頻部分疊加到彩色紋理上，進而增強彩色圖像的邊緣以及細節部分.

經典的非銳化掩模算法的缺點是會導致平坦區域高頻噪聲的放大，如圖1所示，本文思想是結合保邊的濾波算法，克服經典方法的缺點，修復圖像的同時增強圖像細節以及邊緣部分.

圖2 高斯濾波掩模

圖3 雙邊濾波掩模

從圖2中可見，ΔD是原圖像與高斯模糊圖像作差所得到的高頻部分，圖2中標號2位置對應的ΔD是高頻噪聲，而這一高頻部分是圖像增強中所不需要的，因此如何濾除平坦區域的高頻噪聲，修補缺失，增強細節以及邊緣區域部分是本文所追求的目標．根據需求本文聯想到了保持邊緣的濾波算法:雙邊濾波法．

經典的高斯濾波是利用局部加權平均的思想，但是平滑了圖像的同時，也模糊了圖像的邊緣.為了保持圖像邊緣信息，Tomasi等提出了雙邊濾波算法［9］，不僅考慮了距離權重，也考慮到了像素灰度相似性，其中與中心像素相似的鄰域像素的權重較大，即加權平均的貢獻較大;而非相似的鄰域像素則權重很小，幾乎不參與加權平均，因此雙邊濾波這種特性很好地保持了圖像邊緣，即高頻部分，模型如下式所示.

其中:Ⅰ為輸出圖像，Ⅰi為輸入圖像，wr為灰度相似度權重因子，ws為幾何相似度的權重因子，權重函數為高斯分布函數．

從圖3中可見，本文將雙邊濾波法應用到了一維圖像上，并與原圖像作差，僅得到平坦區域的高頻噪聲，而邊緣區域的高頻部分ΔD趨近于0．對比圖2與圖3，平坦區域ΔD基本相同，由此可知，如果參數設置適當，雙邊濾波法和高斯濾波法在平坦區域的濾波效果相似，因此可以利用這個特點對傳統非銳化掩模算法進行改進:將雙邊濾波法應用到原圖像上，平滑原圖像平坦區域的高頻噪聲，再與高斯濾波的低頻圖像作差，得到了降噪的高頻部分ΔD，如圖3所示．圖4(a)是經典的非銳化掩模算法得到高頻部分ΔD，圖4(b)是本文改進的算法得到的高頻部分ΔD，可以看出改進算法后得到ΔD中的噪聲部分趨近于0，利用去噪的ΔD進行局部掩模計算，這樣得到的圖像只會增強細節和邊緣部分，不會增強噪聲部分，有效地克服了經典非銳化掩模放大噪聲的缺點．改進后的算法為

其中:Di為待處理的深度圖，Do為增強后的深度圖像為對圖像進行雙邊濾波的過程，為原圖像高斯濾波的過程，ΔDi為得到的像高頻部分，λ為增強部分的權重因子．

圖5為經典非銳化掩模的算法流程，對應式(1)、(2):待處理圖像Di與經過高斯濾波的圖像*Di作差得到掩模ΔDi，再將ΔDi乘以權重λ，并疊加到圖像Di上，得到增強后的圖像Do．

圖6為改進后的算法流程，對應式(4)、(5):將經過雙邊濾波的圖像*Di與經過高斯濾波的圖像*Di作差得到掩模ΔDi，再將ΔDi乘上權重λ，并疊加到雙邊濾波的圖像*Di上，得到增強后的圖像Do．

圖5 經典的非銳化掩模算法

圖6 改進后的非銳化掩模算法

2.2 濾波器的改進

本文對式(4)中的雙邊濾波法的改進目標是保持邊緣和細節清晰;填補缺失，平滑噪聲．

深度圖缺失通常是由于深度不連續性造成的，這部分缺失一般處于邊緣位置，傳統的圖像缺失修復方式是利用窗口內鄰域像素加權平均進行填充，但是處于邊緣部分的缺失像素，其鄰域會分為前景和背景部分，如果利用全部的鄰域信息進行填充，會導致待填充像素信息的不準確，即前景和背景的混淆，這樣就無法保證邊緣以及細節部分的清晰性.

根據以上存在的問題進行分析:1)缺失區域的深度像素對中心像素的填充沒有參考價值;2)只有處于同一平面物體的深度信息才有參考價值.根據以上分析，本文改進了增強算法中的濾波法，使其在抑制噪聲的同時能夠修復深度圖像的缺失.本文利用聯合雙邊濾波的思想來解決前后背景像素混淆的問題，聯合雙邊濾波［10］是一種非線性的濾波方法，是在雙邊濾波法［9］的基礎上提出來的，是結合了引導圖灰度相似度和空間鄰近度的濾波法.本文利用引導圖像素間的灰度相關性來判斷鄰域像素是否有效，即對于中心像素是否具有貢獻.鄰域像素為有效像素，需要滿足兩方面的條件:1)不是缺失像素．如果不是缺失像素，其深度值可以作為加權平均的參考值，從實驗獲取的深度圖，以及網上公開測試集中可知缺失像素的灰度值為0，因此本文將缺失閾值設定為0，即Dth=0，判定缺失像素的權重為H(Dq)，當Dq＞Dth時，此鄰域像素不是缺失像素．2)與中心像素的灰度值相近．只有與中心像素處于同一平面的鄰域像素才認為是有效的，同平面的標準是利用引導圖像中的像素灰度相似性來判斷，本文所使用的引導圖像是深度圖像對應的彩色圖像，如下式所示，判定同一平面的權重為wr(Ⅰp，Ⅰq)，其中Ⅰp代表在彩色圖像中p位置的像素，Ⅰq代表在彩色圖像中q位置的像素，wr為高斯函數．

因此寫成為

其中:Db為雙邊濾波后的深度圖像，H(Dq)為判斷像素是否有效的權重因子，Ⅰ為聯合濾波的引導圖像，Dth為判斷像素是否缺失的閾值，ws(p，q)為距離權重，wr(p，q)為引導圖灰度權重．

式(4)中的高斯濾波作用是獲取低頻信息，不需要保持邊緣清晰，因此只需要填補缺失像素為

其中:Dg為高斯濾波后的深度圖像，H(Dq)為式(8)所示，ws(p，q)為距離權重式(10)所示．

2.3 自適應圖像增強

在有效的處理圖像的同時，盡可能最大程度的保證原圖像深度信息的準確性，避免引入新的深度信息，因此在疊加高頻信息時需要對權重因子作適當優化.

自適應深度圖像增強的目標:1)削弱疊加到高對比度(邊緣)處的高頻部分，避免過沖現象.2)重點增強低對比度的細節區域.

通過對高頻部分|ΔD|觀察，處于邊緣處的|ΔD|值較大，一些細小幾何結構變化部分的|ΔD|值較小，處于平坦區域的|ΔD|值接近于0，如圖3所示．根據以上特點進行分析，本文改進了權重值λ，用自適應的參數替代了傳統權重值λ．

因此λ·ΔD轉化為

函數中的m為閾值，由圖7可見，當|ΔD|高于m被削弱，即λ小于1，這樣減弱疊加到高對比度處的高頻部分ΔD，避免增強過度的情況;當|ΔD|低于m時被增強，即λ大于1，這樣重點增強了低對比度的部分，彌補了傳統濾波器會導致細節模糊的不足．參數E控制了削弱增強的程度．

對于閾值m的選取，對一組圖片進行測試，當λ=1時，歸一化后的|ΔD|為0.032 5時的圖像會出現過沖效果，因此本文選取m值為0.032 5，函數曲線如圖8所示．通過實驗效果和曲線兩方面進行比較，E=-3時效果最為理想．從曲線中可以看出，當E=-4時λ·ΔD超過了0.032 5，而E=-2時高對比度部分增強過度．

圖7 自適應權重λ曲線圖

圖8 λ·|ΔD|曲線圖

圖9為不同λ疊加效果，由圖9(c)的圖片可見，|ΔD|＞0的部分是非平坦區域，包括邊緣和細節變化區域:ΔD＜0是邊緣內側部分，用ΔD-表示，ΔD＞0是邊緣外側部分，用ΔD+表示，當ΔD＜0時疊加后的邊緣內側會呈現光暈狀，ΔD＞0邊緣外側會呈現出陰影狀．由于光暈出現在邊緣內側，即相對的前景物體上，如果光暈范圍過大或者過強會影響前景物體深度信息的準確性．

如圖9(a)所示，方框內腳部邊緣的光暈過強.因此ΔD-部分要弱于ΔD+部分，本文改進了式(5)，對于不同ΔD使用不同的權重因子來增強，即

其中:Di為待處理的深度圖，Do為增強后的深度圖像，*Di為原圖像雙邊濾波的過程，λ+和λ-分別為ΔD+和ΔD-高頻部分的權重因子．

圖9的4幅圖展示了是不同權重下的深度圖像增強效果.其中9(a)、9(c)、9(d)是 λ+與 λ-相同時的增強效果，而9(b)是λ+與λ-不同時的增強效果，對比可見9(b)的效果較為理想.

圖9 不同λ疊加效果

3 實驗結果

采用本文所提出的方法對一組kinect采集的深度圖像［11］進行處理，如圖10所示.針對640×480分辨率的深度圖像，當濾波窗口大小為15×15，灰度權重的標準差σr為0.1，距離權重的標準差σs=5時的實驗效果比較理想．圖10中將本文的算法結果與修復缺失的雙邊濾波法結果進行比較，從放大的細節區域可以看到，本文算法對于細節部分給予了很好的增強．

圖10 實驗結果

由圖10中細節放大部分可見，寵物的毛絨邊緣增強效果比較理想;其中第5行圖片中，玩偶帽沿的邊緣部分以及鼻子細節部分增強效果也較明顯.

4 結論

1)提出了改進的非銳化掩模深度圖像增強算法，利用聯合雙邊濾波法對圖像的高頻信息進行提取，克服了傳統方法放大高頻噪聲的缺點，增強了深度圖像邊緣以及細節的部分.

2)采用了深度信息對應的彩色圖作為引導圖，修復了深度圖像的缺失，改善了深度圖像的質量.

3)在一組低質量的深度圖像上測試了該算法，圖像質量提升效果明顯.但是算法缺點是在修復較大缺失過程中比較耗時，濾波窗口的尺寸不滿足實時性的需求.由于該算法滿足并行計算的要求，因此下一步計劃在GPU上實現該算法，并嘗試采用引導濾波法［12］來提升效率.

［1］FOIX S，ALENYA G，TORRAS C.Lock-in time-off light(ToF)cameras:a survey［J］.Sensors Journal，IEEE，2011，11(9):1917-1926.

［2］KIM S Y，CHO W，KOSCHAN A，et al.Depth map enhancementusing adaptive steering kernel regression based on distance transform［J］.Lecture Notes in Computer Science，2011，6938:291-300.

［3］KIM S Y，CHO J H，KOSCHAN A，et al.Spatial and temporal enhancement of depth images captured by a time-of-light depth sensor［C］//20th International Conference on Pattern Recognition(ICPR).Istanbul:IEEE，2010:2358-2361.

［4］MAIMONE A，FUCHS H.Encumbrance-free telepresence system with real-time 3d capture and display using commodity depth cameras［C］//10th IEEE International Symposium in Mixed and Augmented Reality(ISMAR).Basel，Switzerland:IEEE，2011:137-146.

［5］MATYUNIN S，VATOLIN D，BERDNIKOV Y，et al.Temporal filtering for depth maps generated by kinect depth camera［C］//3DTV Conference:The True Vision-Capture，Transmission and Display of 3D Video(3DTV-CON).Antalya，Turkey:IEEE，2011:1-4.

［6］KIM S Y，LEEE K，HO Y S.Generation of roi enhanced depth maps using stereoscopic cameras and a depth camera［J］.IEEE Transactions on Broadcasting，2008，54:732-740.

［7］LEU J G.Edge sharpening through ramp width reduction［J］.Image and Vision Computing，2000，18(6/7):501-514.

［8］LUFT T， COLDITZ C，DEUSSEN O.Image enhancement by unsharp masking the depth buffer［J］.ACM Transactions on Graphics，2006，25(3):1206-1213.

［9］TOMASI C，MANDUCHI R.Bilateral filtering for gray and color images［C］//International Conference on Computer Vision(ICCV).Bombay:IEEE，1998:839.

［10］PETSCHNIGG G，SZELISKI R，AGRAWALA M.Digital photography with flash and no-flash image pairs［J］.ACM Transactions on Graphics，2004，23(3):664-672.

［11］LAI K， BO L， REN X， et al.A large-scale hierarchical multi-view RGB-Dobject dataset［C］//2011 IEEE International Conference on Robotics and Automation(ICRA).Shanghai:IEEE，2011:1817-1824.

［12］HE K，SUN J，TANG X.Guided image filtering［M］.Heidelberg，Berlin:Springer，2010:1-14.