基于高斯混合模型的Kinect深度圖像增強算法

李少敏, 張　倩, 王　沛, 陳佳佳, 黃繼風

(上海師范大學 信息與機電工程學院,上海 200234)

?

基于高斯混合模型的Kinect深度圖像增強算法

李少敏, 張倩, 王沛, 陳佳佳, 黃繼風

(上海師范大學 信息與機電工程學院,上海 200234)

摘要:深度圖像獲取是當前三維視頻領域重要的研究課題.微軟Kinect傳感器可以獲取到實時的稠密深度圖,但往往在深度圖中存在大量的空洞并且獲取的深度圖不穩定.針對這些問題,提出一種應用高斯混合模型實時修復的算法,首先要把彩色圖像和深度圖像對齊裁剪,然后通過高斯混合模型(GMM)把深度圖像的前景和背景分離,針對不同的區域做不同的處理,對背景空洞做基于背景的填充,前景空洞采用顏色匹配算法進行處理,最后對處理后的深度圖像做中值濾波處理去除噪聲.實驗證明,該算法在復雜前景物體和大面積深度缺失的情況下都可以有效填充深度圖像中的大、小空洞,保留了物體邊緣,尤其在遮擋物體的深度重建上,可以取得較好的重建效果.

關鍵詞:深度圖像; 高斯混合模型; 空洞填充; 濾波

隨著數字視頻的迅速發展和廣泛應用,用2D描述的真實世界已不能滿足人們日益增長的視覺需求.人們對視頻質量和內容的多樣性要求越來越高,3D視頻與人的視覺更加匹配,使人們在觀看時能獲得豐富的立體感和沉浸感[1-2].目前世界上已制造多種設備,用于采集有形世界的3D信息.三維立體電視(3DTV)和自由視點電視(FTV)是20世紀初迅速發展起來的3D視頻新技術,因其支持用戶端自由選擇觀看視點和體驗立體視覺感受而成為視頻編碼和通信領域中的一個研究熱點.

在3D視頻中,深度是核心關鍵信息.目前,深度圖可以通過深度相機和深度估計算法從多視點視頻數據獲取.其中,深度相機包括TOF照相機、立體相機、激光掃描儀、光結構相機等[3].這些傳感器都是利用光的波動性測量物體表面到相機的距離(即深度) .但是它們的深度獲取原理各不相同.TOF相機是根據物體表面反射光的移相來探測距離的,然而,深度相機是根據觀測到的圖景運用深度估計算法獲取深度信息,產生一幅差距圖.現階段應用于三維視頻系統的大多深度估計算法是基于能量最小化框架的全局方法.能量函數含有數據項和平滑項.數據項或匹配代價項通常從待匹配點之間的強度或彩色差得到.一般,鄰域像素的視差除對象邊界周圍外是平滑的,平滑項可由公式表示.大多數常用的能量最小算法是置信傳播[4-5]和圖割[6-7].其中對于深度圖估計,MPEG提出的深度估計參考軟件(View Synthesis reference software,VSRS) 采用立體匹配估計算法獲取深度數據[8].盡管這些方法可給出場景幾何的一種較精確的表示,它們在計算上是復雜的,難以實時地實現.總體說來,深度相機價格昂貴且深度檢測距離較小,不像傳統的圖像傳感器那樣普及,而效果好的立體匹配算法通常又復雜度高.

2010年微軟推出的X360游戲機中引入了Kinect作為體感外設,它主要有一個攝像機、紅外投影機、紅外攝像頭、一組麥克風以及馬達構成.該設備使用以色列PrimeSense公司的專利獲取深度,相對于基于飛行時間法的深度相機,Kinect有造價便宜、深度獲取分辨率高等優點.但是,由于Kinect深度測距原理所限,Kinect的深度圖像存在以下方面的問題:深度數據不穩定,深度圖像與彩色圖像存在偏差,圖像噪聲較大和空洞等問題,這些因素阻礙了Kinect在諸如人臉識別、3D重構等需要高質量的深度數據的領域上的應用.

針對上述的問題,有很多文獻也提出了相關的深度圖像修復的方法.文獻[9-10]中的深度圖像估計方案效果不錯,但是其過程復雜,不能進行實時處理;文獻[11]中的利用多分辨率各向異性擴散的方法填補深度圖像空度計算量很大,不利于實時應用;文獻[12]中的深度差值聯合去噪容易造成圖像邊緣魘像,文獻[13]中的方案在前景分割時不太精確,容易導致空洞填充不精確;文獻[14]提出的基于邊緣檢測的圖像增強算法通過對邊緣區域采用多級濾波,在非邊緣區域采用雙向多級濾波的方法實現圖像增強,但這種方法較為繁瑣;文獻[15]中的基于彩色紋理的填充效果較好,但由于采用幀差法估計背景導致算法不穩定,魯棒性不高,本文作者在此基礎上提出了一種改進的高斯混合模型填充方法[16-17],通過把深度圖像的前景與背景分離,在背景空洞上用背景圖對應的深度值填充,前景空洞填充只在前景圖上面尋找最佳匹配點,提高了空洞填充的精確度,從而有效改善了深度圖的質量.

1算法的設計思路及框架

Kinect輸出的深度圖中空洞往往是由Kinect 傳感器本身決定的:一類是處于前景物體周圍的空洞,這類空洞是由于Kinect 傳感器中的紅外投影機、紅外攝像機、彩色攝像機不同位置造成的遮擋問題,造成在遮擋區域存在深度缺失,遮擋形成的空洞一般出現在前景物體周圍的背景區域;另一類是在黑色或者透明物體等低反射物體處造成紅外投影機投射的紅外光無法返回,使得紅外攝像機無法捕捉這部分紅外光造成空洞,這部分空洞基本出現在前景區域[15].基于上述兩種原因,本文作者提出了基于高斯混合模型的深度圖優化方案把深度圖像的前景背景分離,不同部分的空洞做不同的處理.

本算法的框圖如圖1所示.

圖1　基于混合高斯模型的深度獲取算法框架

(1) 首先對Kinect深度圖像和紋理圖像對齊裁剪.

(2) 獲取背景紋理圖,并對其采用腐蝕膨脹,中值濾波的方法填充空洞.

(3) 高斯建模,分離深度圖像的背景和前景.

(4) 針對空洞出現的區域做相應的處理,背景空洞基于背景深度圖進行填充,前景空洞采用權值函數估計值進行填充.

(5) 對填充后的圖像進行中值濾波去噪.

2算法描述

2.1深度圖的預處理

由于Kinect輸出的深度圖可靠性差,存在較大范圍的深度值缺失,不僅在遮擋區域、無紋理區域以及深度不連續處得不到正確的結果,而且受到光學噪聲的影響,無法直接用于立體視頻顯示.通過分析由于深度圖在背景區域和對象邊緣處的變化,對不同原因所產生的深度值缺失分別處理.

首先先用Kinect采集一組背景圖像的深度圖和紋理圖,因為獲取到的背景深度圖中空洞較小,利用數學形態學方法實現小范圍空洞的填充,然后利用中值濾波進一步去除噪聲,得到較好質量的背景圖像.圖2是Kinect獲取到的原始背景深度圖和對應的紋理圖(紅色方框里是標出的空洞部分).圖3是處理后的背景圖.

圖2　原始背景深度圖和對應的紋理圖

圖3　處理后的背景深度圖

2.2基于GMM模型的前景和背景分離修復

在實際的視頻場景中,往往并存多個前景物體呈現多模態的特性,這時,需要用多個概率模型共同描述其變化.高斯混合模型可以利用多分布來分析較為多變的對象,是解決多模態問題的有效方法.該方法通過對每個圖像像素建立多分布的高斯混合模型表示像素的顏色變化,并進一步根據方差和權值區分背景或前景.整個高斯模型,主要是有方差和均值2個參數決定,因此需要對高斯模型中方差和均值2個參數實時更新.

基于GMM模型的前景和背景分離的基本流程:首先,在初始化的過程中定義的幾個高斯模型,并對高斯模型中的方差、均值、權值等參數等進行初始化,并求出將要用到的參數馬茲距離.其次,對于每一幀中的像素分別進行處理,使之與已有最佳模型相匹配.若匹配,則將其歸入該模型中,同時更新模型參數;若不匹配,則為該像素建立一個GMM,并初始化參數,代替原有模型中最不可靠的模型.最后選擇最佳背景模型,為背景目標提取做鋪墊.

假設每個像素點的特征用K個高斯模型來表示,K的取值通常為3~5.在新一幀圖像獲得后更新混合高斯模型,用當前圖像中的每個像素點與混合高斯模型匹配,如果成功則判定該點為背景點,否則為前景點.若使用該變量Xt來表示每個圖像像素的顏色值,則K個高斯函數的概率分布函數可表示為:

(1)

(2)

其中的n表示維數.

本方法首先把采集到的深度圖像高斯建模,因為深度圖像不穩定,在采集深度圖像的背景時設定為100幀,以求達到最佳的背景深度圖像,分離出背景圖和前景圖,針對原始深度圖像中的空洞點來判斷該點是否是前景中的空洞點,如果不屬于,就采用基于背景深度圖的填充,找到該空洞點對應的初始背景圖中的點,用該點的深度值進行填充;如果該空洞點出現在前景區域,選擇用紋理圖+距離函數+背景圖的權值函數來確定空洞處的深度值,其公式可以表示如下:

(3)

提取出的前景圖中(如圖4c所示)背景用黑色表示,前景用白色表示,圖4d是分離出的背景深度圖.圖4a、4b分別是原始深度圖和紋理圖,圖5是空洞填充后的深度圖像.

圖4　前景與背景分離修復過程

圖5　空洞填充后的深度圖

2.3中值濾波

進行背景填充后的深度圖像空洞已經較少,但是在處理過程中在圖像的邊緣也引入了一些噪聲,采用中值濾波濾除噪聲,得到最終的深度圖像.圖6是空洞填充后的深度圖像和濾波后的深度圖(圓框里是處理比較明顯的區域),圖7是圓框部分的放大圖.

圖6　處理前后的深度圖

圖7　圖6圓框放大圖

3實驗結果

本研究所提出的算法用C++語言實現,在普通PC機(intel i5 雙核cpu 4 G內存)進行了效果和試驗測試,圖8給出了兩組場景實驗的結果,其中,圖8(a)上、下兩幅圖是場景的紋理圖,圖8(b)的上、下兩幅圖是修復前的深度圖,圖8(c)上、下兩幅圖則是用本方法最終的效果圖,可以看出這兩個場景原始深度圖像的大空洞主要出現在前景物體以及邊界區域,該部分出現空洞的主要原因是黑色反光物體和遮擋區域的存在,經過本算法處理后,圖像上的空洞基本消除.實驗結果證明本算法可以在不模糊物體邊界的前提下很好地填充空洞.

4實驗總結

本研究提出了針對Kinect深度圖修復算法,該算法主要運用高斯混合模型將深度圖的前景和背景分離,針對空洞出現的區域做不同的處理,然后對最后填充后的圖像做中值濾波處理,實驗證明該算法有效地填充了深度圖中的空洞.在后續的工作中將進一步利用深度圖提高多視點繪制的質量.

參考文獻:

[1]Izadi S,Kim D,Hilliges O,et al.Kinect Fusion:Real-time 3D reconstruction and interaction using a moving depth camera [C]//Proceedings of the 24th annual ACM symposium on User interface software and technology.New York:ACM,2011.

[2]Maimone A,Fuchs H.Encumbrance-free telepresence system with Real-time 3D capture and display using commodity depth cameras [C]//Mixed and Augmented Reality (ISMAR) 2011 10th IEEE International Symposium on.Basel:IEEE,2011.

[3]Fu J J,Miao D,Yu W R,et al.Kinect-like depth data compression [J].IEEE Transactions on Multimedia,2013,15(6):1340-1352.

[4]Gupta R K,Cho S Y.Stereo correspondence using efficient hierarchical belief propagation [J].Neural Computing and Applications,2012,21(7):1585-1592.

[5]Zhang K,Gao Z.The technology of fast 3d reconstruction based on stereo vision [J].Key Manufacturing Automation Technology and Application,2014,579(580):654-658.

[6]Yu G H,Liu J M,Xie X S,et al.A global stereo matching algorithm based on adaptive support-weight and Graph cut [J].Applied Mechanics and Materials,2012,151:612-616.

[7]Huan M,Wang K Q,Zuo W M,et al.Template based stereo matching using graph-cut [C]//Instrumentation Measurement Computer Communication and Control 2011 First International Conference on.Beijing:IEEE,2011.

[8]Masauki T,Toshiaki F,Kazuyoshi S,et al.Multi-view depth map of Rena and Akko & Kayo:ISO/IEC JTC1/SC29/WG11,MPEG-m14888 [R].Shenzhen:MPEG,2007.

[9]Zhang D C,Zhou C G,Zhou Q,et al.Hole-filling algorithm based on contour [J].Journal of Jilin University:Science Edition,2011,49(1):82-86.

[10]Song X B,Zhong F,Wang Y K,et al .Estimation of Kinect depth confidence through self-training [J].The Visual Computer,2014,30(6-8):855-865.

[11]Krishna R V,Maziar L,Joohee K.Real-time refinement of kinect depth maps using multi-resolution anisotropic diffusion [J].Mobile Networks and Applications,2013,19(3):414-425.

[12]Milani S,Calvagno G.Joint denoising and interpolation of depth maps for MS Kinect sensors [C]//Acoustics Speech and Signal Processing (ICASSP) 2012 IEEE International Conference on.Kyoto:IEEE,2012.

[13]Zhao B,An P,Liu C,et al.Inpainting algorithm for Kinect depth map based on foreground segmentation [J].Journal of Electronics,2014,31(1):41-49.

[14]Zou X X,Zhong S,Ma Z Q.Kinect depth image denoising based on edge detection [J].Journal of Hunan university of technology,2013,27(6):36-40.

[15]Wang K,An P,Zhang Y,et al.Real-time depth extraction and multi-view rendering algorithm based on Kinect [J].Journal of Optoelectronics Laser,2012,23(10):1949-1956.

[16]Wang L J.Moving objects detection based on opencv and Gaussian mixture model [J].Electronic test,2009,9:86-90.

[17]Wang L S,Cheng Y H.An improved background subtraction using adaptive gaussian mixture models [J].Journal of northern Jiaotong Universiy,2003,27(6):22-25.

(責任編輯：包震宇)

Kinect sensor′s depth image enhancement based on gaussian mixture model

LI Shaomin, ZHANG Qian, WANG Pei, CHEN Jiajia, HUANG Jifeng

(College of Information,Mechanical and Electrical Engineering,Shanghai Normal University,Shanghai 200234,China)

Abstract:Depth image acquisition is currently a significant research topic in the field of three-dimensional video processing.The Microsoft′s Kinect sensor can generate a real-time dense depth map.However,there are usually numerous hole artifacts in the depth map which is instable and seriously affects its applications.To solve this problem,in this paper,we present a real-time refinement algorithm for kinect depth map based on Gaussian mixture model.First,we take color image and depth image to be aligned and cropped,then make the foreground and background image separated by GMM,fill the background holes using the background image,apply color matching algorithm for foreground holes.Finally,median filter is used to remove noise.Experimental results show that this method is very effective,for both complex foreground objects and objects with large areas of missing values.Big and small holes of depth image are filled, edges are retained,especially good results are achieved in the shade object reconstruction.

Key words:depth image; gaussian mixture model; hole filling; filter

中圖分類號:TP 391

文獻標志碼:A

文章編號:1000-5137(2016)01-0028-06

通信作者:張倩,中國上海市徐匯區桂林路100號,上海師范大學信息與機電工程學院,郵編:200234,E-mail:qianzhang@shnu.edu.cn

基金項目:上海市自然科學基金(15ZR1431500);上海市教委科研創新項目(14ZZ125);上海高校青年教師培養資助計劃;新型顯示技術及應用集成教育部重點實驗室開放課題(P200803)

收稿日期:2015-01-22