Kinect深度圖像快速修復算法

王 奎， 安 平，2， 張兆楊，2， 程 浩， 李賀建

(1．上海大學通信與信息工程學院，上海200072;2．新型顯示技術及應用集成教育部重點實驗室，上海200072)

Kinect深度圖像快速修復算法

王 奎1， 安 平1，2， 張兆楊1，2， 程 浩1， 李賀建1

(1．上海大學通信與信息工程學院，上海200072;2．新型顯示技術及應用集成教育部重點實驗室，上海200072)

深度提取是基于“紋理+深度”自由立體視頻系統的關鍵技術，而立體視頻實際應用系統需要高效快速的深度圖提?。岢鲆环N針對Kinect提取深度圖的快速修復算法．首先，對Kinect提取的彩色紋理圖和深度圖進行對齊裁剪，并采用背景填充算法對裁剪后的深度圖進行初步修復;然后，對初步修復后的深度圖進行基于顏色匹配的快速修復，得到質量較好的可用深度圖．實驗結果表明，本算法能有效修復原始深度圖中由于遮擋而引起的空洞，獲取的深度圖整體平滑度好、邊緣清晰;在普通PC機上達到25～30幀/s的處理幀率，實現了深度圖的實時提?。?/p>

深度圖修復;實時獲取;顏色匹配;Kinect;立體視頻

Abstract:Depth extraction is a key step in 3D video system based on texture plus depth．Real application systems require high efficiency and fast depth extraction．This paper presents a fast inpainting algorithm for Kinect depth map．This paper clips and aligns the origin color and depth images captured by Kinect，and partially fill holes in the clipped depth image using a background based method．Then this paper uses a fast inpainting algorithm based on color match to fill the remaining holes in the depth image to obtain a better depth image．Experimental results show that the proposed algorithm can efficiently repair errors in the original depth map such as holes caused by occlusion．Finally we obtain a smooth depth map with clear edges．The processing speed can reach 25～30 frame/s by using an ordinary desktop computer to realize real-time depth map extraction．

Key words:depth map inpainting;real-time capture;color match;Kinect;stereo video

隨著立體顯示技術和視頻處理技術的發展，3D視頻技術成為近年來的研究熱點［1］．3D視頻技術研究首先要解決3D信息的表示問題，即采用何種方式來描述3D場景．目前主要有兩種方案:一種是采用多視方案，用攝像機陣列拍攝3D場景，在立體顯示器上顯示出來;另一種是“紋理+深度”的方案［1］，用彩色紋理圖描述3D場景的紋理信息，用深度圖描述3D場景的深度信息，在終端采用基于深度圖的繪制(depth image based rendering，DIBR)技術繪制虛擬視點，將虛擬視點在立體顯示器上顯示出來．第一種方案由于拍攝的視點數較多，數據的編碼、存儲以及傳輸成為技術瓶頸．第二種方案由于有了場景的深度信息，在拍攝過程中只需要捕獲很少的視點，因此數據量相對第一種方案少了很多，便于數據的編碼存儲和傳輸;并且在顯示端可以利用DIBR技術進行一定范圍內的任意視點繪制［2］，從而產生更好的視覺效果．基于“紋理+深度”3D信息描述的多視點+深度(multi-video+depth，MVD)系統以其傳輸帶寬小、易于虛擬視點繪制等優點而被認為是一種有應用前途的3D視頻方案［2］，已成為當前的研究熱點．

但是基于“紋理+深度”的立體視頻系統中，3D場景深度信息的獲取是十分困難的．目前對深度信息的獲取主要有兩種方法［3］:①采用立體匹配算法被動獲取深度信息，一般利用雙目相機拍攝3D場景信息，用立體匹配算法提取場景中物體的視差，再根據相機參數計算出深度信息．這種方案中的算法實現復雜度高，很難做到深度實時提取，同時這種方法受輸入場景以及遮擋問題影響非常大;②采用測距設備主動獲取場景的深度信息，即使用深度相機直接獲取深度信息．深度相機目前分為兩類，一類是TOF(time of flight)相機，另一類是Kinect，它們都是通過發射和接收反射光來計算深度信息以實現深度信息的實時提?。沁@種深度提取設備價格昂貴，且獲取的深度圖分辨率低，給實際應用帶來困難．

TOF相機的優點是其發射和接收的傳感器較密集，輸出深度圖質量較好．但深度圖中的空洞或者深度錯誤會對虛擬視點繪制質量帶來較大的影響，這些錯誤通常發生在遮擋區域，即深度圖不連續的地方．文獻［4］提出了使用高斯濾波來平滑深度圖，隨后一些文獻也給出了對高斯濾波的改進算法，如文獻［5］提出了一種非對稱高斯濾波算法．這些算法都只利用了空域信息(即單幀圖像局部區域)，對深度圖的修復效果有限．文獻［6］針對TOF相機深度圖空域跳動的問題，提出了一種利用時域和空域信息來減少其跳變的方法．文獻［7］則提出了一種結合立體相機紋理數據的深度圖分辨率提升算法，通過結合深度圖對應的紋理圖來提升深度圖的質量．然而，TOF相機存在獲取深度圖分辨率低、價格昂貴等缺點．

Kinect是微軟研發的一種可以獲取場景深度的設備，主要應用在人機交互(如Xbox游戲機)、3D場景重建、機器視覺等領域［8］．Kinect可以同時采集場景紋理和深度，相對于TOF深度提取設備，Kinect價格便宜，可以提取較高分辨率的深度圖．但是Kinect提取的深度圖質量較差，在遮擋區域、光滑物體表面存在較大的深度信息缺失空洞，必須進行填充修復處理．

1 算法框架

在三維場景中，由于背景被前景遮擋或者前景的個別部分距Kinect過近使該部分不在紅外光場之內等因素，部分Kinect發射的紅外光無法反射回來而產生背景或者前景空洞，顯然，當前景距相機比較近時產生的空洞問題更嚴重．這些空洞可以采用圖像修復算法進行修復，但是對于大空洞，如果單純依靠空域圖像修復，不僅修復非常耗時，而且修復效果也不好．由于Kinect出現的空洞大部分是場景中的背景部分，因此可以利用場景中的背景對空洞進行初步修復，然后再結合彩色紋理信息對局部小空洞進行二次修復．

基于上述考慮，本研究的算法的主要步驟如下:

(1)對Kinect輸出的深度圖和紋理圖進行對齊裁剪;

(2)利用幀差法結合原始深度圖估計背景，并對背景深度圖采用結合紋理顏色信息的方法進行修復;

(3)用背景填充算法對原始深度圖進行初步修復;

(4)結合紋理顏色信息對深度圖進行二次修復;

(5)對修復的空洞區域采用中值濾波去除噪聲．

研究顯示，侵犯行為與員工的情緒狀態有密切關系，許多負性情緒會導致侵犯行為，這些負性情緒包括：憤怒、苦惱、悲傷、緊張等。Hepworth[11]等(2004)研究顯示，在員工的憤怒情緒狀態和工作場所侵犯行為之間具有較強的一致性，憤怒情緒狀態是員工的侵犯行為的主要原因之一。對于為什么憤怒情緒會導致員工的侵犯行為，研究者認為原因在于個體情緒對其理智和行為具有極大的影響力量，研究也顯示憤怒情緒會使員工處于失控狀態，變得缺乏自知力，也喪失自控力，因而在實施侵犯行為時變得無所顧忌。[12]

2 算法描述

2．1 紋理圖和深度圖的對齊裁剪

Kinect最大可輸出640×480分辨率的深度圖和紋理圖．如前所述，Kinect提取的深度圖質量較差，在遮擋區域、光滑物體表面存在較大的深度信息缺失空洞;而且Kinect采集的原始深度圖與紋理圖雖然已作了匹配和對齊處理，但并不是完全對齊的，紋理圖相對于深度圖在大小上存在差異(見圖1(a)和圖1(b))．因此，本研究首先通過實驗對采集的深度圖和紋理圖進行裁剪處理，裁剪結果如圖1(c)和圖1(d)所示．

圖1 對齊裁剪處理結果Fig．1 Result after align and cut

2．2 背景紋理圖和深度圖的估計

將采集的第一幀深度圖和紋理圖作為初始的背景深度圖和紋理圖．對于深度圖背景的更新，可以直接使用深度圖幀差法進行背景更新檢測，也可以用紋理圖幀差法進行背景更新檢測．由于Kinect深度圖的穩定性差、噪聲大，而幀差法［10］本身對噪聲非常敏感，因此本研究對紋理圖采用幀差法進行背景更新檢測．

幀差法以視頻序列中相鄰兩幀之間基于像素的幀差來區分圖像中的運動部分和背景部分，即

式中，Dk(x，y)表示第 k幀的幀差圖，fk(x，y)和f(k－1)(x，y)分別表示第 k和第 k－1 幀中坐標(x，y)處的像素值．

幀差圖中的噪聲和運動部分有明顯的差別，可以根據下式來濾除噪聲的干擾:

式中，Cthreshold是針對噪聲濾除設定的閾值(多次實驗得出的經驗值為45)，dk(x，y)=1 表示(x，y)處背景需要更新，dk(x，y)=0表示(x，y)處背景不需要更新．

用幀差法得到變化區域(dk(x，y)=1)后，比較當前幀深度與背景深度，如果當前幀深度值小于背景深度值，就以當前幀深度值更新背景深度值，否則不進行更新．在更新深度值時，同時更新對應位置的紋理圖，這樣就完成了深度圖和紋理圖背景的實時更新．

經背景估計的初始幀會出現小范圍的空洞，此時采用下文所述的基于顏色匹配算法進行修復．估計的背景紋理圖和深度圖結果如圖2所示．

圖2 更新后的背景圖Fig．2 Background image after update

2．3 基于背景填充的深度圖初步修復

得到背景紋理圖和背景深度圖后，下面對深度圖進行初步修復，利用背景深度值去填充當前幀中處于背景位置的空洞．首先，利用當前幀的彩色紋理圖與背景紋理圖作幀差，檢測出背景與前景;然后，使用背景深度圖填充當前幀深度圖中處于背景區域的空洞．

背景深度填充的表達式為

式中，dk(x，y)表示 Kinect提取的第 k幀深度圖，bk(x，y)表示第 k幀估計的背景深度，uk(x，y)表示根據幀差法檢測出背景更新區域和非更新區域，uk(x，y)=1 表示前景，否則表示背景．hk(x，y)=1表示第k幀深度圖的空洞區域，當且僅當(x，y)處深度為空洞，并且該處是背景區域時，才進行深度背景填充．

圖3給出了初步修復的結果，圖3(a)是經過裁剪對齊后的原始深度圖，圖3(b)是經過初步修復后的深度圖，可見，原始深度圖中的大部分空洞已被修復．

圖3 初步修復結果Fig．3 Result after inpainting initially

2．4 基于紋理顏色匹配的深度圖二次修復及消噪處理

經過背景深度填充算法修復后的深度圖空洞已經大大減小，但是仍然存在前景空洞(如圖3(b)所示)．針對這種空洞，本研究采用基于搜索提前終止的顏色匹配搜索算法進行修復．

基于顏色匹配的搜索算法根據空洞處紋理圖像的顏色，在紋理圖像中找出最佳顏色匹配點，然后將該處的深度值作為空洞處的深度值．為提高處理速度，本算法沒有采用基于塊的匹配，而是直接采用基于像素的顏色匹配，并且設定匹配閾值為6(即當前待修復深度處對應的彩色像素與非空洞區域的顏色像素進行比較匹配)，以控制搜索長度．這樣雖然匹配點不一定是最佳的，但實驗表明，這樣做可大幅提高空洞修復速度，同時兼顧了修復質量．

基于像素的快速修復算法在修復區域會出現修復噪聲，本研究采用中值濾波器對修復后的圖像進行中值濾波以去除噪聲．但僅對修復區域作中值濾波處理，對于非修復區域不進行中值濾波處理，這樣一方面提高了中值濾波速度，同時也最大限度地保持了原始正確的深度值．

圖4給出了二次修復后的深度圖以及進一步經過中值濾波后的深度圖．

圖4 二次修復及消噪處理結果Fig．4 Result after the secondary inpainting and denoising

3 實驗結果

本研究對所提出的深度修復算法用C語言實現，并在普通PC機(Intel E4800 3．0 GHz雙核CPU，2 G內存)上進行了效果和修復速度測試，圖5給出了幾組經過裁剪后的場景的初始紋理圖(見圖5(a))和初始深度圖(見圖5(b))以及最終修復的深度圖(見圖5(c))，由圖5(c)可見，空洞幾乎已全部修復．

圖5中場景從上到下分別記為場景1、場景2、場景3、場景4．這4個場景的處理耗時分別為24，32，26，34 ms，可見已達到 25 ～30 幀/s的實時修復要求．當前景物體距離Kinect相對較遠時，可以實現30幀/s左右的修復速度;當前景物體距離Kinect較近時，Kinect輸出的原始深度圖存在非常大的空洞，可以實現25幀/s左右的修復速度．

圖5 多個場景的修復結果Fig．5 Inpainted result of a number of different scenarios

為了進一步檢驗本算法的修復效果，下面對修復后的深度圖以及對應的紋理圖進行虛擬視點繪制．繪制出左邊8路虛擬視點和右邊8路虛擬視點(相鄰視點間的視差為1 cm)，并進行8路虛擬視點交織，在裸眼立體顯示器上觀看，可以觀看到較好的立體效果．

圖6給出了利用修復后的深度圖和紋理圖繪制出來的左邊4路和右邊4路虛擬視點．圖7給出了左邊8路虛擬視點合成的立體視．

圖7 虛擬視點交織得到的立體視Fig．7 Stereoscopic view by interlace

4 結束語

本研究提出一種針對Kinect提取的深度圖的快速修復算法，該算法主要利用了背景估計以及紋理圖的顏色等信息對Kinect輸出的帶有空洞的深度圖進行修復．首先，根據Kinect輸出深度圖中空洞的特點，利用背景估計信息對深度圖中背景空洞進行初步修復;然后，結合紋理圖對深度圖進行二次修復．實驗結果表明，本算法有效修復了原始深度圖的空洞等問題，同時在普通PC機上實現了25～30幀/s的修復速度．在以后的工作中，將致力于繼續提高深度圖的修復質量并進行多視繪制．

［1］ 張兆楊，安平，張之江，等．二維和三維視頻處理及立體顯示技術［M］．北京:科學出版社，2010:131-133．

［2］ DARIBO I，SAITO H．A novel inpainting-based layered depth video for 3DTV ［J］．IEEE Transactions on Broadcasting，2011:533-541．

［3］ UM G M，KIM T，BANG G．Multi-view 3D video acquisition using hybrid camera with beem spliter［C］∥3DTV Conference: The True Vision-Capture，Transmission and Display of 3D Video(3DTV-CON)．2011:1-4．

［4］ DARIBO I，TILLIER C，PESQUET-POPESCU B．Distance dependent depth flltering in 3D warping for 3DTV［C］∥Multimedia Signal Processing．2007:312-315．

［5］ CHEN W Y，CHANG Y L，LIN S F，et al．Efficient depth image based rendering with edge dependent depth fllter and interpolation［C］∥ IEEE International Conference on Multimedia and Expo．2005:1314-1317．

［6］ KIM S Y，CHO J H，KOSCHAN A，et al．Spatial and temporal enhancement of depth images captured by a time-of-flight depth sensor［C］∥ Pattern Recognition(ICPR)．2010:2358-2361．

［7］ ZHU JJ，WANG L，YANG R G，et al．Fusion of time-offlight depth and stereo for high accuracy depth maps［C］∥ Computer Vision and Pattern Recognition(CVPR2008)．2008:1-8．

［8］ WILSON A． Using a depth camera as a touch sensor［C］∥ ITS’10 ACM International Conference on Interactive Tabletops and Surfaces．2010:69-72．

［9］ MATYUNIN S，VATOLIN D，BERDNIKOV Y．Temporal filtering for depth maps generated by kinect depth camera［C］∥ The True Vision-Capture，Transmission and Display of 3D Video(3DTV-CON)．2001:1-4．

［10］ JI X P，WEI Z Q，FENG Y W．Effective vehicle detection technique for traffic surveillance systems［J］．Visual Communication ＆ Image Representation，2005，17(3):647-658．

Fast Inpainting Algorithm for Kinect Depth Map

WANG Kui1， AN Ping1，2， ZHANG Zhao-yang1，2， CHENG Hao1， LI He-jian1
(1．School of Communication and Information Engineering，Shanghai University，Shanghai 200072，China;2．Key Laboratory of Advanced Display and System Applications，Ministry of Education，Shanghai 200072，China)

TP 391．41

A

1007-2861(2012)05-0454-05

10．3969/j．issn．1007-2861．2012．05．003

2011-11-18

國家自然科學基金資助項目(60832003，61172096，61171084);上海市科委重點資助項目(10510500500);上海市教委重點資助項目(09ZZ90)

安 平(1968～)，女，教授，博士生導師，博士，研究方向為數字視頻處理及立體視覺．E-mail:anping@shu．edu．cn