一種基于Kinect深度圖的人像自動(dòng)摳像算法

李華，張超，權(quán)巍，韓成，翟宏宇，劉婷婷

（長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022）

一種基于Kinect深度圖的人像自動(dòng)摳像算法

李華，張超，權(quán)巍，韓成，翟宏宇，劉婷婷

（長(zhǎng)春理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022）

針對(duì)傳統(tǒng)摳像算法需要人工交互，無(wú)法實(shí)現(xiàn)自動(dòng)摳像，且邊緣區(qū)域前、背景顏色相近時(shí)摳像效果不佳等問(wèn)題，研究一種基于Kinect深度圖的人像自動(dòng)摳像算法。利用Kinect人物識(shí)別的優(yōu)勢(shì)，研究根據(jù)采集的彩色圖像對(duì)于人形區(qū)域深度圖像進(jìn)行預(yù)處理，生成三元圖；對(duì)人形區(qū)域中孔縫進(jìn)行處理；采用改進(jìn)的魯棒摳像算法實(shí)現(xiàn)無(wú)需人工輸入的自動(dòng)摳像。實(shí)驗(yàn)結(jié)果表明，摳像算法可實(shí)現(xiàn)自然背景中人像的自動(dòng)摳像，對(duì)于前景和背景邊緣顏色相近的原始圖像，可得到良好的摳像效果。

人像摳像；自然摳像；深度圖；Kinect；三元圖

數(shù)字摳像技術(shù)是計(jì)算機(jī)視覺(jué)、數(shù)字圖像處理領(lǐng)域的一個(gè)重要的研究?jī)?nèi)容，是影視和廣告制作中的關(guān)鍵技術(shù)。數(shù)字摳像是一個(gè)欠約束問(wèn)題，要想從自然圖像中摳取出感興趣的前景區(qū)域，則必須首先獲取用戶輸入信息。即通過(guò)三分圖或涂鴉等方式，獲取到感興趣的前景區(qū)域、背景區(qū)域的提示信息，進(jìn)而基于摳像算法實(shí)現(xiàn)感興趣區(qū)域的摳取。這種基于用戶交互的自然圖像摳像方式，限制了它在視頻自動(dòng)摳像中的應(yīng)用。

通常在拍攝的圖像或視頻中，往往感興趣區(qū)域和背景區(qū)域處于不同的空間位置，因此，根據(jù)它們不同的深度信息，可分割出前景和背景區(qū)域。TOF深度相機(jī)、Kinect體感設(shè)備等深度傳感器迅速發(fā)展，并且廣泛使用，因此，一些學(xué)者們開(kāi)始研究基于深度信息的自動(dòng)摳像算法。

文獻(xiàn)［1］基于顏色、深度和運(yùn)動(dòng)信息構(gòu)建一個(gè)帶權(quán)圖，并使用歸一化切割方法實(shí)現(xiàn)摳像，但是無(wú)法有效地將前景背景染色區(qū)域正確地?fù)赋觥Ｎ墨I(xiàn)［2-4］利用TOF深度相機(jī)獲取的深度信息，實(shí)現(xiàn)區(qū)域分割，并對(duì)另一相機(jī)所拍攝的圖像進(jìn)行摳像。其中，文獻(xiàn)［2］和文獻(xiàn)［3］無(wú)法獲取精確的邊界，摳像結(jié)果不理想。文獻(xiàn)［4］對(duì)區(qū)域分割結(jié)果進(jìn)行優(yōu)化，利用Soft Scissors算法實(shí)現(xiàn)摳像，得到了較好的摳像效果。但是，這類基于TOF深度相機(jī)和彩色相機(jī)的摳像方法并不是完全自動(dòng)的摳像，在對(duì)TOF深度相機(jī)所拍攝的深度圖像進(jìn)行區(qū)域劃分時(shí)，仍需要人為指定一個(gè)平面（即深度閾值）來(lái)區(qū)分前景和背景；并且對(duì)于深度和彩色相機(jī)這兩個(gè)傳感器需要首先進(jìn)行校準(zhǔn)和統(tǒng)一。文獻(xiàn)［5］和文獻(xiàn)［6］研究了基于Kinect深度信息采用共享樣本點(diǎn)方法實(shí)現(xiàn)自動(dòng)摳像，不需要人工交互，實(shí)現(xiàn)了自動(dòng)的感興趣區(qū)域檢測(cè)。但是在邊緣區(qū)域前景與背景顏色相近或染色的情況下，很難得到較好的摳像效果。

本文利用Kinect人物識(shí)別的優(yōu)勢(shì)，研究基于深度圖的人像自動(dòng)摳像算法。用Kinect同時(shí)采集人形區(qū)域深度圖像和彩色圖像；利用彩色圖像作為相關(guān)圖像，采用聯(lián)合雙邊濾波對(duì)人形區(qū)域深度圖像進(jìn)行預(yù)處理，使得深度圖邊緣信息更為準(zhǔn)確；生成三元圖；對(duì)人形區(qū)域的孔縫進(jìn)行處理；由于前景顏色和背景顏色區(qū)別較小但邊界部分十分清晰時(shí)的魯棒算法表現(xiàn)良好，采用改進(jìn)的魯棒摳像算法進(jìn)行摳像實(shí)現(xiàn)自動(dòng)的人物摳像，實(shí)驗(yàn)表明得到良好的摳像效果。

1 基于Kinect自動(dòng)生成三元圖方法

1.1 深度傳感器的選取

與傳統(tǒng)的TOF深度相機(jī)等相比，雖然Kinect采集的深度圖像常常含有較多的噪聲，但是作為一款體感捕捉設(shè)備，Kinect有著較強(qiáng)的人物識(shí)別能力。當(dāng)基于Kinect深度圖進(jìn)行摳像時(shí)，若目標(biāo)是非人物的其它物體時(shí)，仍需要人工或者在后期對(duì)圖像的前景和背景進(jìn)行區(qū)分；而若目標(biāo)為人物時(shí)，Kinect可以將識(shí)別出來(lái)的人形區(qū)域深度數(shù)據(jù)直接輸出，不需要人為區(qū)分前景和背景，并且對(duì)于在同一深度區(qū)域的腳和地面的區(qū)分也較為準(zhǔn)確。TOF深度相機(jī)雖然分辨率很高，但是卻不能自動(dòng)地識(shí)別出人物，只能單純的給出各個(gè)像素的深度信息。因此，若基于TOF深度圖進(jìn)行摳像，仍需要根據(jù)特定的源圖像深度值人為的確定一個(gè)平面將前景和背景分開(kāi)；當(dāng)前景和背景的深度值相近時(shí)這種人工方式往往無(wú)法準(zhǔn)確地將兩者區(qū)分；還有一個(gè)問(wèn)題是彩色圖像和深度圖像來(lái)自不同的相機(jī)視角，摳像時(shí)還需進(jìn)行視角轉(zhuǎn)換。另外，TOF相機(jī)的價(jià)格高昂。綜上，本文選擇Kinect作為深度傳感器捕獲深度圖。

1.2 Kinect深度圖像的預(yù)處理

Kinect中可以獲取到三種圖像，包括：彩色圖像、包含場(chǎng)景中全部像素點(diǎn)深度信息的深度圖像以及人形區(qū)域的深度圖像，如圖1所示。Kinect拍攝的深度圖像邊緣比較粗糙，預(yù)處理階段的目的是有效分割出人體的邊緣區(qū)域，因此必須保留邊緣信息。雙邊濾波器是一種加權(quán)的非線性高斯濾波，有兩個(gè)核函數(shù)，同時(shí)關(guān)注了像素在空間和幅度兩個(gè)域上的相似性，具有平滑保邊的優(yōu)點(diǎn)。聯(lián)合雙邊濾波器是一種雙邊濾波器改進(jìn)算法，使用另外一張與目標(biāo)圖像相關(guān)性很高的圖像作為參考，從而可以更加精準(zhǔn)的得到需要的圖像，減少圖像邊緣模糊的同時(shí)也可以得到相關(guān)圖像的特性。

圖1 Kinect獲得的圖像

本文采用聯(lián)合雙邊濾波器［7］的思想，使用Kinect同時(shí)采集彩色圖像和深度圖像，利用彩色圖像作為相關(guān)圖像，對(duì)深度圖像進(jìn)行濾波處理。根據(jù)其完整的邊緣信息，對(duì)深度圖像進(jìn)行校正補(bǔ)全。

圖像濾波公式如下：

其中，I(x,y)是處理后的具有清晰邊緣的人形區(qū)域深度圖像，Io(i,j)是需要濾波處理的Kinect采集的人形區(qū)域深度圖像，Ω是像素的鄰域，w(i,j)是濾波器在點(diǎn)(i,j)處的權(quán)，wp是一個(gè)標(biāo)準(zhǔn)量，其可由下述公式得到：

對(duì)于高斯濾波來(lái)說(shuō)，權(quán)值w(i,j)和像素的空間距離線性相關(guān)，距離越近相關(guān)性越大，權(quán)值也越大。定義一個(gè)權(quán)值wk(i,j)，計(jì)算公式如下：

除了距離的影響因素外，像素值的變化對(duì)于邊緣的濾波至關(guān)重要，因此，定義一個(gè)權(quán)值wg(i,j)衡量像素值變化。Kinect同時(shí)采集的彩色圖像記為Ic(i,j)，則wg(i,j)的計(jì)算公式如下：

因此，圖像濾波公式中的權(quán)值w(i,j)可由下面公式得到：

對(duì)于圖1（c）人形區(qū)域深度圖像按上述方法濾波處理后的人形區(qū)域圖像如圖2所示：

圖2 濾波后的人形區(qū)域深度圖像

1.3 三元圖的生成

本文基于濾波處理后的三元圖生成主要基于文獻(xiàn)［4］的思想，具體方法為：將濾波后的具有光滑邊緣的人形區(qū)域深度圖像I(x,y)進(jìn)行二值化，得到人形區(qū)域二值化圖像Ib(x,y)；分別對(duì)其進(jìn)行膨脹和腐蝕操作，得到圖像，則人形邊緣區(qū)域圖像IMar(x,y)可由下式得到：

根據(jù)IMar(x,y)中未知的像素邊緣區(qū)域信息，標(biāo)示人形區(qū)域深度圖像I(x,y)，即可得到三元圖ITr(x,y)，如下圖所示，其中的人物邊緣的灰色寬帶區(qū)域?yàn)閾赶竦奈粗袼攸c(diǎn)，其余區(qū)域?yàn)橐阎袼攸c(diǎn)。

由于Kinect對(duì)人物圖像邊緣部分的識(shí)別不準(zhǔn)確和圖像濾波的局限性，當(dāng)人物身體存在縫隙時(shí)，并不能被檢測(cè)出來(lái)，因此，出現(xiàn)肉眼可觀察到的已知背景像素點(diǎn)被作為前景像素點(diǎn)的情況，導(dǎo)致?lián)赶裥Ч患选１疚膶⒉噬珗D像作為引導(dǎo)圖像，對(duì)前景輪廓外的背景信息采樣，并在前景中搜索，對(duì)于檢測(cè)出的孔洞和縫隙作為已知背景區(qū)域點(diǎn)處理，有效的解決了這一問(wèn)題。

圖3 生成的三元圖

2 基于改進(jìn)的魯棒摳像算法

數(shù)字摳像問(wèn)題就是將前景圖像中感興趣的目標(biāo)對(duì)象，提取出來(lái)與其它背景圖像合成［8］，合成公式如下所示：

其中，對(duì)于合成圖像中的某個(gè)像素點(diǎn)，F(xiàn)、B、C分別為前景圖像、背景圖像、合成圖像的顏色值，α稱為不透明度，α的范圍［0，1］［9］。

魯棒摳像算法則是基于采樣傳播相結(jié)合的摳像算法［10］，該算法通過(guò)在抽樣階段選擇具有高信任度的樣本來(lái)估算出一個(gè)初始的α值，然后通過(guò)隨機(jī)漫步最優(yōu)化來(lái)完成摳像，實(shí)現(xiàn)了準(zhǔn)確性和魯棒性的良好均衡。本文基于文獻(xiàn)［11］中的魯棒摳像思想，基于三元圖ITr(x,y)計(jì)算α值完成摳像，步驟如下：

（1）根據(jù)三元圖的已知前景和背景區(qū)域減少未知像素個(gè)數(shù)，降低α估計(jì)的計(jì)算量；

（2）計(jì)算前景-背景的可靠度，選擇可信賴的樣本，進(jìn)行α初始值和信心值估計(jì)；

（3）建立基于圖拉普拉斯的二次優(yōu)化目標(biāo)函數(shù)確定α最終值。

3 實(shí)驗(yàn)結(jié)果與分析

由于基于Kinect的摳像并不存在標(biāo)準(zhǔn)測(cè)試集，為了驗(yàn)證算法的可行性和效果，本文采用基于Kinect2.0同時(shí)采集的深度、彩色圖像算法進(jìn)行實(shí)驗(yàn)。如圖4所示，圖（a）為Kinect采集的原始彩色圖像，圖像中待摳取的人像邊緣顏色與背景色極為相近，對(duì)于這種圖像，傳統(tǒng)摳像方法需要復(fù)雜的人工交互，且很難得到好的效果。應(yīng)用本文算法，基于Kinect同時(shí)采集的深度圖像，無(wú)需任何人工輸入可實(shí)現(xiàn)自動(dòng)摳像；人形邊緣區(qū)域圖像IMar(x,y)如圖（b）所示，基于魯棒摳像算法生成的透明度α圖（c）所示，摳像結(jié)果如圖（d）所示，對(duì)于同為黑色的衣服和背景區(qū)域仍得到良好的邊緣。

圖4 濾波前后的人形區(qū)域深度圖像

圖5 基于彩色圖像的孔縫處理前后的摳像結(jié)果比較

圖5展示了原始圖像中包含孔縫時(shí)，經(jīng)過(guò)孔縫處理前后的摳像結(jié)果對(duì)比。圖中紅色矩形區(qū)域中，人手和身體間存在孔縫，未經(jīng)孔縫處理的透明度α圖和摳像結(jié)果，分別如圖（a）、圖（b）所示；經(jīng)過(guò)孔縫處理后的透明度α圖和摳像結(jié)果，分別如圖（c）、圖（d）所示，驗(yàn)證了本文孔縫處理的有效性。

4 結(jié)論

數(shù)字摳像技術(shù)是圖像處理的重要研究領(lǐng)域，在影視制作等領(lǐng)域應(yīng)用廣泛。本文針對(duì)數(shù)字摳像中人像摳像的問(wèn)題，研究一種基于深度圖的人像自動(dòng)摳像算法。實(shí)現(xiàn)了完全不需人工交互的自動(dòng)摳像。對(duì)于前、背景邊緣區(qū)域顏色相近的情況，實(shí)驗(yàn)表明：依然能得到良好的效果。在未來(lái)的研究中，將繼續(xù)研究生成三元圖算法，降低計(jì)算量、縮短算法的計(jì)算時(shí)間，進(jìn)一步完善摳像算法，提高摳像精度。

［1］Cigla C，Alatan A A.Segmentation in multi-view video via color，depth and motion matting［C］.Proceedings of the 15th IEEE International Conference on Image Processing，Québec，Canada：IEEE，2008.

［2］Zhu J，Liao M，Yang R，et al.Joint depth and alpha matteoptimizationviafusionofstereoand time-of-flight sensor［C］.Proceedings of IEEE Conference on Computer Vision&Pattern Recognition，Miami，USA：IEEE，2009.

［3］Kim S Y，Cho JH A Koschan，Abidi M A.Spatial and temporal enhancement of depth images captured by a time-of-flight depth sensor［C］.Proceedings of 20th IEEE International Conference on Pattern Recognition，Istanbul，Turkey：IEEE，2010.

［4］Cinque L，Dondi P，Lombardi L.Automatic selectionofregionsofinterestinavideobya depth-color image matting［C］.Proceedings of InternationalWorkshoponVideoandImageGround Truth in Computer Vision Applications，St.Petersburg，USA：ACM，2013.

［5］夏倩，許勇，夏玉勤.基于Kinect的自動(dòng)視頻摳像算法［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2015，36（5）：1299-1303.

［6］張約倫.基于Kinect的摳像算法研究［D］，西安：電子科技大學(xué)，2012.

［7］李知菲，陳源.基于聯(lián)合雙邊濾波器的Kinect深度圖像濾波算法［J］.計(jì)算機(jī)應(yīng)用，2014，34（8）：2231-2234+ 2242.

［8］權(quán)巍，葛薇，張玉強(qiáng)，等.一種基于采樣的藍(lán)屏摳像方法［J］.長(zhǎng)春理工大學(xué)學(xué)報(bào)：自然科學(xué)版，2015，38（3）：97-101.

［9］Wang J，Cohen M F.Image and video matting：a survey［J］.FoundationsandTrendsinComputer Graphics and Vision，2007，3（2）：97-175.

［10］Optimized Color Sampling for Robust Matting［C］. Proceedings of IEEE Conference on Computer VisionandPatternRecognition，Minneapolis，USA：IEEE，2007.

［11］Cho J H，Ziegler R，Gross M，et al.Improving alpha matte with depth information［J］.Ieice Electronics Express，1996，6223（1）：1602-1607.

An Automatic Matting Algorithms of Human Figure Based on Kinect Depth Image

LI Hua，ZHANG Chao，QUAN Wei，HAN Cheng，ZHAI Hongyu，LIU Tingting
（School of Computer Science and Technology，Changchun University of Science and Technology，Changchun 130022）

Traditional matting algorithms requires manual interaction in order to separate the foreground and the background.And when color of pixels in the edge from both foreground and background are similar，poor matting effects are obtained.According to these problems，an automatic matting algorithm of human figure based on Kinect depth image is proposed in this paper.Kinect has an advantage of recognizing human figure.Taking both the color image and the human figure depth image as inputs which are shot by Kinect at the same time，the depth image is preprocessed by joint bilateral filter.Tri-map is produced automatically，and tiny holes and gaps are considered.An improved robust matting algorithm without manual input is conducted.The experimental results show that human figure can be matted automatically，and a good effect can be obtained even if pixels at the edge have same colors.

human figure matting；natural image matting；depth image；Kinect；tri-map

TP391.41

A

1672-9870（2016）06-0081-04

2016-09-05

國(guó)家科技支撐計(jì)劃重大項(xiàng)目課題（2012BAF12B22）；吉林省重點(diǎn)科技攻關(guān)項(xiàng)目（20140204050GX）；吉林省自然科學(xué)基金項(xiàng)目（20150101015JC）

李華（1977-），女，博士研究生，副教授，E-mail：lihua@cust.edu.cn