基于k－means的Kinect深度圖像空洞修復(fù)算法*

王 勇，蔣愛民，胥立波

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

基于k－means的Kinect深度圖像空洞修復(fù)算法*

王 勇，蔣愛民，胥立波

（河海大學(xué)物聯(lián)網(wǎng)工程學(xué)院，常州213022）

為解決Kinect感應(yīng)器所采集的深度圖像中存在大面積空洞的問題，提出了一種深度圖像空洞修復(fù)方法。該算法首先輸入同步獲取的彩色圖像和深度圖像；接著利用k－means算法對灰度化后的彩色圖像進(jìn)行聚類，聚類結(jié)果作為引導(dǎo)圖像；然后對每個深度圖像中的空洞點(diǎn)，搜索引導(dǎo)圖像中與之相匹配的非空洞像素點(diǎn)，將該點(diǎn)的深度值作為空洞點(diǎn)的深度值。實(shí)驗(yàn)結(jié)果表明，該算法利用聚類思想，將彩色圖像應(yīng)用到對深度圖像的空洞修復(fù)，有效完成了對深度圖像的空洞填充，修復(fù)后深度圖像的平滑度優(yōu)于聯(lián)合雙邊濾波方法，較好地提高了深度圖像的質(zhì)量。

Kinect感應(yīng)器；k－means算法；深度圖像；空洞修復(fù)；聚類；引導(dǎo)圖像；聯(lián)合雙邊濾波

1 引 言

自微軟的Kinect感應(yīng)器問世以來，它特殊的圖像采集功能極大地吸引了模式識別和計算機(jī)視覺領(lǐng)域研究人員的目光。Kinect感應(yīng)器可以同時拍攝場景彩色圖像及帶有深度信息的深度圖像。這為三維場景重建、人機(jī)互動、行為識別［1］和跟蹤［2］等問題的解決提供了有益幫助。但是通過Kinect感應(yīng)器獲取的深度圖像往往在物體邊緣和遮擋處出現(xiàn)空洞［3－4］，嚴(yán)重影響后續(xù)的圖像處理及信息提取。因此，在利用深度圖像之前，對深度圖像中的空洞進(jìn)行修復(fù)成為必不可少的一個環(huán)節(jié)。

近年來，針對Kinect感應(yīng)器深度圖像空洞修復(fù)問題，國內(nèi)外研究人員相繼提出了一些算法。文獻(xiàn)［5］采用了高斯濾波方法進(jìn)行空洞修復(fù)，該方法首先根據(jù)距離賦予像素點(diǎn)不同的權(quán)值，距離越近，權(quán)值越大；然后，把深度圖像中空洞鄰域的像素點(diǎn)進(jìn)行相應(yīng)的加權(quán)平均，計算結(jié)果作為空洞的填充值。該方法利用空洞周圍非空洞點(diǎn)的深度值來估計空洞的深度值，雖然可以對空洞進(jìn)行修復(fù)，但是只考慮了像素點(diǎn)的位置信息，從而易造成圖像中物體邊緣信息的丟失。而文獻(xiàn)［6］提出的雙邊濾波修復(fù)方法，則同時考慮了像素點(diǎn)的位置信息和像素信息，權(quán)值與像素點(diǎn)的距離和像素差值呈反比，距離越近、像素差值越小，則權(quán)值越大。相比高斯濾波，該方法可以減少物體邊緣信息的丟失。但是完全根據(jù)深度圖像計算出濾波的權(quán)值，對于較大面積的空洞則無能為力。文獻(xiàn)［7］在雙邊濾波法的基礎(chǔ)上，通過彩色圖像計算得到像素差值的權(quán)值，提出了聯(lián)合雙邊濾波的空洞修復(fù)方法。該方法能夠修復(fù)圖像中的大部分空洞，但是對于邊界周圍存在的較大空洞，不能完全修復(fù)，而且表示空洞的權(quán)值不是最佳的，修復(fù)后圖像中物體邊緣不清晰。文獻(xiàn)［8］采用的是背景估計方法，這種方法需要利用多幅圖像進(jìn)行背景提取，對單幅圖像則束手無策。基于k－means的修復(fù)算法，采用聚類思想來尋找符合空洞處深度信息的像素點(diǎn)，取得了很好的修復(fù)效果。

2 k－means算法

針對深度圖像存在空洞，提出了基于k－means算法的空洞修復(fù)方法。雖然k－means算法已有超過50年的歷史，但是它仍然是目前應(yīng)用最為廣泛的聚類算法之一［9］。k－means算法采用數(shù)據(jù)之間的歐式距離作為相似性的評價指標(biāo)。xi和xj為兩個數(shù)據(jù)樣本，d（xi，xj）為它們之間的歐式距離。距離公式如下：

k－means算法認(rèn)為簇是由距離靠近的對象組成的，通過計算數(shù)據(jù)樣本的歐式距離，最終把對象分為k個相互獨(dú)立且緊湊的簇。該算法首先從給定的數(shù)據(jù)中任意選取k個數(shù)據(jù)作為初始聚類中心；對于其它剩下的數(shù)據(jù)，根據(jù)它們與初始聚類中心的相似度，將它們分配給與其相似度最大的簇；待所有數(shù)據(jù)分配結(jié)束后，重新計算所有簇的聚類中心，即該簇中所有數(shù)據(jù)的均值，以上過程不斷重復(fù)，直至收斂。算法的具體步驟如下：

輸入：聚類個數(shù)k和聚類對象的數(shù)據(jù)。

輸出：滿足平方誤差最小的k個簇。

（1）隨機(jī)從數(shù)據(jù)｛xn｝Nn＝1任選k個對象作為簇的初始聚類中心c1，．．．，ck；

（2）對數(shù)據(jù)中的每一個對象xi，計算其與每一個聚類中心的歐式距離，然后按照最小距離準(zhǔn)則，將xi劃分到對應(yīng)的簇，保存xi所屬簇的標(biāo)號：

（3）重新計算每個簇的聚類中心：

（4）計算標(biāo)準(zhǔn)測度函數(shù)，當(dāng)函數(shù)收斂時，停止迭代，否則回到步驟2。標(biāo)準(zhǔn)測度函數(shù)用平方誤差準(zhǔn)則表示，如公式（4）所示，其中V表示所有數(shù)據(jù)平方誤差之和，cj為給定的簇。

3 基于k－means算法的深度圖像空洞修復(fù)

在空洞修復(fù)過程中，最關(guān)鍵的是在深度圖像中找到可以最佳匹配空洞信息的像素點(diǎn)。相比基于圖像濾波的空洞修復(fù)方法，聚類算法在尋找匹配像素點(diǎn)時更具優(yōu)勢。為了修復(fù)深度圖像中的空洞，提出的基于k－means算法首先將采集的深度圖像進(jìn)行二值化，生成空洞掩膜；此后，利用k－means算法將灰度化后的彩色圖像進(jìn)行聚類，并輸出聚類圖像；然后，通過聚類圖像在深度圖像中找出匹配空洞信息的像素點(diǎn)，用該點(diǎn)的深度值作為空洞處的深度值。修復(fù)算法的具體流程如下：

（1）輸入深度圖像X和彩色圖像Y，聚類個數(shù)k。

（2）對深度圖像進(jìn)行二值化處理，生成掩膜mask，根據(jù)掩膜mask確定深度圖像中空洞點(diǎn)的個數(shù)t。

（3）用k－means算法對灰度化后的彩色圖像Y進(jìn)行聚類，得到聚類圖像I。

（4）利用得到的聚類圖像I，篩選出與空洞點(diǎn)同類且掩膜mask值為255的像素點(diǎn)。

（5）計算被篩選出的像素點(diǎn)與空洞之間的歐氏距離d，按照距離最近原則，將距離最近像素點(diǎn)的深度值作為空洞的填充值。

（6）待t個空洞填充結(jié)束，輸出修復(fù)后的深度圖像X’。

4 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法性能，采用berkeley 3－d object dataset提供的測試圖像，圖像的大小均為640× 480。實(shí)驗(yàn)平臺是matlab 7．11．0（R2010b），kmeans算法的類別數(shù)設(shè)為k＝15。

圖1給出了三組深度圖像空洞修復(fù)結(jié)果圖示，并將k－means方法與聯(lián)合雙邊濾波法進(jìn)行了對比。

圖1 k－means方法與聯(lián)合雙邊濾波法結(jié)果對比Fig．1 Comparison of results between k－means and joint bilateral filter

從實(shí)驗(yàn)結(jié)果可以看出，對于存在大面積空洞的深度圖像。雖然聯(lián)合雙邊濾波法可以修復(fù)深度圖像中的大部分空洞，但是圖像邊界的空洞卻無法完全修復(fù)。此外，修復(fù)后的深度圖像中物體邊緣不清晰。與之對比，可以看到提出的基于k－means算法的深度圖像空洞修復(fù)方法不僅可以將深度圖像中的空洞完全修復(fù)，而且能夠較好地保持圖像中物體的邊緣，得到物體邊緣清晰的深度圖像。

5 結(jié)束語

針對Kinect感應(yīng)器所采集的深度圖像中存在大面積空洞的問題，提出了基于k－means算法的修復(fù)方法。該方法利用k－means算法，結(jié)合彩色圖像和深度圖像的相關(guān)性，有效解決了深度圖像中存在的大面積空洞問題。實(shí)驗(yàn)結(jié)果表明，與聯(lián)合雙邊濾波法相比，基于k－means的修復(fù)方法取得了較好的修復(fù)效果，填補(bǔ)了深度圖像中所有空洞的同時，也校正了物體的邊緣信息，使深度圖像的整體質(zhì)量得到較大提升。

［1］ LIU Shaoguo，WANG Ying，WANG Haibo，et al．Kinect depth inpainting via graph laplacian with tv21 regularization［C］．／／Asian Conference on Pattern Recognition．Naha：IEEE，2013，251－255．

［2］ 楊曉敏，張奇志，周亞麗．基于Kinect深度信息的人體運(yùn)動跟蹤算法［J］．北京信息科技大學(xué)學(xué)報：自然科學(xué)版，2013，28（1）：33－37．YANG Xiaomin，ZHANG Qizhi，ZHOU Yali．Human motiontracingalgorithmbasedonKinectdepth information［J］．Journal Beijing Information Science and Technology University，2013，28（1）：33－37．

［3］ FU Jingjing，SANG Shiqi，LU Yan，et al．Kinect－like depth denoising［C］．／／IEEE International Symposium on Circuits and Systems．Seoul：IEEE，2012，512－515．

［4］ YANG Naeun，KIM Yonggon，PARK Raehong．Depth hole filling using the depth distribution of neighboring regions of depth holes in the kinect sensor［C］．／／IEEE International Conferenceon Signal Processing，Communication and Computing（ICSPCC）．Hong Kong：IEEE，2012，658－661．

［5］ VIJAYANAGAR K R，LOGHMAN M，JOOHEE K．Refinement of depth maps generated by low－cost depth sensors［C］．／／International SoC Design Conference．Jeju Island．IEEE，2012，355－358．

［6］ CAMPLAN M，SALGADO L．Efficient spatio－temporal hole filling strategy for kinect depth maps［C］．／／Threedimensional Image Processing and Applications．Burlingame：Proceedings of SPIE，2012，82900E．

［7］ HU Jinhui，HU Ruimin，WANG Zhongyuan，et al．Color image guided locality regularized representation for kinect depth holes filling［C］．／／Visual Communications and Image Processing（VCIP）．Kuching：IEEE，2013，1－6．

［8］ 王奎，安平，張兆楊，等．Kinect深度圖像快速修復(fù)算法［J］．上海大學(xué)學(xué)報：自然科學(xué)版，2012；18（5）：454－458．WANG Kui，AN Ping，ZHANG Zhaoyang，et al．Fast inpainting algorithm for Kinect depth map［J］．Jourmal of Shanghai University，2012；18（5）：454－458．

［9］ ANIL K J．Data clustering：50 years beyond k－means［C］．／／International Conference on Pattern Recognition．Tampa：Pattern Recognition Letters，2010，651－666．

Kinect Depth Hole Filling Algorithm Based on K－means

Wang Yong，Jiang Aimin，Xu Libo
（College of Internet of Things Engineering，Hohai University，Changzhou 213022，China）

In order to solve large dark holes in Kinect depth image，this paper proposes a depth hole－filling method．It firstly inputs synchronous color image and depth image，and uses k－means algorithm to cluster image pixels in gray image．The result is used as a guiding image．Then，for each hole of the depth image，it finds a non－h(huán)ole pixel matched in the guiding image and uses its depth value to fill the corresponding hole．The experimental results show that the proposed algorithm，using clustering concept，applies the color image to the hole repairing of depth image and effectively fills dark holes in the depth image，and as the smoothness of repaired depth image is better than that of joint bilateral filtering method，the quality of depth image improves a lot．

Kinect sensor；K－means algorithm；Depth image；Hole repair；The clustering；Guiding image；Joint bilateral filter

10．3969／j．issn．1002－2279．2015．04．011

TP391

A

1002－2279（2015）04－0042－03

國家自然科學(xué)基金（61101158，61471157）；江蘇省自然科學(xué)基金（BK20141159）

王勇（1990－），男，江蘇省宿遷市人，碩士研究生，主研方向：數(shù)字圖像處理。

2014－12－26