基于深度圖像的人體關(guān)節(jié)點(diǎn)定位方法

呂　潔，劉亞洲，韓慶龍，杜　晶

（1.海軍航空工程學(xué)院基礎(chǔ)部，山東煙臺(tái)264001；2.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，南京210094）

基于深度圖像的人體關(guān)節(jié)點(diǎn)定位方法

呂潔1，劉亞洲2，韓慶龍1，杜晶1

（1.海軍航空工程學(xué)院基礎(chǔ)部，山東煙臺(tái)264001；2.南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，南京210094）

提出了一個(gè)基于深度圖像的人體關(guān)節(jié)點(diǎn)定位的方法：首先將圖像中的人體區(qū)域分割出來，然后利用隨機(jī)森林分類器對(duì)逐個(gè)像素點(diǎn)進(jìn)行分類，得到身體的各個(gè)部件并尋找關(guān)節(jié)點(diǎn)的位置。通過實(shí)驗(yàn)發(fā)現(xiàn)，本方法準(zhǔn)確性較高并具有一定實(shí)時(shí)性。分類的準(zhǔn)確率為68%，相較Kinect技術(shù)（40%）達(dá)到了較高的分類水平。預(yù)測(cè)人體關(guān)節(jié)點(diǎn)位置的平均時(shí)間為每幀150ms，符合實(shí)用性要求。

深度圖像；隨機(jī)森林；深度梯度特征；關(guān)節(jié)位置定位

人體關(guān)節(jié)點(diǎn)定位是計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)研究問題，其通過實(shí)時(shí)地估計(jì)預(yù)測(cè)人體的運(yùn)動(dòng)姿態(tài)來達(dá)到監(jiān)控、娛樂等目的。隨著計(jì)算機(jī)軟硬件技術(shù)的發(fā)展，在游戲、監(jiān)控等領(lǐng)域都得到了更為廣泛的應(yīng)用。但基于標(biāo)記或者彩色圖像的傳統(tǒng)方法往往價(jià)格昂貴、效果欠佳。

2010年，微軟利用一種新型圖像格式——深度圖像對(duì)人體進(jìn)行關(guān)節(jié)點(diǎn)定位并得到了良好的預(yù)測(cè)效果。在深度圖像中，每一個(gè)像素的值不再表示顏色信息，而是表示場(chǎng)景中的這一點(diǎn)與攝像機(jī)像平面之間的距離，見圖1。由于距離信息不受光照等影響，因而相對(duì)于彩色圖像，深度圖像更加有利于建立人體模型并能夠得到更為準(zhǔn)確的關(guān)節(jié)定位結(jié)果。

圖1　彩色圖像和深度圖像Fig.1 Colorful images and depth images

本文提出一個(gè)良好的基于深度圖像的人體關(guān)節(jié)點(diǎn)定位方法，可以對(duì)輸入的人體深度圖像進(jìn)行高質(zhì)量的關(guān)節(jié)定位。本文首先簡(jiǎn)述了人體關(guān)節(jié)點(diǎn)定位技術(shù)的發(fā)展；然后，比較了典型的深度圖像的體姿態(tài)分析算法；研究對(duì)深度圖像進(jìn)行前景分割：利用RANSAC算法剔除天花板和地板，再根據(jù)目標(biāo)對(duì)象表面的深度信息將人物區(qū)域從場(chǎng)景圖像中提取出來；運(yùn)用隨機(jī)森林分類器對(duì)人體區(qū)域中的各個(gè)像素點(diǎn)進(jìn)行逐點(diǎn)分類，采用的是帶偏移角度信息的深度梯度特征；利用Mean-shift定位各關(guān)節(jié)點(diǎn)的位置。在此基礎(chǔ)上，利用運(yùn)動(dòng)約束的先驗(yàn)知識(shí)優(yōu)化關(guān)節(jié)點(diǎn)的預(yù)測(cè)結(jié)果；進(jìn)行定量和定性的實(shí)驗(yàn)，對(duì)結(jié)果做出分析，得出相關(guān)結(jié)論，并與Kinect算法進(jìn)行對(duì)比分析；最后，對(duì)于本文方法的性能進(jìn)行總結(jié)并對(duì)本領(lǐng)域的發(fā)展前景做出展望。

1　相關(guān)方法

自從深度攝像機(jī)誕生以來，計(jì)算機(jī)視覺領(lǐng)域的很多學(xué)者都對(duì)此持有高度的關(guān)注，并研究了許多利用深度圖像進(jìn)行人體關(guān)節(jié)定位的方法。

劉國(guó)翌等使用深度圖像的輪廓和邊界特征建立目標(biāo)函數(shù)，這種組合特征大大提高了關(guān)節(jié)點(diǎn)定位的準(zhǔn)確性［1］。Daniel等不事先對(duì)圖像進(jìn)行前景分割，而是充分利用深度圖像中的輪廓信息，在復(fù)雜的非靜態(tài)環(huán)境中得到了良好的定位預(yù)測(cè)效果［2］。Youding等設(shè)計(jì)頭—頸部—軀干模板通過深度圖像的概率推導(dǎo)方法，探測(cè)身體部件位置［3］。Zhu等首先利用身體約束粗略地標(biāo)記出深度圖像中的各個(gè)主要部件，再在部件的大致位置上進(jìn)行ICP搜索來定位關(guān)節(jié)點(diǎn)的具體位置［4］。這與在整個(gè)圖像上進(jìn)行搜索的方法相比，不僅僅提高了速度，還可防止陷入算法的局部最小值。Evangelos等利用監(jiān)督學(xué)習(xí)方法訓(xùn)練出Jointboost分類器，然后通過分類器學(xué)習(xí)得到的模型來標(biāo)記出不同人、物的各個(gè)部件［5］。算法雖然不需要進(jìn)行人工調(diào)整，但是需要大量的訓(xùn)練標(biāo)記數(shù)據(jù)。Christian使用Dijkstra算法尋找人體的各個(gè)角點(diǎn)，然后利用局部形狀描述對(duì)這些點(diǎn)進(jìn)行識(shí)別，同時(shí)估計(jì)出它們的角度，得出關(guān)于身體各部件的位置信息［6］。Jamie等利用深度圖像中的局域梯度特征，學(xué)習(xí)得到隨機(jī)森林分類器。由于使用了身體部件這個(gè)中介表示，把難度較大的姿態(tài)估計(jì)問題轉(zhuǎn)換成了一個(gè)簡(jiǎn)單的像素分類問題［7］。在此基礎(chǔ)上，林鵬等在數(shù)據(jù)選擇、特征提取及訓(xùn)練方法3個(gè)方面進(jìn)行簡(jiǎn)化，得到了準(zhǔn)確度更高的人體部件分類器［8］，見圖2。

圖2　流程圖Fig.2 Flow chart

2　前景分割

深度圖像由于具有距離信息，使得其相對(duì)應(yīng)于彩色圖像更容易地把背景去除。最直接的做法是設(shè)置一個(gè)深度閾值將人體大致地從圖像中分割出來，但此方法對(duì)閾值的要求較高且分割準(zhǔn)確度較低。

2.1RANSAC算法分割天花板和地板

在深度圖像中，人體表面的深度信息是連續(xù)的，只要定位出部分的人體區(qū)域，就可以根據(jù)深度信息將整個(gè)人體從圖像中分割出來［9］。但是在場(chǎng)景中由于人站立在地板上，所以人體與地板之間的深度信息存在一定的連續(xù)。為了避免分割人體時(shí)，將地板也分割進(jìn)來，首先須剔除掉場(chǎng)景中的地板和天花板。

本文使用RANSAC算法［10-11］迭代地計(jì)算出不同的模型來擬合全體數(shù)據(jù)中的“局內(nèi)點(diǎn)”（適應(yīng)模型的點(diǎn)）。全體數(shù)據(jù)中的一部分“異常的局外點(diǎn)”（不適應(yīng)模型的點(diǎn)）將不會(huì)對(duì)模型的建立和優(yōu)化產(chǎn)生影響。針對(duì)需要搜索的天花板和地板平面模型，每次從圖像中隨機(jī)抽取3個(gè)像素點(diǎn)用來構(gòu)成平面模型，并搜索全體數(shù)據(jù)中適合此模型的局內(nèi)點(diǎn)。在迭代次數(shù)內(nèi)找到當(dāng)前最優(yōu)的模型，再利用其所有局內(nèi)點(diǎn)的協(xié)方差矩陣的奇異值分解來得到重新擬合的優(yōu)化模型。得到了如圖3 a）中的不同平面，在圖中利用不同顏色加以區(qū)分顯示。最后，結(jié)合天花板和地板平面的方向來判斷天花板和地板模型如圖3 b）所示。

圖3　分割的場(chǎng)景圖像Fig.3 Segmented images according to scenes

2.2利用深度信息分割前景對(duì)象

基于人體表面光滑的特性，可很好地利用深度信息對(duì)圖像（圖4 a））進(jìn)行分割提取人體區(qū)域，此即本系統(tǒng)分割前景的關(guān)鍵依據(jù)。首先，通過圖像幀間的差值處理，得到發(fā)生運(yùn)動(dòng)變化的人體部分，見圖4 b）、c），結(jié)合去掉地板后的場(chǎng)景圖像，得到完整的人體區(qū)域。具體方法為：對(duì)每個(gè)深度值在一定范圍內(nèi)（人體一般處于在333～5 500）且屬于視頻中發(fā)生變化的像素點(diǎn)，將其鄰域深度差較小的像素點(diǎn)標(biāo)記為人體，見圖4 d）。

圖4　前景分割Fig.4 Foreground segmentation

2.3性能評(píng)價(jià)

與未進(jìn)行人體前景分割的方法相比，本文的關(guān)節(jié)點(diǎn)定位方法更具有魯棒性。首先，分割方法大大降低了場(chǎng)景中的無關(guān)對(duì)象對(duì)人體關(guān)節(jié)估計(jì)的影響，如圖5所示?？梢钥闯鑫催M(jìn)行前景分割的圖像中有大量背景像素點(diǎn)被錯(cuò)誤地分類到人體部件中，從而直接影響關(guān)節(jié)點(diǎn)位置定位的準(zhǔn)確性。其次，系統(tǒng)由于不再需要計(jì)算背景像素的特征值，使得本方法的處理速度大大提高。

圖5　進(jìn)行前景分割和未進(jìn)行前景分割的比較Fig.5 Comparison of images with and without foreground segmentation

3　關(guān)節(jié)點(diǎn)分類

3.1深度圖像特征提取

典型的深度圖像特征提取方式是：將某像素點(diǎn)周圍鄰域的2個(gè)點(diǎn)之間的深度差作為該點(diǎn)的特征值［12］。該方式融合了2D圖像中的點(diǎn)特征和梯度特征，并結(jié)合深度信息，使得像素點(diǎn)周圍局域空間的3D信息被很好地描繪出來，如式（1）。

式（1）中：dI（x）表示圖像I中像素x的深度值；u和v表示一對(duì)向量。

這種深度差信息雖然只是傳遞了局部很小的信號(hào)量，但在隨機(jī)森林中可以發(fā)揮很大的作用。

上述的局部深度梯度特征具有空間平移不變性，這種性質(zhì)使得人體表面上的像素點(diǎn)在發(fā)生平移時(shí)，也可以保證深度差的大小不變［13］。事實(shí)上，人體的運(yùn)動(dòng)除了平移還有旋轉(zhuǎn)運(yùn)動(dòng)，上述特征在旋轉(zhuǎn)時(shí)將無法繼續(xù)保持深度差不變性，而是根據(jù)旋轉(zhuǎn)角度不同發(fā)生變化，如圖6 a）所示向量得到一個(gè)接近為0的特征值，而圖6 b）則返回一個(gè)較大的值。這就在一定程度上影響了局域深度差特征對(duì)于分類像素點(diǎn)的準(zhǔn)確度。所以，考慮在特征提取中引入偏移的角度信息來修正向量，使得人體的各個(gè)部件無論如何旋轉(zhuǎn)，都能夠較為準(zhǔn)確地得到分類。

圖6　深度梯度特征Fig.6 Depth gradient feature

如圖7可以發(fā)現(xiàn)，對(duì)于身體任何一點(diǎn)其沿人體表面到人物形心（實(shí)心圓）的測(cè)地距離是不變的。利用每個(gè)像素點(diǎn)的這條最短路徑，可以得到其相對(duì)形心的角度，即偏移角度如圖7 b）中箭頭所示，將這個(gè)偏移角度加入像素的特征提取后，得到的特征信息就將具有旋轉(zhuǎn)不變性。由于深度圖像包含各個(gè)像素點(diǎn)的距離信息，可以輕松獲得路徑和角度信息。

圖7　等高線Fig.7 Contour line

得到的偏移角度作為特征信息的一部分與隨機(jī)向量共同參與計(jì)算生成新的像素點(diǎn)為：

式（2）、（3）中：angleOri表示為當(dāng)前像素點(diǎn)startPixel的角度值；angleNew、r分別表示隨機(jī)生成的一組半徑和角度值，用于生成新的像素點(diǎn)。

3.2像素點(diǎn)分類

對(duì)于本文的分類方法，特征向量由半徑、角度和閾值組成，共2 000組。這些特征向量是隨機(jī)生成的，其中，半徑和角度用來生成2個(gè)新的像素點(diǎn)，閾值用來對(duì)當(dāng)前樣本進(jìn)行判斷。表1中：P表示已知類別的像素點(diǎn)用于訓(xùn)練分類器，f表示特征向量。訓(xùn)練決策樹時(shí)，依次對(duì)每一組特征向量 f和所有的已知類別的像素點(diǎn)P計(jì)算特征提取的結(jié)果，如果得到的特征值大于特征向量中的閾值，則記1，反之，則記0。

表1　特征提取Tab.1 Feature extraction

對(duì)于每個(gè)特征向量，所有像素點(diǎn)會(huì)分別得到0、1兩種分類，進(jìn)而得到不同特征向量的信息增益，作為分類器節(jié)點(diǎn)的特征，并把當(dāng)前的樣本集劃分到不同的分支走向中，這樣不斷分裂直至滿足一定條件結(jié)束。此時(shí)，決策樹中的葉子節(jié)點(diǎn)包含了不同部件類別的像素點(diǎn)集，根據(jù)比例得到關(guān)于各類別的概率分布情況。

本文所用的隨機(jī)森林簡(jiǎn)單來說是一個(gè)包含多個(gè)決策樹的分類器，如圖8所示，其輸出的數(shù)據(jù)也是由多個(gè)決策樹共同決定的［14-15］。隨機(jī)森林分類器［16-17］不會(huì)像單獨(dú)的樹分類器那樣對(duì)同樣的樣本犯同樣的錯(cuò)誤，所以準(zhǔn)確度在一定程度上會(huì)得到提高。

圖8　隨機(jī)森林分類器Fig.8 Random forest classifier

4　關(guān)節(jié)點(diǎn)位置定位

通過隨機(jī)森林分類器已經(jīng)得到圖像中人物區(qū)域的屬于不同部件類別的各個(gè)像素點(diǎn)。在本方法中，將人體分成20個(gè)部件，分別是臀部、脊椎、肩膀中心、頭、左肩、左肘、左手腕、左手、右肩、右肘、右手腕、右手、左臀、左膝、左踝、左腳、右臀、右膝、右踝、右腳。

4.1Mean-shift方法定位關(guān)節(jié)點(diǎn)

本文所使用的是Mean-shift［18-20］方法從同一類別的像素點(diǎn)中，找到最能夠代表本類別位置的點(diǎn)，將其作為該部件的關(guān)節(jié)點(diǎn)。

對(duì)于某一部件來說，該類別下的所有像素點(diǎn)首先找到各自偏移后的位置，即迭代偏移n次之后達(dá)到的目的位置。這一過程像素點(diǎn)不斷向其周圍鄰域內(nèi)密度更大的地方移動(dòng)，迭代移動(dòng)直至循環(huán)結(jié)束搜索到平均質(zhì)心點(diǎn)。這些質(zhì)心比原始像素點(diǎn)更能夠表示關(guān)節(jié)位置，因?yàn)樗窍蚋怕拭芏却蟮姆较蛞苿?dòng)后的結(jié)果。最終選取密度最大的質(zhì)心點(diǎn)作為關(guān)節(jié)點(diǎn)的位置。

4.2關(guān)節(jié)點(diǎn)預(yù)測(cè)的優(yōu)化機(jī)制

由于像素點(diǎn)分類的結(jié)果不完全準(zhǔn)確，有時(shí)會(huì)導(dǎo)致關(guān)節(jié)點(diǎn)定位偏差。通過對(duì)結(jié)果的分析，關(guān)節(jié)點(diǎn)的定位常發(fā)生2類錯(cuò)誤：①人體骨架比例失調(diào)，如圖9 b）中腿部比例失衡，膝關(guān)節(jié)位置與腳過于接近；②屬于本部件的像素點(diǎn)被過多地分類到其他容易相混淆的部件中時(shí)，關(guān)節(jié)點(diǎn)位置的預(yù)測(cè)將產(chǎn)生較大偏差，如圖9 d）中左手的預(yù)測(cè)位置發(fā)生較大偏移。

圖9　關(guān)節(jié)點(diǎn)定位中出現(xiàn)的問題Fig.9 Erros in positioning joints

導(dǎo)致這2類錯(cuò)誤發(fā)生的原因主要是像素點(diǎn)分類時(shí)的誤差，見圖10。表中數(shù)字表示的是行類部件被分類到列類部件的像素點(diǎn)個(gè)數(shù)占行類部件像素點(diǎn)總數(shù)的百分比。紅色代表錯(cuò)誤分類導(dǎo)致比例失調(diào)的數(shù)據(jù)；藍(lán)色代表錯(cuò)誤分類導(dǎo)致相似部件混淆的數(shù)據(jù)?？梢钥闯鲱^、肩膀、脊椎以及臀部錯(cuò)誤率較低，與其他部件相混淆的概率較小。而左、右手和左、右腳的錯(cuò)誤分類的概率較大。其中，對(duì)于手關(guān)節(jié)，主要的分類錯(cuò)誤包括把手關(guān)節(jié)位置的像素點(diǎn)錯(cuò)誤地劃分到了相鄰的手肘部件中以及左右手混淆錯(cuò)誤。對(duì)于腳關(guān)節(jié)，主要的分類錯(cuò)誤包括為左右腳的混淆。

圖10　各部件分類混淆結(jié)果Fig.10 Mistakes in classifications of parts

為了使得關(guān)節(jié)點(diǎn)的定位更加準(zhǔn)確，本文引入目標(biāo)函數(shù)

式（4）中：pˉi表示待優(yōu)化的關(guān)節(jié)點(diǎn)位置；pij表示該類別部件的所有像素點(diǎn)。

希望通過最小化 f（x）來找到關(guān)節(jié)點(diǎn)使其距離同類的其他點(diǎn)的距離和最小。

根據(jù)上面2類定位中的常見錯(cuò)誤，本文在人體骨架中提取如下2類先驗(yàn)知識(shí)來對(duì)目標(biāo)函數(shù)進(jìn)行約束。

（1）等比例約束，人體的各個(gè)部件長(zhǎng)度遵循一定的長(zhǎng)度比例，人體骨架示意圖見圖11。

圖11人體骨架示意圖Fig.11 Schematic diagram of human skeleton

圖11中，固定頭到肩膀的距離為l0，肩膀中心到左、右肩的距離是l1，肩膀到手肘的距離為l2，手肘到手臂的距離為l3，肩膀到脊椎的距離為l4，脊椎到臀部的距離為l5，臀部到左、右臀的距離為l6，臀部到膝蓋的距離為l7，膝蓋到腳的距離為l8。同時(shí)，對(duì)于不同身高的人，為其身體部件賦予一個(gè)固定的縮放系數(shù)α。這樣，各關(guān)節(jié)間的比例約束可以表示為：

（2）等距離約束，人體骨架結(jié)構(gòu)是具有對(duì)稱性的，左右手臂和腿部的長(zhǎng)度是分別相等的。依照此關(guān)系，得到的約束為：

此時(shí)，構(gòu)造新的輔助函數(shù)為：

由于F（x）是二次的凸函數(shù)，所以當(dāng)利用F（x）對(duì)pi分別求偏導(dǎo)時(shí)，會(huì)沿著函數(shù)梯度方向不斷的迭代移動(dòng)，這樣逐漸搜索到全局的最小值，即關(guān)節(jié)點(diǎn)的最優(yōu)位置。從圖12可以看出，優(yōu)化后的關(guān)節(jié)點(diǎn)位在整個(gè)人體骨架中更加和諧。

圖12　優(yōu)化后的關(guān)節(jié)點(diǎn)位置Fig.12 Ppositions of joints after optimization

5　實(shí)驗(yàn)與分析

5.1系統(tǒng)框架

本文的人體關(guān)節(jié)點(diǎn)定位方法利用輸入的深度圖像來預(yù)測(cè)場(chǎng)景中的人體骨架，實(shí)時(shí)地提供一個(gè)較為準(zhǔn)確的人體關(guān)節(jié)的3D位置結(jié)果。具體操作步驟為：首先，利用Kinect技術(shù)得到的人體姿態(tài)骨架位置對(duì)數(shù)據(jù)進(jìn)行自動(dòng)標(biāo)記得到訓(xùn)練樣本，從而訓(xùn)練出隨機(jī)森林分類器并對(duì)其使用測(cè)試圖像進(jìn)行評(píng)估。當(dāng)對(duì)一幅新的深度圖像進(jìn)行定位識(shí)別時(shí)，首先對(duì)其進(jìn)行前景分割，利用深度圖像所具有空間距離信息可以較為準(zhǔn)確地將場(chǎng)景中的人體區(qū)域分割出來。對(duì)人體區(qū)域的所有像素點(diǎn)進(jìn)行分類，將其分別劃分到最有可能的部件類別中。最后，在各個(gè)身體部件中，利用Mean-shift算法操作尋找密度最大的位置作為可能的關(guān)節(jié)點(diǎn)位置并根據(jù)先驗(yàn)知識(shí)對(duì)得到的結(jié)果進(jìn)行優(yōu)化，見圖13。

圖13　系統(tǒng)框架圖Fig.13 Sketch of system framework

本文在64bit win7系統(tǒng)、3.1 GHz主頻、8 G內(nèi)存、i3-2100CPU的計(jì)算機(jī)環(huán)境中運(yùn)行，經(jīng)過試驗(yàn)證明系統(tǒng)可達(dá)實(shí)時(shí)性要求。

5.2實(shí)驗(yàn)分析

（1）標(biāo)記。本文使用自動(dòng)標(biāo)記的辦法：在每幅深度圖像中，從Kinect預(yù)測(cè)得到的關(guān)節(jié)點(diǎn)像素的鄰域內(nèi)搜索最多15個(gè)像素點(diǎn)作為同類別部件的真實(shí)標(biāo)記點(diǎn)，這15個(gè)標(biāo)記點(diǎn)是按照距關(guān)節(jié)點(diǎn)距離從小到大排序取得的如圖14所示。

圖14　人體關(guān)節(jié)點(diǎn)標(biāo)記Fig.14 Labels of human points

（2）分類結(jié)果評(píng)價(jià)。從訓(xùn)練樣本集的3 823幅圖像中，每次隨機(jī)抽取400幅樣本用于訓(xùn)練一棵決策樹，抽取方法為bagging。

使用訓(xùn)練樣本對(duì)分類器的分類效果進(jìn)行評(píng)價(jià)時(shí)，得到隨機(jī)森林的平均分類準(zhǔn)確度為73%。使用測(cè)試樣本對(duì)分類器的分類效果進(jìn)行評(píng)價(jià)時(shí)，隨機(jī)森林的平均分類準(zhǔn)確度達(dá)到68%。這里所說的整體分類準(zhǔn)確度是指所有分類正確的關(guān)鍵點(diǎn)個(gè)數(shù)占全部標(biāo)記點(diǎn)個(gè)數(shù)的比例。

各部件的分類準(zhǔn)確度見圖15、16。每個(gè)柱形數(shù)值表示的是正確分類到此類別的像素點(diǎn)個(gè)數(shù)占全部被分類到此類別的像素點(diǎn)個(gè)數(shù)的比例。

圖15　利用隨機(jī)森林預(yù)測(cè)訓(xùn)練樣本中各部件分類結(jié)果Fig.15 Result of different human body parts classification in training samples calculated by random forest

圖16　利用隨機(jī)森林預(yù)測(cè)測(cè)試樣本中各部件分類結(jié)果Fig.16 Result of different human body parts classification in testing samples calculated by random forest

從上面的圖表發(fā)現(xiàn)脊椎、頭部、臀部的分類準(zhǔn)確度比較高，對(duì)肢節(jié)的分類準(zhǔn)確度相對(duì)較低。這主要是由于相對(duì)于頭和軀干，人的四肢的運(yùn)動(dòng)復(fù)雜度更高、更加難以捕捉。此外，由于手臂動(dòng)作很復(fù)雜，且極易出現(xiàn)自遮蔽的姿勢(shì)，在有限的訓(xùn)練樣本規(guī)模下，無法對(duì)各種形態(tài)的人體部件進(jìn)行學(xué)習(xí)。加之手臂本身較細(xì)，分布的像素點(diǎn)個(gè)數(shù)也相對(duì)較少，所以對(duì)手臂的分類準(zhǔn)確是相對(duì)最低的。

（3）關(guān)節(jié)點(diǎn)預(yù)測(cè)結(jié)果評(píng)價(jià)。在對(duì)已經(jīng)分類好的圖像進(jìn)行關(guān)節(jié)點(diǎn)預(yù)測(cè)時(shí)，估計(jì)出骨架的平均時(shí)間為每幀0.15 s。本文在對(duì)學(xué)習(xí)過的深度圖像進(jìn)行人體關(guān)節(jié)點(diǎn)定位時(shí)，可以得到較為準(zhǔn)確的估計(jì)效果。由于系統(tǒng)的真實(shí)標(biāo)注點(diǎn)是基于Kinect技術(shù)的估計(jì)結(jié)果，所以這里僅進(jìn)行定性的結(jié)果評(píng)價(jià)，將生成的骨架圖與采集的深度圖像進(jìn)行比對(duì)，圖17為參與訓(xùn)練的樣本圖像中抽取的幾組人體關(guān)節(jié)定位結(jié)果，第1列表示Kinect獲取的深度圖像的顯示圖像，第2列表示關(guān)節(jié)點(diǎn)的定位結(jié)果?？梢钥闯觯到y(tǒng)對(duì)于學(xué)習(xí)過的人體部件能夠較好地預(yù)測(cè)得到估計(jì)結(jié)果，關(guān)節(jié)點(diǎn)的定位基本準(zhǔn)確。

對(duì)于未學(xué)習(xí)過的人體姿態(tài)，本系統(tǒng)同樣有識(shí)別定位能力，見圖18，從測(cè)試樣本集中抽取的幾組圖像及定位結(jié)果。可以看出，雖然關(guān)節(jié)點(diǎn)定位的效果相較訓(xùn)練樣本集稍有遜色，但也基本可以得到良好的效果。

圖17　訓(xùn)練樣本的人體姿態(tài)Fig.17 Human pose in training samples

圖18　測(cè)試樣本的人體姿態(tài)Fig.18 Human pose in testing samples

5.3與其他方法的比較

將本文的系統(tǒng)與文獻(xiàn)［7］中的Kinect算法相比較，有很多方面的改進(jìn)。

首先，在特征提取方面，Kinect技術(shù)使用的是像素點(diǎn)的鄰域中2點(diǎn)的深度差，且其特征信息的計(jì)算及閾值的選擇都是在訓(xùn)練分類器的過程中同時(shí)進(jìn)行的，這樣做的好處是運(yùn)行效率高，但是特征信息的復(fù)用性較低；而本文為圖像中人物區(qū)域的像素點(diǎn)賦予一個(gè)全新的特征：角度信息，與分類器中的每個(gè)非葉子節(jié)點(diǎn)中的角度和半徑信息，相結(jié)合來產(chǎn)生新的局域像素點(diǎn)。此外，特征信息在訓(xùn)練分類器之前就已經(jīng)計(jì)算獲得，在訓(xùn)練分類器時(shí)，只需要進(jìn)行簡(jiǎn)單的比較選擇即可。關(guān)節(jié)點(diǎn)的定位方法文獻(xiàn)采用的Mean-shift的加權(quán)高斯算法找到密度最大點(diǎn)，而本文使用的是Mean-shift的算法，并利用先驗(yàn)知識(shí)進(jìn)行優(yōu)化約束。

本文的特征提取方法是在Kinect基礎(chǔ)之上引入新的角度信息使得特征信息更加全面、準(zhǔn)確，并通過偏移角度使得身體部件在旋轉(zhuǎn)運(yùn)動(dòng)時(shí)仍具有不變性。通過實(shí)驗(yàn)證實(shí)加入角度信息后，像素點(diǎn)可以得到更準(zhǔn)確的分類結(jié)果，如圖19中各部件第1行柱形圖表示本文分類結(jié)果，第2行柱形圖表示Kinect的分類結(jié)果。

可以看到除了個(gè)別的關(guān)節(jié)點(diǎn)分類準(zhǔn)確度稍有降低，基本所有部件的分類效果都得到提升，特別是姿態(tài)多變，旋轉(zhuǎn)自由度相對(duì)較大的四肢由于添加了對(duì)其偏移角度特征的描述，準(zhǔn)確度大大提升。

圖19　文獻(xiàn)［7］的分類結(jié)果對(duì)比Fig.19 Compared with the classification results of［7］

6　總結(jié)與展望

隨著近幾年來深度攝像機(jī)的普及和推廣，基于深度圖像的許多圖像處理算法得以發(fā)展、成熟。雖然目前還沒有一個(gè)完備的大型深度圖像數(shù)據(jù)庫(kù)，但是很多學(xué)者已經(jīng)能夠根據(jù)需要，自建小型的數(shù)據(jù)庫(kù)來進(jìn)行學(xué)習(xí)研究。

本文研究分析了利用深度圖像進(jìn)行人體關(guān)節(jié)點(diǎn)定位的技術(shù)，主要工作和改進(jìn)內(nèi)容包括以下幾個(gè)方面：簡(jiǎn)述人體關(guān)節(jié)點(diǎn)定位技術(shù)的發(fā)展，對(duì)近年來出現(xiàn)的各種基于深度圖像處理人體姿態(tài)的方法進(jìn)行研究；研究從場(chǎng)景的深度圖像中將前景分割的方法：首先利用RANSAC算法將天花板和地板從圖像中剔除，然后利用深度圖像所特有的距離信息將運(yùn)動(dòng)的人體從整幅圖像中延伸出來；對(duì)本文所使用的深度圖像特征進(jìn)行一定的分析和研究，從深度信息空間旋轉(zhuǎn)不變性的角度考慮引入改進(jìn)的特征信息角度信息，以此來進(jìn)一步優(yōu)化特征提取的效果；討論關(guān)節(jié)點(diǎn)的定位方法，在Mean-shift方法的基礎(chǔ)上，運(yùn)動(dòng)身體的先驗(yàn)知識(shí)對(duì)關(guān)節(jié)點(diǎn)的定位進(jìn)行約束和優(yōu)化，得到更加準(zhǔn)確的結(jié)果。

本文的研究是在現(xiàn)有的深度圖像系統(tǒng)的基礎(chǔ)上進(jìn)行的分析學(xué)習(xí)，提出了合理的改進(jìn)措施并達(dá)到預(yù)期效果，但是當(dāng)人物姿態(tài)比較復(fù)雜時(shí)，估計(jì)的效果還不是很理想，需要進(jìn)一步改進(jìn)。

本文對(duì)基于深度圖像的人體關(guān)節(jié)點(diǎn)定位方法進(jìn)行了研究分析，但對(duì)于這個(gè)領(lǐng)域來說，只是一個(gè)初級(jí)的探索和研究，未來還有巨大的發(fā)展和提升空間。進(jìn)一步的學(xué)術(shù)工作主要可以通過下述幾個(gè)方面來開展：對(duì)于真實(shí)部件的標(biāo)記可以更加完整，從而提高分類的效果以及對(duì)于先驗(yàn)知識(shí)的運(yùn)用如何更加有效、合理。

［1］劉國(guó)翌，陳睿，鄧宇.基于視頻的三維人體運(yùn)動(dòng)跟蹤［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2006，18（1）：82-88. LIU GUOYI，CHEN RUI，DENG YU.3D human motion tracking based on video［J］.Journal of Computer-Aided Design&Computer Graphics，2006，18（1）：82-88.（in Chinese）

［2］GREST D，KRER V，KOCH R.Single view motion tracking by depth and silhouette information［C］//Lecture Notes in Computer Science.Berlin：Springer，2007，4522：719-729.

［3］ZHU Y，DARIUSH B，F(xiàn)UJIMURA K.Controlled human pose estimation from depth image streams［C］//Computer Vision and Pattern Recognition Workshops.Wright State，Ameirca，2008：1-8.

［4］ZHU Y，F(xiàn)UJIMURA K.Constrained optimization for human pose estimation from depth sequences［C］//Computer Vision-ACCV 2007.Berlin：Springer，2007：408-418.

［5］KALOGERAKIS E，HERTZMANN A，SINGH K.Learning 3D mesh segmentation and labeling［J］.ACM Transactions on Graphics（TOG），2010，29（4）：157-166.

［6］PLAGEMANN C，GANAPATHI V，KOLLER D，et al. Real-time identification and localization of body parts fromdepthimages［C］//RoboticsandAutomation（ICRA）Anchorage.Alaska，2010：3108-3113.

［7］SHOTTON J，SHARP T，KIPMAN A，et al.Real-time human pose recognition in parts from single depth images［J］.Communications of theACM，2013，56（1）：116-124.

［8］林鵬，張超，李竹良.基于深度圖像學(xué)習(xí)的人體部位識(shí)別［J］.Computer Engineering，2012，38（16）：185-188. LIN PENG，ZHANG CHAO，LI ZHULIANG.Human body part recognition based on depth image learning［J］. Computer Engineering，2012，38（16）.185-188.（in Chinese）

［9］XIA L，CHEN CC，AGGARWAL JK.Human detectionusing depth information by Kinect［J］.Applied Physics Letters，2011，85（22）：15-22.

［10］SCHNABEL R，WAHL R，KLEIN R.Efficient RANSAC for point-cloud shape detection［J］.Computer Graphics Forum，2007，26（2）：214-226.

［11］CHUM O，MATAS J，KITTLER J.Locally optimized RANSAC［J］.Lecture Notes in Computer Science，2003，2781：236-243.

［12］李紅波，丁林建，冉光勇.基于Kinect深度圖像的人體識(shí)別分析［J］.數(shù)字通信，2012，39（4）：21-26. LI HONGBO，DING LINJIAN，RAN GUANGYONG. Analysis of human body recognition based on Kinect depth image［J］.Digital Communication，2012，39（4）：21-26.（in Chinese）

［13］OU Y，HU J，WANG Z.A real-time human imitation system using kinect［J］.International Journal of Social Robotics，2015，7（5）：1-14.

［14］BREIMAN L.Random forests［J］.Machine Learning， 2001，45（1）：5-32.

［15］QUINLAN JR.Induction of decision trees［J］.Machine Learning，1986，1（1）：81-106.

［16］BREIMAN L.Random forest［J］.Machine Learning，2001，45：5-32.

［17］BONISSONE P，CADENAS JM.A fuzzy random forest［J］.International Journal of Approximate Reasoning，2010，51（7）：729-747.

［18］SARAGIH JM，LUCEY S，COHN JF.Deformable model fitting by regularized landmark mean-shift［J］.International Journal of Computer Vision，2011，91（2）：200-215.

［19］COMANICIU D，RAMESH V，MEER P.Real-time tracking of non-rigid objects using mean shift［C］//Computer Vision and Pattern Recognition.Grenoble，F(xiàn)rance，2000：142-149.

［20］BEYAN C，TEMIZEL A.Adaptive mean-shift for automated multi object tracking［J］.Iet Computer Vision，2012，6（1）：1-12.

Method of Locationg Human Body Joints Based on Depth-images

LYU Jie1，LIU Yazhou2，HAN Qinglong1，DU Jing1
（1.Department of Basic Sciences，NAAU，Yantai Shandong 264001，China；2.Department of Computer Science and Engineering，Nanjing University of Science and Technology，Nanjing 210094，China）

In this paper，a human body part recognition system which was based on depth image learning was proposed. Firstly，segmentation was made between background and people.Secondly，random forest was used to learn the classifier for separating each pixel.Finally，the algorithm of mean-shift was used to find the position of the joint point of human body and optimize it.The result of the system was both more accurate and real-time.The precision rate for this method was 68%，which compared to Kinect，had reached at a high level.The average time to recognize joint point was 150ms/f. All these proved its practicability.

depth images；random forest；depth gradient feature；joint position proposals

TP312

A

1673-1522（2016）05-0538-09

10.7682/j.issn.1673-1522.2016.05.008

2016-07-22；

2016-09-18

國(guó)家自然科學(xué)基金資助項(xiàng)目（61300161）；教育部博士點(diǎn)新教師基金資助項(xiàng)目（20133219120033）

呂潔（1988-），女，碩士。