基于圖模型的姿態分割估計方法

王國楨,方賢勇

(安徽大學 媒體計算研究所,安徽 合肥 230601)

基于圖模型的姿態分割估計方法

王國楨,方賢勇

(安徽大學 媒體計算研究所,安徽 合肥 230601)

計算機視覺領域中現在有一個非常熱門的問題就是人體的姿態估計，它可用于行人檢測、人體活動分析、人機交互以及視頻監控等方面。目前對于圖像的人體姿態的估計方法在處理較復雜的背景的時候難以得到理想的效果，其原因在于這些方法不好區分人體和復雜背景，從而無法得到其想要的特征值供其使用。針對這一不足，提出一種姿態分割估計方法。該方法將人體分割后去除復雜背景的影響，并且在圖結構模型中，結合使用形狀上下文特征的方法進行訓練對比，求解得出最優的人體姿態。實驗結果表明，該方法可以較好地在復雜背景下獲得人體的姿態估計，更好地克服背景帶來的干擾，得到較現有方法更加理想的人體估計結果，從而把人體的姿態從復雜的背景圖像中給成功地估計出來。

人體姿態;圖結構模型;形狀上下文;分割

1 概 述

當今，在靜態圖片中對人體的姿態估計成為一個熱門話題，在許多人機交互[1-2]自動化的檢測、運動、動作識別、角色動畫、臨床步態分析中精準的人體姿態估計得到了廣泛應用。盡管已有多年的研究歷史，幾個因素使其成為一個極具挑戰的內容，圖片中的人可以以各種各樣的姿態出現。文中針對這一問題進行研究，提出基于圖模型的姿態估計方法。

圖形結構(Pictorial Structure)[3]模型，是一個可以很好解決這個問題的方法，把人體的各個模塊放在一個無向圖中來解決，然后可以利用圖模型中具有的推理方法估計出人體的姿態。然而這個問題的難度在于，對于這個模型的建立如何有效來表現這些結構的多樣性、可變性，并且如何獲取能夠讓這些模塊聯系在一起的關系結構。Benjamin等[4]在特征提取中加入HOF(Histogram of Optical Flower，光流直方圖)[5]，對于連續圖片中人的姿態進行估計有更好的效果。Ouyang Wanli等[6]是在圖形結構模型的基礎上，對圖片的訓練過程使用Deep Learning[7]的方法，得到比較好的訓練集。Shen Jie等[8]在圖形結構模型的基礎上加上CT(Clothing Technology)技術，即加入的衣服對圖片的估計影響，加上CT的約束后可以提高估計的準確度。Brandon等[9]提出了一種And-Graph Model來解決上述問題，是對圖形結構的一種改進，并提出一個基于邊界的梯度特征(Histogram of Oriented Gradients，HOG)[10]，然而對于一些復雜的背景圖片，由于人不容易和背景圖片區分出來，當檢測圖片中人的時候導致出現不準確的情況，從而影響最終的人體姿態估計結果。

針對已有的人體姿態估計對于復雜背景圖片的不足，文中運用分割背景的思路，并與非常適合簡單背景的Sharp Context的特征方法相結合，實現了高效的人體姿態的估計測量。

2 基于圖模型的姿態估計

對于姿態的估計，文中要對圖片進行訓練和測試，因為對于復雜的背景，可能會影響對圖像里面人的處理，從而影響估計結果。所以文中提出對圖片中的人進行分割，去除背景的干擾，然后用形狀上下文(Shape Context)[11]的特征檢測方法進行訓練和檢測。

2.1 圖像背景分割

文中使用文獻[12]提出的一種基于卷積神經網絡的分割方法對圖像進行分割。該方法采用一種深度學習的方法訓練模型和參數。而該方法可以把人從復雜的背景中分割出來，達到文中想要的結果。

首先要進行學習訓練的過程，如圖1所示，主要分成了特征提取和得到分類器的過程。特征提取是為了能獲得合適的特征供分類器使用，從而可以在圖像中把人分割出來。具體方法是：對于輸入圖像，首先用高斯濾波器并加入一個偏置量對輸入圖像進行卷積，得到卷積層。接著將它進行子采樣，就是對卷積層中相鄰四個像素求和使它變成一個像素，然后通過標量加權，再增加偏置，最后通過一個sigmoid激活函數，產生一個大概縮小四倍的特征映射圖。整個過程可以看成是由卷積層和子采樣層這兩個層的交替組成。結束后就完成了對圖像的特征提取。接著將得到的特征進行分類，獲得一個分類器，這個分類器能夠對輸入圖像進行初始的分割。然后，使用條件隨機場的方法對上面得到的分類器效果進行提高，也就是相當于對一個粗糙的結果再進行優化的過程。通過這個過程，最終可以得到一個供文中使用的模型。接著輸入圖片，就可以得到文中想要的分割結果。

圖1 特征提取過程

對于得到的分割后的結果，可以用Ehsan等[13]提出的摳圖方法。

對于圖像中每個像素的顏色表示成前背景的線性組合。

Hz=azFz+(1-az)Bz

(1)

其中，Fz是前景色；Bz是背景色。

對于式(1)中的系數az，它的取值范圍是0～1，稱之為混合像素。一般摳圖是需要用戶手動交互信息的,但是文中有了之前求得的分割結果,能省去交互的過程,從而可以直接分割出結果，把人從背景中成功地摳出來，然后供后面訓練等使用。

圖2 圖像分割及摳圖結果

從圖2(a)中可以看出，從背景中把人給分割出來，然后由得到前景和后景的區別，可以用摳圖的方法，把這個圖中的人給摳出來，得到圖(b)，從而去除復雜的背景，方便之后的計算。

2.2 形狀上下文特征提取及姿態估計

對于分割好背景的圖，要對其進行邊界提取，也就是使用形狀上下文的方法，然后文中要用到圖結構模型的方法來把人分塊，分別對塊內的特征進行尋找匹配，從而可以正確地估計出人體的姿態。

2.2.1 形狀上下文

形狀上下文可以很好地描述一個物體的形狀特征，以測量形狀的相似度。該方法主要是對輪廓上的n點，對于在n中的每一個點，用pi和其他的n-1個點進行連接，從而可以獲得n-1個向量。這一系列的向量對外形有著豐富的描述，可以直接決定形狀的特征。所以如果當n的值很大時，所描述的特征也相對準確。

首先找到邊緣上所有的點。文中可以用Canny[14]邊緣檢測算法獲得邊緣信息，取得二值圖像，接著把所需要的輪廓給提取出來，這樣就獲得了圖像中人的輪廓點。

把圖像中所有點的坐標進行對數極坐標變換。對數坐標系建立后，把圖像中的像素坐標從(x,y)轉換成(r,θ)，然后要對極坐標系進行分割，將空間平均先分成12份，再以半徑方向分成5份，這樣空間就被分成60份，為60個單元bin。以pi為原點將整個圖放到極坐標內，接著對每個pi點求出它的直方圖，也就是形狀上下文，用Mi(k)表示。其中，k就是bin的序號，取值范圍為0～60，接著統計出每個bin中點的個數，然后繪制出一個直方圖。最后就是對其余的點也做同樣的操作，分別得到這些點的直方圖，合到一起就得到了這個完整圖像的形狀上下文。

對于兩個形狀W和U，pi是形狀W上的任意一點，qj為形狀U上的任意一點，則有Cs=C(pi,qj)。其中，Cs就是對兩個形狀上任意兩點的匹配值，文中可以用χ2檢測(卡方檢測)，得到式(2)：

(2)

文中希望求得式(2)的最小值，這樣也就說明這兩個點最為相似。有了形狀上下文，就要計算兩個形狀的相似度。這里文中引用圖結構模型。

2.2.2 圖結構模型

圖3為人體圖模型。可以看出，主要就是把人體分成幾個部塊，有頭、軀干、手臂和腿，其中手和腿分別又分成前手臂和后手臂，腿也是分成小腿和大腿。然后把這些部分塊分別放入一個無向圖中，使用圖推理和概率學的知識對每一部分分別求解。

圖3 人體圖模型

對于一個圖結構模型，可以定義一個圖G=(V,E)，其中V={v1,v2,…,vn}表示各個頂點，相當于人體的各個部分。(vi,vj)∈E是連接vi和vj這兩部分的一個邊。每一個待檢測的人，可以用H=(h1,h2,…,hn)來表示，其中每一個hi表示vi的位置，也就是圖3中黑色的矩形框，hi=(xi,yi)表示矩形框中心位置的坐標。對于給定的一幅圖，mi(hi)用來表示身體的真實部位和預測估計的hi矩形框位置是不是符合的，dij(hi,hj)用來表示兩個約束部位不會相差得太遠。例如，頭和身體就應該是相連接的而不可能是頭和腳連接，這就需要進行約束。對于圖像中的一個人，可以得出一個最小的能量優化式子：

(3)

2.2.3 估計過程

文中要得到姿態估計的結果，首先要對圖片進行大量訓練。對于數據集中的每一張圖片，文中都要先對它進行身體部位位置的標定，也就是框出身體的各個部位，然后求出它的形狀上下文，即可以得到數據集中每一幅圖像的形狀上下文。

對于輸入測試的圖片，先對它求出形狀上下文。由式(3)可知，文中要通過比較輸入圖像和數據集中的圖像的形狀上下文，使得這個式子得到最小值，就是所估計的結果。

對于式(3)，文中可以用貝葉斯理論把它轉化成概率學求解：

p(H/I)∝p(I/H)p(H)

(4)

其中，I為給定的一幅圖像；p(H)為先驗項。

(5)

它是為了確定人體的結構，對應的是公式(3)中的dij(hi,hj)。

對于p(I/H)有：

(6)

可以看出，該式就是為了求出人體的10個部位的位置，對應為式(3)中的mi(hi)。當人體結構確定后，只需要通過式(2)中的對比形狀上下文，對于輸入圖像找到最符合它的每一部分人體結構。把人體結構中的每一部分給填充上去，就可以得到人體的姿態估計。

3 實驗和結果

為了驗證上述方法的可行性和效果，分別對Parse數據集中400張圖片進行訓練和100張圖片進行測試，以及Leeds數據集中的300張圖片分別進行訓練和測試。實驗主要以文獻[7]的方法進行對比，因為文獻[7]的方法也用到了圖模型，然后在圖模型的基礎上用到HOG的特征來進行特征提取，并供其使用。文中方法和文獻[7]方法的思路大體一樣，所以選擇和它進行對比。實驗環境為：Window7 64位操作系統，8GB內存，CPU為酷睿i7，軟件為Matlab2015a。

圖4是對靜態圖片中人體的姿態估計的結果。圖(a)是文獻[7]的方法，對于右手可以看出因為和背景的顏色過于相近，檢測時可能就沒法區分出袖子，所以沒有取得很好的估計效果。圖(b)是文中去除背景后加入形狀上下文方法得出的效果，在右手的手部有了明顯的提升，而且在左腿也比文獻[7]方法的效果要準確。

圖4 姿態估計的結果

圖5和圖6是文中方法和文獻[7]方法在不同狀態下的比較結果，分成人在跑步和靜止狀態下的圖片對比。左圖都是文獻[7]的方法，右圖都是文中方法。可以看出，文中的姿態估計的方法還是比文獻[7]方法準確。

圖5 跑動的人的結果

圖6 靜止的人的結果

4 結束語

針對目前由于復雜背景不能很好地估計出人體姿態的問題，提出一種姿態估計方法。該方法首先去除圖像的背景，然后再根據形狀上下文的方法提取并訓練樣本模板，最后對輸入圖片進行對比，從而得出較好的姿態估計結果。實驗結果表明該方法是可行的。但是可能或因為訓練樣本數不夠，導致一些圖像中的人沒有得到很好的估計效果，以后工作中將會考慮加大訓練集，并且對圖模型結構進行改進，從而得到更好的姿態估計結果。

[1]Chairman-HewettTT,BaeckerR,CardS,etal.ACMSIGCHIcurriculaforhuman-computerinteraction[R].NewYork:ACM,1992.

[2]MyersBA.Abriefhistoryofhuman-computerinteractiontechnology[J].Interactions,1998,5(2):44-54.

[3]FelzenszwalbP,HuttenlocherD.Pictorialstructuresforobjectrecognition[J].InternationalJournalofComputerVision,2005,61(1):55-79.

[4]YaoBZ,NieBX,LiuZicheng,etal.Animatedposetemplatesformodellinganddetectinghumanactions[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2014,36(3):436-452.

[5]ChaudhryR,RavichandranA,HagerG,etal.Histogramsoforientedopticalflowandbinet-cauchykernelsonnonlineardynamicalsystemsfortherecognitionofhumanactions[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2009:1932-1939.

[6]OuyangWanli,ChuXiao,WangXiaogang.Multi-sourcedeeplearningforhumanposeestimation[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2014:2337-2344.

[7]GeHinton,OsinderoS,TehYW.Afastlearningalgorithmfordeepbeliefnets[J].NeuralComputation,2006,21(18):1527-1554.

[8]ShenJie,LiuGuangcan,ChenJia,etal.Unifiedstructuredlearningforsimultaneoushumanposeestimationandgarmentattributeclassification[J].IEEETransactionsonImageProcessing,2014,23(11):4786-4798.

[9]RothrockB,ParkS,ZhuSongchun.Integratinggrammarandsegmentationforhumanposeestimation[J].InternationalJournalofComputerVision,2013,25(13):3214-3221.

[10]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2005:886-893.

[11]BelongieS,MalikJ.Shapematchingandobjectrecognitionusingshapecontexts[J].IEEETransactionsonPatternAnalysisandMachineintelligence,2000,18(5):927-944.

[12]ZhengShuai,JayasumamaS,Romera-ParedesB,etal.Conditionalrandomfieldsasrecurrentneuralnetworks[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2015:216-232.

[13]ShahrianE,RajanD,PriceB,etal.Improvingimagemattingusingcomprehensivesamplingsets[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2013:636-643.

[14]CannyJ.Acomputationalapproachtoedgedetection[J].IEEETransactionsonPatternAnalysisandMachineIntelligene,1986,8(6):679-698.

Pose Segmentation and Estimation Based on Pictorial Structure Model

WANG Guo-zhen，FANG Xian-yong

(Institute of Media Computing,Anhui University,Hefei 230601,China)

Human pose estimation is one of the hot topics in the field of computer vision,and can be used for pedestrian detection,human activity analysis,human-computer interaction and video surveillance and so on.It is difficult to robustly estimate the human pose under the complex background for existing estimation methods of human pose,which is partially due to the lack of good features to separate the foreground human from the complex background.Aiming at the deficiencies mentioned above,a pose segmentation and estimation method is presented.The human is segmented from the background by semantic segmentation.Then shape context method is adopted to obtain the optimal human pose in the pictorial structure.Experimental results show that the proposed method can get the pose estimation,overcome the interference from background,and obtain a better body estimation than the existing method under complex backgrounds.So it can be success to estimate the body pose from the image in a complex background.

human pose;pictorial structure;shape context;segmentation

2016-02-10

2016-06-15

時間：2016-11-21

國家自然科學基金資助項目(61502005)；安徽省自然科學基金(1308085QF100,1408085MF113)

王國楨(1989-)，男，碩士研究生，研究方向為圖像處理和計算機視覺；方賢勇，教授，研究方向為計算機圖形學和計算機視覺。

http://www.cnki.net/kcms/detail/61.1450.TP.20161121.1641.032.html

TP31

A

1673-629X(2016)12-0053-05

10.3969/j.issn.1673-629X.2016.12.012