基于多變量標簽分布的連續型姿態估計方法

江 婷，趙啟軍,陳 虎

(四川大學 計算機學院，四川 成都 610065)

基于多變量標簽分布的連續型姿態估計方法

江 婷，趙啟軍,陳 虎

(四川大學 計算機學院，四川 成都 610065)

人臉的頭部姿態往往指示并傳達著豐富的信息，準確估計頭部姿態角度在人臉識別、表情識別等領域有重要作用。針對獲得的人臉真實姿態角度往往存在一定的偏差且只包含有限個離散角度等問題，文中提出了一種基于多變量標簽分布的連續型姿態估計方法。在訓練階段，對不同姿態角度，通過訓練獲得離散情況下的多變量標簽分布；在測試階段，采用正交多項式擬合的思想，將離散的分布擬合成連續的分布，計算分布的最大值所對應的標簽作為最終的輸出結果。文中在Pointing’04公開庫上進行了測試，利用文中方法，在正交多項式擬合后，估計出的人臉的姿態角不再局限于訓練集中的一些角度，而是有更多連續的值，所得的估計姿態角更接近于真實角度。實驗結果表明，文中方法能夠預測出更多的人臉姿態角度，并且預測更穩定。

姿態估計；多變量標簽分布；正交多項式擬合；連續型姿態

0 引 言

在人際交流中，頭部姿態是非常重要的部分，靜態的頭部姿態的某個特定方向可指示對某人的注意，或者對話的對象，等等。頭部姿態的變化也可傳達豐富的信息，比如贊同、否定、理解、疑惑和驚喜等等。另外，頭部姿態是很多應用領域的關鍵部分，如人臉識別、表情識別、視線估計等等。因此，頭部姿態估計已成為計算機視覺和模式識別的一個重要研究領域。近年來已經有很多頭部姿態估計的方法被提出，例如非線性回歸方法[1-5]、子空間嵌入方法[6-9]、基于特殊特征的方法[10-13]和多變量標簽分布方法[14]。

在計算機視覺領域，頭部姿態估計通常指的是使用圖像平面去預測頭部方向。通常做法是假設人的頭部是一個剛性物體，這樣頭部姿態只有三個自由度，包括水平偏轉角、俯仰角和旋轉角[15]。對于很多現存的數據集，只考慮了有限的離散角度，而且姿態角度標定值往往存在一定的誤差。文獻[14]提出離散的多變量標簽分布方法(Multivariate Label Distribution,MLD)，將人臉姿態角度的臨近角度也作為姿態估計的標簽，使得一個人臉姿態可以有不同權重的多個值，提高了算法對訓練數據中姿態角度標定誤差的魯棒性，也提高了姿態估計的正確率。但是現有人臉數據庫中的姿態角度往往是離散的值，若估計到的姿態角是真實值的臨近角度，也會偏差很大。換言之，現有的MLD方法對訓練集中不包含的姿態角的圖片預測誤差往往會很大。

為解決上述問題，文中提出了基于MLD的連續值姿態估計方法。首先用MLD得到離散情況下的多變量標簽分布，然后用正交多項式擬合的方法擬合成連續的分布。選用正交多項式作為擬合工具可以得到與一般多項式擬合相同的結果，而且有效避免了一般多項式擬合時法方程組的病態問題。改進后的MLD估計得到的姿態角度比離散情況更接近真實值，而不受訓練集角度間隔的影響。值得一提的是，提出的方法能非常方便地擴展到三個自由度或者縮減到單個自由度。

1 多變量標簽分布

(1)

設在連續空間X=q中，標簽集Υ={yjk;j=1,2,…,np,k=1,2,…,ny}，那么目標就是從G學習得到一個條件函數集p(y|x;θ)。其中x∈X,y∈Υ，θ為參數向量。該條件函數集由找到一個θ使生成的MLD接近于當前xi的Pi來決定。由于p(y|x;θ)的形式與Geng等在文獻[16-17]中的工作類似，所以假設它為一個最大熵模型，即：

(2)

2 正交多項式擬合

針對不同姿態角度，訓練獲得離散情況下的多變量標簽分布后，采用正交多項式擬合的思想，將離散的分布擬合成連續的分布，計算分布的最大值所對應的標簽作為最終姿態的估計值。

2.1 一元函數擬合

(3)

(4)

2.2 二元函數擬合

(5)

先對l進行擬合后，可得到dk,ωk(l),k=0,1,…,L-1。再對m進行擬合，得到σs,φs(m) ,m=0,1,…,M-1，參考式(4)，則

(6)

將式(6)代入式(5)中即得擬合的二元函數。

當從一組可供選擇的模型中選擇一個最佳模型時，選擇赤池信息量準則(AkaikeInformationCriterion,AIC)為最小的模型是可取的，所以采用AIC作為決定擬合多項式變量最高階次數的方法。

(7)

擬合后，在求得最優解θ*后，給出一張圖片x'，則先根據p(y|x';θ*),y∈Υ估計得到它的MLD，然后與MLD中最大描述度相對應的姿態角即為x'的估計值。

3 算法流程

為了解決現有的MLD方法對訓練集中不包含的姿態角的圖片預測誤差很大的問題，提出了一種基于MLD的連續值姿態估計方法。首先在訓練階段，對不

同姿態角度的圖片進行訓練，將每個訓練圖片的臨近姿態角度的權重設為非零值，即該圖片就能有多個標簽值，就可根據條件函數獲得離散情況下的多變量標簽分布。

在測試階段，采用正交多項式擬合的思想，對于給定的測試圖片，通過將參數向量θ擬合成連續的函數，獲得θ的最優解，然后與MLD中最大描述度相對應的姿態角即為該測試圖片的估計值。整體框圖如圖1所示。

圖1 基于MLD的連續型姿態估計方法的框圖

4 實驗結果及分析

為驗證改進的MLD方法的估計效果，將該方法在Pointing’04人臉庫上進行了測試。Pointing’04人臉庫包括9個離散的俯仰角{-90°，-60°，-30°，-15°，0°，15°，30°，60°，90°}，以及13個離散的水平偏轉角度{-90°，-75°，-60°，-45°，-30°，-15°，0°，15°，30°，45°，60°，75°，90°}。人臉的姿態由一個水平偏轉角和一個俯仰角組成，特別地，當俯仰角為-90°和90°時，水平偏轉角始終是0°。所以，該數據庫中包括13×7+2=93個姿態角。該庫包含兩次采集15個人的人臉圖像，共93×15×2=2 790張。圖2給出了該庫中單個人的部分角度圖像，庫中每張圖片被歸一化為32×32大小的灰度圖，用方向梯度直方圖(HistogramofOrientedGradients,HOG)[18]提取特征，每個細胞單元為3×3個像素。

圖2 Pointing’04人臉庫中同一個人部分角度圖像

實驗中，首先對Pointing’04人臉庫隨機選取14個人(93×14×2=2 604張)的圖片進行訓練，剩下1人(93×2=186張)圖片進行測試。因為當俯仰角為-90°和90°時，水平偏轉角始終是0°，所以測試時去除這兩個姿態角，則剩余91個姿態。多次實驗證明，當p=4,q=8時，擬合得到的多項式最大地逼近了離散標簽值。圖3給出了對于測試圖片，通過多項式擬合，階數分別為4和8時，θ前后值的對比，空心圓圈曲線表示θ的初始值，實心點曲線表示擬合后的θ的值，橫軸表示91個姿態標簽值，縱軸為θ的值。

圖3 θ擬合前后曲線對比

在正交多項式擬合后，估計出的人臉的姿態角不再局限于訓練集中的一些角度，而是有更多連續的值，表1列出了部分真實值所對應的兩種方法估計出來的結果。

表1 離散和連續MLD方法的估計結果對比

通過對比可以看出，連續的MLD方法估計出的值更接近真實值，而離散的方法使結果偏差為15°的倍數。

5 結束語

準確估計人臉的姿態角度在人臉識別、表情識別等領域有重要作用。文中受文獻[14]的啟發，針對受現有離散的人臉數據庫中的有限姿態角度的影響，MLD估計得到的姿態角也會偏差很大這個問題，提出了一種正交多項式擬合的方法，將標簽擬合為連續值，使姿態估計地更接近真實值。實驗結果表明，文中方法能夠預測出更多角度的人臉姿態角度并且估計的姿態更穩定。

[1]StiefelhagenR.Estimatingheadposewithneuralnetworks-resultsonthePointing04ICPRworkshopevaluationdata[C]//Procofpointing2004workshop:visualobservationofdeicticgestures.Cambridge,UK:[s.n.],2004.

[2]GourierN,MaisonnasseJ,HallD,etal.Headposeestimationonlowresolutionimages[C]//ProcofCLEAR.[s.l.]:[s.n.],2006:270-280.

[3]VoitM,NickelK,StiefelhagenR.Neuralnetworkbasedheadposeestimationandmulti-viewfusion[C]//ProcofCLEAR.[s.l.]:[s.n.],2006:291-298.

[4]GuoG,FuY,DyerCR,etal.Headposeestimation:classificationorregression[C]//Procof19thinternationalconfonpatternrecognition.FL:[s.n.],2008.

[5]HajMA,Gonz`alezJ,DavisLS.Onpartialleastsquaresinheadposeestimation:howtosimultaneouslydealwithmisalignment[C]//ProcofIEEEconfoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2602-2609.

[6]TuJ,FuY,HuY,etal.Evaluationofheadposeestimationforstudiodata[C]//Procof1stinternationalworkshoponclassificationofevents,activitiesandrelationships.Southampton,UK:[s.n.],2006:281-290.

[7]LiZ,FuY,YuanJ,etal.Querydrivenlocalizedlineardiscriminantmodelsforheadposeestimation[C]//ProcofIEEEinternationalconfonmultimediaandexpo.Beijing,China:IEEE,2007:1810-1813.

[8]FoytikJ,AsariVK.Atwo-layerframeworkforpiecewiselinearmanifold-basedheadposeestimation[J].InternationalJournalofComputerVision,2013,101(2):270-287.

[9]LuJiwen,TanYP.Ordinarypreservingmanifoldanalysisforhumanageandheadposeestimation[J].IEEETransonHuman-MachineSystems,2013,43(2):249-258.

[10]GurbuzS,OztopE,InoueN.Modelfreeheadposeestimationusingstereovision[J].PatternRecognition,2012,45(1):33-42.

[11]ZhuX,RamananD.Facedetection,poseestimation,andlandmarklocalizationinthewild[C]//ProcofIEEEconfoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2879-2886.

[12] Fanelli G,Dantone M,Gall J,et al.Random forests for real time 3D face analysis[J].International Journal of Computer Vision,2013,101(3):437-458.

[13] Ma B,Chai X,Wang T.A novel feature descriptor based on biologically inspired feature for head pose estimation[J].Neurocomputing,2013,115:1-10.

[14] Geng X,Xia Y.Head pose estimation based on multivariate label distribution[C]//Proc of IEEE conf on computer vision and pattern recognition.Columbus,Ohio:IEEE,2014:1837-1842.

[15] Murphy-Chutorian E,Trivedi M M.Head pose estimation in computer vision:a survey[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2009,31(4):607-626.

[16] Geng X,Smith-Miles K,Zhou Z H.Facial age estimation by learning from label distributions[C]//Proc of 24th AAAI conf on artificial intelligence.Atlanta:[s.n.],2010:451-456.

[17] Geng X,Yin C,Zhou Z H.Facial age estimation by learning from label distributions[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2013,35(10):2401-2412.

[18] Felzenszwalb P F,Girshick R B,McAllester D A,et al.Object detection with discriminatively trained part-based models[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2010,32(9):1627-1645.

A Continuous Head Pose Estimation Method Based on Multivariate Label Distribution

JIANG Ting,ZHAO Qi-jun,CHEN Hu

(School of Computer Science,Sichuan University,Chengdu 610065,China)

The human’s head pose are abundant of information.Accurate estimation of head pose plays an important role in face recognition,expression recognition and so on.To improve the precision of estimation and to alleviate the problem that poses are always fixed to some angles,a continuous method based on multivariate label distribution to estimate head poses was presented.In the training phase,get the discrete multivariate distribution from discrete poses and angles.In the testing phase,adopt orthogonal polynomial fitting to transform the discrete distribution into continuous distribution and compute the label corresponding to maximum in distribution as final output.The proposed method has been tested on the open Pointing’04 database.After orthogonal polynomial fitting,the estimated angles are no longer limited to angles in test set,but more continuous values.The estimated angle obtained by the method proposed is closer to the real angle.The result indicates that this method can estimate head pose in wider angle,the result is more stable.

head pose estimation;multivariate label distribution;orthogonal polynomial fitting;continuous head pose

2015-04-29

2015-08-04

時間：2016-01-04

國家自然科學基金資助項目(61202160，61202161)；科技部重大儀器專項(2013YQ49087904)

江 婷(1991-)，女，碩士研究生,研究方向為模式識別、計算機視覺；趙啟軍，副教授，碩士生導師，研究方向為模式識別、機器學習、計算機視覺等；陳 虎，講師，碩士生導師，研究方向為模式識別。

http://www.cnki.net/kcms/detail/61.1450.TP.20160104.1505.026.html

TP399.1

A

1673-629X(2016)01-0111-04

10.3969/j.issn.1673-629X.2016.01.023