結合金字塔模型和隨機森林的運動捕獲序列語義標注

徐濛， 彭淑娟， 柳欣

(華僑大學 計算機科學與技術學院， 福建 廈門 361021)

結合金字塔模型和隨機森林的運動捕獲序列語義標注

徐濛， 彭淑娟， 柳欣

(華僑大學 計算機科學與技術學院， 福建 廈門 361021)

針對原始運動捕獲數據結構復雜、語義模糊的問題，提出一種結合金字塔模型和隨機森林的運動捕獲序列語義標注方法.首先，利用概率主成分分析將運動序列劃分為具有特定語義的運動片段.然后，將運動片段的歐拉角數據轉換為人體各個關節點的三維空間位置坐標數據，統一骨骼長度，提取運動數據的2種互補性幾何特征,并分別歸一化.再次，運用傅里葉時間金字塔模型構建運動片段完整的時空特征.最后，利用已訓練的隨機森林分類器對各個運動片段進行標注.結果表明：該方法能夠對具有不同語義的復雜運動序列進行有效標注，且可用于不同表演者，具有一定的實用性和通用性.

語義標注； 概率主成分分析； 傅里葉時間金字塔； 隨機森林

隨著數字媒體技術的發展及光學運動捕獲設備的廣泛應用，人們可以方便地獲得大量的運動捕獲數據.這些運動捕獲數據被廣泛地應用于三維動畫、影視制作、游戲、教育等領域.同時，大規模的運動捕獲數據庫也應運而生，動畫師從這些數據庫中快速、高效地獲取滿足需求的運動數據片段用于動畫創作.有效地對運動數據進行分類，并進行有組織的數據庫管理，首先,需要對一段未知的運動片段進行識別和標注.近年來，關于運動識別和標注已經有大量的研究成果[1-7].現階段大多數方法僅對特定語義的運動片段進行分類識別，而在運動捕獲過程中，為了保持動作的連貫性，捕獲到的數據通常包含多個連續的動作.傳統的手動分割及標注方法往往需要花費大量的人力和時間.因此，有效地對一段復雜運動序列進行自動語義標注，對于后續的存儲、編輯和重用具有極其重要的意義.鑒于此，本文提出一種針對復雜運動捕獲序列的自動語義劃分及標注方法.

圖1 文中方法流程圖Fig.1 Flow chart of our method

1 運動捕獲序列語義標注方法

結合金字塔模型和隨機森林進行運動捕獲序列語義標注，其流程如圖1所示.流程主要分為訓練階段和測試階段.在訓練階段，對訓練集中的運動語義片段進行統一骨架預處理，提取2種互補性特征并分別歸一化，構建傅里葉時間金字塔模型,對時間序列進行對齊,得到完整的時空特征向量.在測試階段，運用概率主成分分析方法(PPCA)將一段具有多個語義的運動序列進行語義劃分，得到具有特定語義的子片段集合，通過與訓練階段相同的處理,得到各個語義片段的特征向量，根據訓練階段得到的隨機森林模型,對語義片段進行標注.

1.1人體運動數據表示形式

采用HDM05[8]數據庫中標準的ASF/AMC文件格式.其中,ASF文件表示人體骨架模型.該模型有31個關節點，各個關節點采用樹形層次結構組織.人體在空間中的位置由各個關節點的自由度(DOF)決定，并記錄在AMC文件中，可用矩陣S=[s1,s2,…,sm]T表示，si∈R62，m為運動序列幀數.

1.2運動序列分割

對于原始運動序列，采用PPCA[9]方法將其劃分為不同語義的運動片段.假定一段運動序列為S=[s1,s2,…,sm]T，S∈Rm×62，m為運動序列幀數，具體分割過程有以下6個步驟.

步驟2奇異值分解矩陣D，即D=UΣVT.其中，U,V為單位正交矩陣;Σ為由元素σi組成的非負遞減對角矩陣.

步驟6根據跳變原則，對步驟5獲得的馬氏距離曲線進行分割，得到運動序列的子運動片段Si∈Rmi×62.其中，m=[m1,m2,…,mcut]，mi為第i段運動序列的幀數，cut為分段數.

1.3語義片段預處理

由于AMC格式存儲的運動捕獲數據是由歐拉角表示的，首先，將其轉換為笛卡爾坐標系下各個關節點的空間位置信息，數學描述為P=[p1,p2,…,pm]T，pi∈R3×j，j為關節點數目，m為運動序列幀數.

(a,b).

1.4運動序列標注

1.4.1 傅里葉時間金字塔 由于采樣速度或表演風格的不同，單個運動片段在時間上往往是未對齊的.參考文獻[13]的方法，利用傅里葉時間金字塔模型，將各個運動片段進行對齊.為了獲取一段運動片段的時間信息和全局傅里葉系數，遞歸地將運動片段劃分為金字塔，對所有的劃分片段使用短時傅里葉變換(STFT).序列最終可以表示為所有劃分片段的短時傅里葉變換系數的時序組合，如圖2所示.

1.4.2 隨機森林分類 隨機森林[14](RF)旨在將多個弱分類器融合為一個強分類器，能夠很好地解決多分類問題.同時，RF算法將Bagging和隨機選擇分裂特征結合，能夠有效處理高維數據且不會導致過擬合.因此，采用隨機森林分類器對待測運動片段進行分類.

隨機森林分類過程,如圖3所示.隨機森林是決策樹{h(X,θk)}的集合，X為輸入向量，θk是獨立同分布的隨機向量，決定單棵樹的生長.假定訓練集為T={(xi,yi)}，xi為特征向量，xi∈RN，yi為類別標簽，yi∈R，i=1,2,…,n，待測樣本xt∈RN.具體有以下3個步驟.

圖2 傅里葉時間金字塔 圖3 隨機森林分類器 Fig.2 Fourier temporal pyramid Fig.3 Random forests classifier

步驟1采用給定權重的方法建立隨機向量模型θ.

步驟2構建隨機森林分類器.1) 對原始訓練集T進行Boostrap抽樣，生成訓練集Ti.2) 使用Ti通過CART算法生成一棵不減枝的決策樹hi.a) 從N個特征中隨機選取Ntry個特征；b) 在樹的每個節點上，依據Gini指標從Ntry個特征選取最佳分裂特征作為節點；c) 分裂直至樹生長到最大.3) 循環1)，2)步，直至建立k棵決策樹，樹的集合為{hi}，i=1,2,…,k.

1.5文中算法

結合金字塔模型和隨機森林對運動捕獲序列進行語義標注.輸入：訓練集運動片段{tr1,tr2,…，trn}，測試運動序列test.輸出：加標簽的語義片段{te1,te2,…，tel}.具體有以下6個步驟.

步驟3加標簽.經過步驟1～2，訓練集數據可以表示為矩陣{xtr1,xtr2,…,xtrn}，加入類別標簽ytri為{xtri,ytri}.

步驟4訓練模型.假設決策樹的數量為k.對{xtri,ytri}進行訓練，可得到隨機森林模型{hi}，i=1,2,…,k.

步驟5運動序列語義劃分.使用PPCA方法將測試序列test劃分為具有不同語義的子運動片段組合{te1,te2,…,tel}.

步驟6語義片段標注.使用步驟1,2對語義片段進行處理，得到各片段時空特征向量，則語義片段可以表示為{xte1,xte2,…,xtel}.使用步驟4訓練好的隨機森林模型對{xte1,xte2,…,xtel}進行分類，可得到各個語義片段{te1,te2,…,tel}的類別標簽.

2 結果及分析

2.1實驗數據選取及描述

為了驗證文中方法的有效性，從HDM05數據庫中選取408段不同長度的運動片段組成運動捕獲數據語料庫，并按照不同的運動風格分為12個基本類別，如表1所示.表1中：每類運動包含15～57段不同的運動片段，每個片段包括動作從開始到結束的完整過程，但可以多次重復，如“移動”、“擊拳”、“單腳跳躍”等類型的運動片段包含了2～3次相同的動作.

表1 運動捕獲數據語料庫Tab.1 Corpus of motion capture data

2.2語義片段識別

圖4 4種方法識別率比較Fig.4 Comparison of recognition rate in four methods

為了評估文中語義片段識別方法的有效性，從語料庫中隨機抽取2/3的運動片段用于訓練，其余用于測試.在相同實驗條件下，將文中方法與DTW[1]，HMM[4]，SVM[5]等3種經典的運動識別方法進行比較.基于HMM的方法，為每類運動建立一個隱馬爾科夫模型，每個模型的隱藏狀態數設置為3，每個隱藏狀態所包含的混合高斯分布數也設置為3，通過Baum-Welch算法對訓練集進行學習得到模型的各個參數.在分段基礎上計算識別率，如圖4所示.測試集中每類運動中分類正確的片段數與每類運動總的片段數之比為每個類的識別率，并用條形圖表示.整個測試集中分類正確的片段數與測試集總片段數之比為總識別率(η)，并用線段表示.

由圖4可知：對于各類語義片段，當隨機森林分類過程中決策樹的數量設置為120時，文中方法均能取得較好的識別正確率，而基于SVM的方法在懲罰項c設置為100，核函數半徑g設置為0.001時，在某些類別中也能取得較好的分類結果.由于基于DTW 的相似度匹配方法，只注重運動序列的局部縮放，在全局縮放及統一縮放尺度下效果不佳，且計算比較耗時.基于HMM的方法由于需要提前指定隱藏狀態，而對不同的運動指定相同數量的狀態對其識別結果造成了一定影響. 此外，文中方法總的識別率分

表2 復雜運動捕獲數據序列Tab.2 Complex motion capture data sequences

別為0.54，0.82，0.91，0.96，可以看出文中方法明顯優于其他3種方法，具有更好的識別效果.

2.3運動序列語義標注

為了驗證具有多個運動語義的運動序列的標注效果，選取9個復雜運動序列用于測試分段識別效果，如表2所示.這9個動作序列來自3個表演者BD，BK，DG.每個運動序列均包含多個動作，最短的序列長度為2 469幀，包含16個不同的動作，最長的序列長度為8 527幀，包含18個不同的動作.9個復雜運動序列分割和識別的查準率(P(D))和查全率(R(D))，如表3所示.

為了便于對比分析，手動分割和標注相應復雜運動序列，將查準率和查全率分別定義為

上式中:M(D)為手動標注的結果;A(D)為自動標注的結果.

在一段連續的運動序列中，由于動作的起始和結束位置一般不能精確確定，因此，以分段層次的查準率和查全率定義識別結果，只考慮自動標注與手動標注的結果重疊部分，當自動標注與手動標注有重疊且為相同分類時，則認為該片段正確標注.首先，使用相同的分割算法PPCA對運動序列進行分段；之后，采用在運動片段識別中識別率較高的HMM，SVM與文中方法進行比較.

由表3可知：文中方法能夠得到較理想的查準率和查全率，且更接近真實標注結果.同時，用文中方法對最短和最長的運動序列進行標注，耗時分別為19，56 s，與手動分割和標注方法相比，可節省大量時間，具有一定的時間效率和可用性.

表3 查準率和查全率比較Tab.3 Comparison of precision and recall

3 結束語

針對復雜運動捕獲序列標注，基于分段識別的思想，首先，使用概率主成分分析方法確定動作邊界臨近的過渡幀，將運動序列自動劃分為具有特定語義的運動片段.然后，提取2種典型的幾何特征，在進行數據降維的同時，更好地保留了單幀運動姿態信息.最后，結合傅里葉時間金字塔模型和隨機森林進行自動標注，對運動片段進行對齊，并加入時間信息，進一步提高了方法的識別率.該方法存在一些不足：1) 由于一段運動序列中相鄰運動片段間的過渡區域往往存在歧義，概率主成分分析方法不能精準地分析此類區域中運動幀的具體語義歸屬，從而給后序標注造成影響;2) 進一步提高方法的時間效率，同時，將實驗擴展到連續在線運動的實時分割及標注.

[1] ADISTAMBHA K,RITZ C H,BURNETT I S.Motion classification using dynamic time warping[C]∥Proceedings of the Multimedia Signal Workshops.Cairns:IEEE Press,2008:622-627.

[2] LYU Fengjun,NEVATIA R.Recognition and segmentation of 3D human action using HMM and multi-class adaboost[C]∥Proceedings of the European Conference on Computer Vision.Graz:Springer Press,2006:359-372.

[3] ZHU Hongli,DU Pengying,XIANG Jian.3D Motion Recognition based on ensemble learning[C]∥Proceedings of the International Conference on Image Analysis for Multimedia Interactive Services Workshops.Santorini:IEEE Press,2007:1-4.

[4] XIA Lu, CHEN C C, AGGARWAL J K. View invariant human action recognition using histograms of 3D joints[C]∥Proceedings of the International Conference on Computer Vision and Pattern Recognition.Providence:IEEE Press,2012:20-27.DOI:10.1109/CVPRW.2012.6239233.

[5] BENGALUR M D.Human activity recognition using body pose features and support vector machine[C]∥Proceedings of the International Conference on Advances in Computing, Communications and Informatics.Mysore:IEEE Press,2013:1970-1975.DOI:10.1109/ICACCI.2013.6637484.

[6] HAN Lei,WEI Liang,WU Xinxiao,etal.Human action recognition using discriminative models in the learned hierarchical manifold space[C]∥Proceedings of the International Conference on Automatic Face and Gesture Recognition.Amsterdam:IEEE Press,2008:1-6.

[7] LI Chuanjun,ZHENG Soqing,PRABHAKARAN B.Segmentation and recognition of motion streams by similarity search[J].ACM Transactions on Multimedia Computing, Communications, and Applications，2007,3(3):79-82.DOI:10.1145/1236471.1236475·Source:DBLP.

[8] MULLER M，ROER T，CLAUSEN M，etal.Documentation: Mocap da-tabase HDM05[EB/OL].[2016-03-02].http:∥www.mpi-inf.mpg.de/resources/HDM05．

[9] BARBI V C J,SAFONOVA A,PAN J,etal.Segmenting motion capture data into distinct behaviors[C]∥Proceedings of the International Conference on Graphics Interface.London:Canadian Human-Computer Communications Society,2004:185-194.

[10] SHUM H,HO E S.Real-time physical modelling of character movements with Microsoft kinect[C]∥Proceedings of the Symposium on Virtual Reality Software and Technology.Toronto:ACM Press,2012:17-24.

[11] 楊躍東，王莉莉，郝愛民,等.基于幾何特征的人體運動捕獲數據分割方法[J].系統仿真學報,2007,19(10):2229-2234.DOI:10.3969/j.issn.1004-731X.2007.10.022.

[12] 彭淑娟.基于中心距離特征的人體運動序列關鍵幀提取[J].系統仿真學報,2012,24(3):565-569.

[13] WANG Jiang,LIU Zicheng,WU Ying,etal.Learning actionlet ensemble for 3D human action recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(5):914-927.

[14] BREIMAN L.Random forests [J].Machine Learning,2001,45(1):5-32.

(責任編輯： 錢筠英文審校： 吳逢鐵)

MotionCaptureSequenceSemanticAnnotationViaPyramidModelandRandomForests

XU Meng, PENG Shujuan, LIU Xin

(College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China)

According to the complexity and semantic ambiguity within original motion capture data, we presents an effective motion capture sequence semantic approach via pyramid model and random forests. Firstly, utilize probabilistic principal component analysis to segment motion sequences into several motion clips with certain semantics. Then, the Euler angler data of each motion clip are transformed into three-dimensional space coordinates of each human joint, and the bone lengths are unified. Subsequently, two complementary features are extracted and normalized. Accordingly, the Fourier temporal pyramid model is adopted to represent the spatiotemporal characteristics of motion clips. Finally, the trained random forests classifier is employed to label each motion clip. The proposed approach is able to well annotate complex motion sequences effectively and can be applied to different performers. The experimental results show that it has certain practically and generality.

semantic annotation; probabilistic principal component analysis; fourier temporal pyramid; random forests

10.11830/ISSN.1000-5013.201601011

TP 391

A

1000-5013(2017)06-0848-06

2015-01-06

彭淑娟(1982-)，女，講師，博士，主要從事計算機視覺與計算機動畫的研究.E-mail:pshujuan@hqu.edu.cn.

國家自然科學基金資助項目(61202298， 61300138); 福建省自然科學基金資助項目(2014J01239， 2015J01656); 華僑大學高層次人才科研啟動項目(14BS207); 華僑大學中青年科研提升計劃(ZQN-PY309); 華僑大學研究生科研創新能力培育計劃資助項目(1400414009)