一種運動軌跡引導下的舉重視頻關鍵姿態提取方法

王向東， 張靜文， 毋立芳， 徐文泉

（1．國家體育總局體育科學研究所，北京 100061；2．北京工業大學電控學院，北京 100124；3．北京航空航天大學體育部，北京 100191）

一種運動軌跡引導下的舉重視頻關鍵姿態提取方法

王向東1， 張靜文2， 毋立芳2， 徐文泉3

（1．國家體育總局體育科學研究所，北京 100061；2．北京工業大學電控學院，北京 100124；3．北京航空航天大學體育部，北京 100191）

該文研究并提出了一種軌跡引導下的舉重視頻關鍵姿態自動提取方法。針對舉重訓練，首先提取穩定的杠鈴軌跡，進一步分析杠鈴軌跡和關鍵姿態之間的關系，將杠鈴軌跡和基于姿態集的方法相結合進行關鍵姿態檢測。根據運動軌跡的曲線極值點提取關鍵視頻畫面，而對于其他非軌跡極值點處的關鍵畫面采用基于姿態集的姿態估計和目標檢測方法，對每個關鍵姿態分別訓練了一個線性的支持向量機分類器，建立圖像的多尺度掃描模式，并提出了統計計算相似度的方法來處理幀間相似度問題，實驗表明該文方法在姿態檢測的準確性和效率方面都有很大改善。

軌跡；姿態；關鍵幀；支持向量機

競技體育比賽越來越激烈，為了提高體育訓練的效率，有必要在體育訓練中引入科學、定量的方法。許多競技體育訓練中，需要對運動員動作的準確性進行分析，這就需要提取關鍵的動作姿態，并進一步根據人體關節位置，提取相應訓練參數。

關鍵姿態提取本質上是姿態估計或姿態識別問題，國內外有許多學者對這一問題進行了研究，這些方法可以分為基于特征的方法和基于人體模型的方法?；谔卣鞯姆椒ㄖ苯訌膱D像中提取人體的姿態特征，并通過機器學習建立不同類型姿態的分類器用于姿態識別和估計。常用的人體姿態特征有輪廓統計特征[1-2]、圓形方向直方圖特征[3]、姿態集[4-5]等等。前兩種特征需要根據對象的輪廓邊緣來提取，要求精確的人體分割，而背景、環境的影響使得精確度的人體分割面臨很大的挑戰。姿態集[6]是一個給定視角下的人體姿態的一部分，每個姿態集都是由圖像的梯度直方圖[7]HOG特征訓練學習的一個分類器，圖像的 HOG[8]特征對圖像局部出現的方向梯度次數進行計數，這種特征計算是基于空間一致性的密度矩陣來提高準確率，因此被廣泛采用?；谀Ｐ偷姆椒ㄊ紫冉⑷梭w姿態空間表示，用圖像特征描述人體的各個部分，通過圖像特征推斷求解所對應的空間姿態，確定人體姿態。在文獻[9]中采用了人體的棍狀模型，通過數據庫，多角度、多姿態訓練得來的運動先驗樹模型，確定姿態的空間表示，身體部分模型采用密集采樣的形狀上下文描述符子并用 AdaBoost訓練得到顯著分類器。文獻[10]擴展了最初圖形結構的模型，加入了人體半肢顏色對稱的限制，通過兩次迭代過程，最終確定了人體姿態。

本文針對舉重運動員訓練，提取關鍵姿態。舉重運動一般分六個階段[11]：預備提鈴、伸膝提鈴、引膝提鈴、發力、下蹲支撐和起立，相鄰兩個階段的切換幀為關鍵幀。如圖1所示，其中有些姿態對應于杠鈴運動軌跡的極點位置，有些則不然，這就說明有些關鍵姿態可以通過杠鈴軌跡來確定，有些就需要用其他的方法來提取關鍵幀。

圖1 舉重運動過程及關鍵字姿態幀

針對上述現象，我們提出了一種軌跡引導下的關鍵姿態提取方法。首先用一種點相關統計特性的目標跟蹤方法[7]跟蹤杠鈴的中心點，得到運動軌跡。根據運動軌跡的曲線極值點提取關鍵視頻畫面，而對于其他非軌跡極值點處的關鍵畫面采用基姿態集的姿態估計和目標檢測方法，主要利用圖像的HOG特征，訓練每個姿態的支持向量機分類器，建立圖像的多尺度掃描模式，根據統計結果確定最佳關鍵幀。

1 舉重訓練視頻中杠鈴運動軌跡與關鍵姿態的關系分析

圖2為一段舉重視頻對應的杠鈴運動軌跡，運動過程中的關鍵姿態如圖3所示，為了方便后續分析，為圖2建立圖像坐標系。原點位于圖像左下角，水平向右為x 軸正方向，豎直向上為y軸正方向，可以看出，在運動員舉重過程中，杠鈴在x方向運動不明顯，主要表現為y方向的運動，因此我們描繪舉重過程中，杠鈴的y坐標隨時間變化的情況，如圖4所示，并且在圖中順序的標注相應的5關鍵姿態幀，其中圖3中的5個關鍵姿態幀分別對應了圖4運動軌跡的5個點。

圖2 杠鈴中心點的運動軌跡和圖像坐標系

圖3 舉重視頻中的5個關鍵姿態

圖4 舉重視頻杠鈴中心點y值變化和5個關鍵姿態幀

分析對應的 5個關鍵姿態與杠鈴運動軌跡的關系，從圖中可以看出，關鍵姿態幀中的下蹲和起立的姿態正好在曲線的極值點處，根據運動軌跡，第4、5個關鍵姿態可由曲線的極值點提取出來，而前 3個關鍵姿態則不能根據運動軌跡提取。

綜上分析，直接根據杠鈴運動軌跡可以確定兩個關鍵姿態，另外3個關鍵姿態與軌跡極點無關，需要引入另外的特征，因此我們設計了一種關鍵姿態檢測方案，該方案綜合杠鈴軌跡和姿態集特征，能夠穩定地提取關鍵姿態。

2 軌跡和姿態集相結合的關鍵姿態自動提取方案

2.1 方案框架

我們的方案結合了杠鈴運動軌跡和姿態集訓練方法。首先跟蹤杠鈴運動，這里采用武文斌等[7]提出的基于點相關統計特性的目標跟蹤方法，進一步跟蹤結果描繪杠鈴運動軌跡，然后，根據杠鈴運動軌跡確定第4和第5關鍵姿態，同時確定前3個關鍵姿態的搜索范圍，采用基于姿態集的方法依次提取3個關鍵姿態，方案框圖如圖5所示。

圖5 方案框圖

2.2 基于姿態集的關鍵姿態提取算法

基于姿態集的關鍵姿態提取算法屬于機器學習方法，也包括模型訓練和姿態提取兩部分，算法的框架如圖6所示。

圖6 基于姿態集的關鍵姿態檢測算法框架

對于一種姿態，我們收集同類姿態對應樣本作為訓練集，其他姿態和背景作為負樣本，圖7為一組正負樣本示例。提取所有樣本的HOG特征[8]，一種姿態訓練一個分類器，每一個分類器都是一個線性的 SVM，由于我們采用了整個人體的姿態特征，因此訓練的模型的穩定性較好。

圖7 發力姿態的訓練集樣本示例

為了進一步提高算法的魯棒性，我們設計了二次訓練的框架，即用初次訓練的結果對訓練樣本進行測試，把姿態不符合要求的檢測窗口作為hardnegtives加入負樣本中重新進行SVM分類器訓練。

2.3 基于多尺度統計相似度的姿態檢測算法

為了保證姿態檢測的尺度不變性，我們對一幀圖像在不同尺度上進行姿態檢測。圖8是多尺度檢測金字塔示意圖，在同一尺度下，將檢測窗口以一定步長在圖像平面滑動，提取對應窗口的HOG特征輸入到相應姿態的分類器，即可判定該窗口是否為相應關鍵姿態。

設p(x,y,li,FK)代表某幀視頻的一尺度下的某個位置， φ( w ,h,p,Fk)表示該幀畫面中點在 p的位置窗口為w×h的HOG特征向量，W為姿態分類器的支持向量機的權重，定義：

則定義在第K幀上分類器的檢測點數為：

圖8 多尺度掃描金字塔

在姿態檢測階段，由于空間姿態的漸變特性，可能會在連續多幀圖像中檢測到某一姿態的相似姿態，針對這一問題，文獻[5-6]都是對檢測結果進行聚類，最后給出物體的所在位置，而我們的方法則不是對檢測結果進行聚類。我們提出了統計相似度的概念。將全部尺度下，相應姿態對應分類器輸出相加，即得到該姿態的統計相似度ScoreK，統計相似度最大的視頻幀的姿態，即為對應的關鍵姿態。

3 實驗結果分析

3.1 實驗數據

我們收集了 30段舉重視頻作為實驗數據，這些視頻有的是比賽視頻、有的是訓練視頻，采集環境、背景都有很大不同，圖9為實驗訓練集的幾個視頻。

隨機選取其中的 22段視頻作為訓練集，8個視頻序列作為測試集，每個姿態提取 30個正樣本，然后將每個樣本進行水平鏡像操作，這樣每個姿態包含 60個正樣本，隨機抽取視頻中的300～400個窗口作為負樣本。

圖9 實驗視頻示例

3.2 二次訓練的作用

為了對比一次訓練的分類器和二次訓練的分類器的性能，對相同的視頻序列，用某一個關鍵姿態對應的兩個分類器進行姿態檢測，其統計相似度值如圖10所示。

從圖10可以看出，雖然兩個分類器得到的統計相似度峰值相同，但顯然一次訓練的分類器有許多較大的干擾值，這也大大增加了誤檢的概率。相比之下，二次訓練的分類器干擾值就少很多，也小很多，這也在一定程度上保證了檢測結果的穩定性。

3.3 對比實驗

對比了本文提出的方法和基于姿態集的方法，對比實驗結果見表1。基于姿態集的方法對姿態4的檢測結果并不好，這是由于不同運動員下蹲姿態變化較大，因此很難提取穩定的結果。而本文提出的方法，利用軌跡極點提取姿態4和5，準確度非常高。在本文中基于姿態集提取姿態1, 2, 3時，也采用了基于姿態集的方法，因此檢測結果沒有變化。

圖10 兩次訓練的分類器檢測結果對比

圖11給出了一組檢測結果示例圖，圖中前3個姿態用矩形框標出了關鍵姿態的準確位置，這是根據姿態及訓練的樣本得到的，后面兩個姿態直接由軌跡極點得到，因此沒有標出關鍵姿態的準確位置，這并不影響后續應用。

表1 實驗檢測結果

圖11 一組檢測結果示例

4 總 結

針對舉重訓練的應用，本文提出了一種杠鈴運動軌跡與姿態集方法相結合的人體關鍵姿態提取方法，分析了關鍵姿態和杠鈴運動軌跡的關系，對于和杠鈴軌跡極點直接相關的姿態，直接由運動軌跡確定，對于其他非軌跡關鍵姿態，則通過姿態集學習方法進行姿態檢測。試驗結果表明：①本文方法在姿態檢測的準確性和效率方面都有很大改善。②本文結果可以應用于舉重訓練中訓練參數的提取，手工確定關鍵幀中關節位置，則可提取定量訓練參數。③本文進一步研究工作將集中在人體關節位置的自動提取方面，以待全面實現訓練參數的自動提取。

[1] Cheema S, Eweiwi A, Thurau C, Bauckhage C. Action recognition by learning discriminative key posese [C]//ICCV, Barcelona, 2011: 1302-1309.

[2] Wang Yang, Jiang Hao, Drew M S, Li Zenian, Mori G. Unsupervised Discovery of Action Classes [C]//CVPR, 2006: 1654-1661.

[3] Ikizler N, Cinbis R G, Pehlivan S. Recognizing human actions from still images [C]//CVPR, Haspolat, 2008: 1-4.

[4] Bourdev L, Maji S, Brox T, Malik J. Detecting people using mutually consistent poselet activations [C]// ECCV city: Heraklion, Crete, Greece, 2010: 168-181.

[5] Yang Weilong, Wang Yang, Mori G. Recognizing human actions from still images with latent poses [C]// CVPR, 2010: 2030-2037.

[6] Bourdev L, Malik J. Poselets: body part detectors training using 3D human pose annotations [C]// ICCV, 2009: 1365-1372.

[7] 武文斌, 毋立芳, 王曉芳, 王向東. 一種點相關統計特性的目標跟蹤方法[J]. 中國科技論文, 2012, 7(1): 28-32.

[8] Dalal N, Triggs B. Histograms of oriented gradients for human detection [C]//CVPR, 2005: 886-893.

[9] Andriluka M, Roth S, Schiele B. Pictorial structures revisited: People detection and articulated pose estimation [C]//CVPR, 2009:1014-1021.

[10] Ramanan D. Learning to parse images of articulated bodies [C]//NIPS, 2007: 1129 -1136.

[11] 王向東, 毛 勇, 劉夢飛, 尚 健. 優秀女子舉重運動員抓舉技術的運動學研究[J]. 成都體育學院學報, 2009, 35(2): 51-53.

[12] Wu Lifang, Zhang Jingwen, Yan Fenghui. A poselet based key frame searching approach in sports training videos [C]//APSIPA ASC, Hollywood, 2012: 1-4.

A Key Pose Frame Extraction Approach Combined with Trajectory from Weightlifting Video

Wang Xiangdong1, Zhang Jingwen2, Wu Lifang2, Xu Wenquan3
(1. Sports Research Center, General Administration of Sport of China, Beijing 100061, China; 2. Department of Electronic Information and Control Engineering, Beijing University of Technology, Beijing 100124, China; 3. Institute of Physical Education, Beihang University, Beijing 100191, China)

In this paper, a trajectory guided scheme is proposed to extract the key poses frame automatically. First, the barbell trajectory is extracted from the weight lifting sport video. Then the barbell trajectory and poselet are combined for pose extraction. Some key poses are extracted from the extreme point of the barbell trajectory. But the other poses are extracted by using the poselet based algorithm. SVM(Support Vector Machine) classifiers based HOG(Histogram of Gradient) is trained for each pose. Then the pose is detected in the multi-scale images. Statistical similarity is computed in multi-scale to measure the possibility and determine which is the best key frame. It resolves the problem of higher inter-frame similarity. The experimental results show that the proposed scheme can improve both the precision and performance of pose extraction.

trajectory; pose; key frame; support vector machine

TP 391

A

2095-302X (2014)02-0256-06

2013-10-28；定稿日期：2014-01-14

國家自然科學基金資助項目（61040052）；北京市優秀人才資助項目（2009D005015000010）

王向東（1973-），男，山西太原人，研究員，博士。主要研究方向為運動生物力學與運動技術診斷。E-mail：wxd219@gmail.com

徐文泉（1969-），男，北京人，副教授，碩士。主要研究方向為運動訓練學與心理學。E-mail：1969110@sina.com