面向體育測試的人體運動姿勢實時識別研究

周 川，秦 蕾，毛小薇，文佳洛，王張車兒，李 聰

（1.國網湖北省電力有限公司中超建設管理公司，湖北 武漢 430015；2.武漢城市學院 信息工程學部，湖北 武漢 430083）

0 引言

隨著科技的不斷發展，越來越多的任務被機器代替，其中傳統的體育測試方式也不例外。目前，傳統的體育測試主要依靠人工記錄，這導致測試時間較長且需要大量人力資源。因此，迫切需要建立一套智能、高效的體育測試系統，以幫助高校減輕體育教學負擔，并減少體育測試開銷。

目前，體育測試檢測方法可以分為兩種。一種是基于外部傳感器（如智能穿戴設備）的方法，這種方法的主要原理是將傳感器放置在體育測試對應的環境中，采集人體的運動數據，通過對采集到的數據進行機器學習等分析，可以實現對體育測試所需各項指標的檢測和評估；另一種是基于計算機視覺的體育測試的人體運動姿態檢測，通過對視頻或圖片進行特征提取［1］、骨骼綁定、目標跟蹤、深度學習［2］等以獲取人體運動姿勢，通過姿勢判斷是否符合相關體育測試運動，以完成體育測試的成績記錄等。

傳感器方法和計算機視覺方法是兩種常用的體育測試方法。傳感器方法需要外部設備，使用范圍較窄，針對不同的體育測試項目需要不同的傳感器，而且硬件成本較高。針對計算機視覺方法具有檢測精度低和計量準確度不高的問題，本文提出了一種基于OpenPose［3］改進的人體運動空間融合姿態識別分析模型（Posture Recognition of Spatial Fusion，Pos-RSF），并將它與以前的SOTA 方法進行比較。

目前，已有不少相關研究，Fang 等［4］提出Part-Guided Proposal Generator（PGPG）和多領域知識蒸餾以進一步提高精度，解決了在不準確的邊界框和冗余檢測情況下同時跟蹤人體的問題，但對場景適應性不強且需要較高的硬件條件。William 等［5］提出一種新的體重轉移方案，能夠以靈活的方式加速神經進化，生成的網絡可用更少的計算得到更高的分辨率處理圖像。但由于深度可分離卷積的內存訪問量較高，受到內存帶寬和數據IO 的限制，故在GPU 上的運行速度較慢。Wang 等［6］提出從一個高分辨率卷積流開始，逐步逐個添加高低分辨率卷積流，并將多分辨率流并行連接。它保留了高分辨率支路，對小目標比較友好，但網絡結構相對復雜，不適用于對計算資源受限的場景。Feng 等［7］提出一種新的分布感知坐標表示關鍵點（DARK）方法。通過生成精確的熱圖分布以改進標準坐標編碼過程，以進行無偏模型訓練，顯著提高了最先進的人體姿勢估計模型的性能。

綜上所述，當前研究多集中于多人姿態識別準確度檢測，而針對體育測試中的體育測試識別，準確度不高且實時性有待提升。鑒于此，本文提出在體育測試中的人體運動空間融合姿態識別的分析模型Pos-RSF。根據PAFs 方法，通過編碼肢體位置和運動圖像檢測向量，以解決面向體育測試人體姿勢識別時檢測準確度不高、實時性較差等問題。實驗結果表明，將該模型運用于體育測試的人體姿態檢測具有良好表現。

1 人體運動姿勢圖像采樣與姿勢特征提取

1.1 人體運動姿勢圖像采樣

對于體育測試中的人體運動姿態識別，本文主要以圖像處理與大數據分析相結合的方法為基礎，結合人體運動特征和特征數據提取，構建高校體育測試的人體運動姿勢圖像和數據分析模型，根據相關特征挖掘方法，對體育測試中的人體進行運動姿態數據信息的模糊度聚類分析，并對體育測試中的人體運動姿態數據進行建模，構建Pos-RSF 模型，從而實現對體育測試中的人體運動姿勢圖像識別。在該過程中，進行體育測試的人體運動姿勢圖像采集流程如圖1所示。

Fig.1 Flow of sports posture image acquisition in sports test圖1 體育測試中運動姿勢圖像采集流程

1.2 人體運動骨骼信息提取算法

對于人體骨骼信息的研究，目前主流的兩種思路是自頂向下（Top-Down）和自底向上（Bottom-Up）。自頂向下的人體骨骼信息檢測算法一般流程是：先檢測出圖片中人體的頭部，再根據頭部位置單獨對每一個人體骨骼的關鍵點進行預測。該方法的計算量會隨著人數的增多而上升，但對不同尺寸的人體精度更高，通俗而言，該方法更準確。AlphaPose、RMPE［8］和Mask-RCNN［9］都屬于自頂向下檢測。自底向上（Bottom-Up）的人體骨骼信息檢測算法是先檢測到所有關鍵點，再進行關鍵點聚類，組合成人體。該方法的計算量不會隨著人數的增多而上升，通俗而言，該方法更快（人越多的時候越明顯）。常見算法有Deep Cut、Part Segmentation 等。為了能夠更好地對體育測試人員的人體運動姿勢圖像進行實時識別，本文對OpenPose 算法加以改進，提出了更適合體育測試中人體運動姿態識別的Pos-RSF 模型。

OpenPose 的主要網絡架構如圖2 所示，它主要以卷積神經網絡為基礎，檢測準確度很高，但所需要時間較長，不能滿足于體育測試中的人體運動姿態識別。鑒于此，本文在Open Pose 的網絡結構上加以改進，提出了Pos-RSF 模型，其主要網絡架構如圖3所示。

Fig.2 Main architecture of OpenPose network圖2 OpenPose網絡主要架構

Fig.3 Main architecture of Pos-RSF network圖3 Pos-RSF網絡主要架構

OpenPose 通過傳統卷積神經網絡VGG19［10］進行特征提取得到特征圖F，但對于VGG19 而言，深度的增加將影響網絡收斂速度，反而會影響檢測效果。因此，本文Pos-RSF 模型用ResNet18［11］結構代替VGG19 結構，得到特征圖F。ResNet18 網絡結構如圖4 所示，它與VGG19 相比，本身參數量更少，在結構上也不再是簡單的卷積核堆疊，而是利用殘差結構的理念解決了深層網絡中梯度消失和梯度爆炸的退化問題。

Fig.4 ResNet18 network structure圖4 ResNet18網絡結構

ResNet18網絡通過4個殘差層從不同尺度對特征進行提取，每個殘差層由兩個Basicblock 殘差塊構成，如圖5 所示。隨著網絡深度的增加，使用跳級連接的方式創建了兩條捷徑，并在卷積核之間添加了ReLU 激活函數以保證網絡的非線性。在訓練過程中，主路徑和卷積路徑的特征不斷融合。

Fig.5 ResNet18 residual structure圖5 ResNet18殘差結構

對于OpenPose 原本雙分支神經網絡的第t階段的7×7的卷積核，本文Pos-RSF 模型換成了3 個連續的3×3 卷積核。這樣的替換可以減少計算量，同時保留了接收域。具體而言，原先的操作數為2 x 7 x 7 -1=97，而替換后的操作數僅為51，速度更快。

如圖6 所示，在雙分支卷積神經網絡中，第一個分支（S1至St部分）用于預測人體關節點位置的置信相關度熱力圖（Confidence Map）。該熱力圖可以表示出每個像素點上某個關節點存在的概率，從而幫助定位人體關節點的位置。

Fig.6 Prediction network structure of confidence and affinity of key points圖6 關鍵點置信度與親和度預測網絡結構

而第二個分支（L1至Lt部分）則用于檢測人體部分相關度字段在骨骼中的位置走向，并將其表示為像素點。這個分支可以幫助建立起人體骨骼的連接關系，從而獲取到更加完整的姿態信息。

設S表示關節點置信相關度熱力圖，S=(s1，s2，…，sj)，它由j個子圖組成，其中Sj∈Rw×h，j∈(1，2，…，J)，其中j表示圖像中人體關節點的個數；設L為人體部分相關度字段，L=(L1，L2，…，LC)，Lc∈Rm×xh×2，c∈(1，2，…，C)，C是骨骼連接數，L由C個向量圖組成，每個向量圖都記錄了骨骼連接的方向，這些方向都在二維空間中。

由卷積神經網絡預測的關節點2D 置信相關度熱力圖S1如式（1）所示，人體部分相關度字段L1如式（2）所示。

對Stage1 進行前向計算，得到兩個預測結果S1和L1。將這兩個預測結果與原始特征F進行整合，形成一個新的輸入值。這個新的輸入值將被用于下一步分析和預測。其公式分別如式（3）、式（4）所示。

卷積神經網絡中的兩個分支都是迭代級聯結構，各階段都要通過L2 范式進行Loss 計算，再對關鍵點2D 置信相關度熱力圖和人體相關度部分字段進行迭代預測，其公式如式（5）和式（6）所示。

其中，是標注的人體部分相關度字段。在該式中，對于每個像素點p，其權重W(p)表示該點是否被標注，如果未被標注，則權重為0。第t個回歸輸出中第j個部位的置信相關度熱力圖在點p上的響應結果表示為W(p)。同時，第j個部位的相關度向量場在點p上的向量表示為(p)。最終，整個網絡的損失函數由各階段的損失項組成，其公式如式（7）所示。

Pos-RSF 模型使用關節點2D 置信相關度熱力圖以檢測人體骨骼關節點，這些置信相關度熱力圖表示每個像素位置上出現特定身體關節的可能性。在單人檢測時，置信相關度熱力圖中會有一個響應值；而在多人檢測時，對于每個關節點，會計算其對應p點在置信相關度熱力圖中的響應值。對應p點的置信相關度熱力圖，其公式如式（8）所示。

其中，k是圖像中序號為k的人，它的身體部分記作j，對于每個人的身體部位，使用置信相關度熱力圖(p)表示該部位在圖像中每個像素位置出現的可能性。同時，使用標定位置xj，k和σ調整置信相關度熱力圖的峰值范圍。最終，所有人的(p)最大值決定了該位置的置信值，其公式如式（9）所示。

式（5）—式（9）計算了p點的置信值。

對關鍵點進行分析和處理得到熱力圖標簽（見圖7），它們反映了關鍵點的位置信息。接下來，可以通過計算這些關鍵點之間的關聯性，將它們連接起來形成骨骼結構。

Fig.7 Key point thermogram label圖7 關鍵點熱力圖標簽

圖8 的研究對象是肢體c，坐標分別用來表示在第k個人肢體上的兩個骨骼關節點，p是圖像上任意一點。當p在肢體上時，人體相關度字段在p點的向量(p)是單位向量v，表示p點與肢體c的相關度程度。當p不在肢體c上時，Lc，k(p)的值是0，表示p點與肢體c沒有相關度關系。在計算第k個人肢體c上的相關度向量場L時，其公式如式（10）和式（11）所示。

Fig.8 Schematic diagram of limb movement圖8 肢體運動示意圖

其中，xj，k表示肢體方向上的單位向量，該向量表示第j個關鍵點在第k個人身上的位置。當判斷點p是否存在于肢體c上時，需要設定該點的范圍。具體而言，可以使用式（12）確定點p在肢體c上的范圍。

其中，μ1用來表示肢體寬度，肢體長度則是用lc，k=(xj2，k-xj，k)2加以表示，p點的真實值為所有人在p點的部分相關度力向量場的平均值，其公式如式（13）所示。

其中，非零向量的個數是nc(p)，在獲得二維坐標中的關鍵點后，需要對它們之間的關系進行評估。這可以通過計算連接這些關鍵點的線的權重值加以實現。其公式如式（14）和式（15）所示。

由于視頻圖像會有多人的情況，就會檢測出多個關節j在一個關節點置信相關度熱力圖的情況，j∈{1，…，J}。設關節集合為中分別是檢測出的關節類型是j1和j2的集合，m和n分別是和中的點。j1中的第m個點和j2中的第n個點的連接狀態用表示，其公式如式（16）所示。

多維匹配問題是關于關節點之間的最優匹配問題，可以通過匈牙利算法對上式求解，其中Pos-RSF 模型使用上式獨立地求解子問題為最優解。其公式如式（17）所示。

最終通過Pos-RSF 模型輸出得到的人體骨骼信息通過骨骼坐標點加以表示，其中每個關鍵點對應于人體的18個部位，如鼻子、脖子、肩膀、手腕等，它們分別對應的映射點如圖9所示。

Fig.9 Location map of eighteen key points of human body圖9 人體18個關鍵點位置圖

2 仿真實驗

2.1 仰臥起坐狀態機

仰臥起坐是一項非常重要的運動，可幫助人們強身健體。在這項運動中，測試人員需要平躺在地上，膝蓋彎曲成90°，雙腳放在地上。同伴可以用雙手按住腳踝，但不能使用器械固定腳步，否則會減少腹部肌肉的訓練效果。測試人員需要利用腹部肌肉的力量將雙手放在腦后，并且雙手越貼近后腦勺，動作就越難做。通過腹部肌肉的收縮，測試人員可以將上半身向前抬起，然后回到躺姿，不斷重復這個動作。仰臥起坐運動狀態機流程如圖10所示。

Fig.10 Flow of sit-up motion state machine圖10 仰臥起坐運動狀態機流程

2.2 仰臥起坐識別原理

該系統的首要難點是特征值的樣品采集和提取，它有兩個非常重要的組成部分：①骨骼特征序列；②運動特征序列。

人體的骨骼點分布可以用角度加以描述，這些角度表示骨骼點之間的相對位置和關系，其人體的骨骼點分布在二維平面的相對應角度如圖11 所示。為了更直觀地理解和分析姿勢數據，可以將這些數據映射到直角坐標系中，（見圖12），以更好地觀察和分析骨骼位置。在直角坐標系中，每個骨骼點都可以用一個坐標點表示，連接起來就形成骨骼。

Fig.11 Feature extraction action圖11 特征提取動作

Fig.12 Action coordinate map圖 12 動作坐標映射圖

XOY 平面的法向量如式（22）所示

由此可得旋轉角α，如式（23）所示。

在運動姿勢識別中，針對每個關鍵時間點的每個關鍵姿勢特征，會提取與之對應的角度所組成的骨骼特征序列，這是通過上面描述的骨骼角度方法計算得到。為了更準確和全面地識別運動姿勢，分別對運動特征和骨骼特征進行同步分類提取，以提高其準確性和完整性。這意味著針對運動特征和骨骼特征，將會分別進行分類和提取，以提高識別準確性和完整性。

2.3 運動特征提取

仰臥起坐人體運動關鍵姿勢轉化如圖13所示。

Fig.13 Motion posture transformation圖13 運動姿勢轉化

不同姿勢轉換是仰臥起坐運動識別的關鍵，其中仰臥狀態和起坐狀態所占比例為c1：c2。假設一個仰臥起坐的周期滿分為m，那么在實際情況下m為100 分。仰臥起坐狀態的相似度為k，根據公式得到最終成績如式（24）所示。

2.4 功能展示

在進行仰臥起坐運動時，正確的動作要求非常嚴格。根據《國家學生體質健康標準》可知，測試人員必須先平躺在墊子上，雙腿稍微分開，膝蓋彎曲呈90°夾角，雙手緊貼在腦袋后面。在仰臥起坐測試中，每次超過膝蓋算作一次完成。運動過程實測情況如圖14所示。

Fig.14 Actual measurement of movement process圖14 運動過程實測

3 實驗結果與分析

3.1 實驗數據集

本文將提出的Pos-RSF 模型在兩個人體姿態估計數據集（MS COCO［12］數據集和MPII 數據集）上進行了實驗。MS COCO 的全稱是Microsoft Common Objects in Context，它是一個數據集，其大部分數據來自于各種復雜的生活場景，并包含了91 類不同的目標物。在將MS COCO 用作數據集進行預處理操作時，可以提高實驗數據的可靠性，從而獲得更好的目標識別效果。數據預處理部分主要對數據進行歸一化處理和數據增強處理。通過這些預處理操作，可以使得網絡訓練過程更加穩定和有效。MPII［13］數據集包含了410 種不同的人類活動，并且每個圖像都附帶有對應的活動標簽。這些圖像是從YouTube 視頻中提取，并且還提供了每個圖像之前和之后的未注釋幀。對于測試集，MPII 數據集提供了更豐富的注釋，包括身體部位的遮擋情況以及3D 軀干和頭部的方向信息。這些注釋對于進行人體姿態估計和行為識別等任務非常有幫助，并且能夠提供更準確的結果。

3.2 評估指標

本文模型框架在高分辨率網絡的基礎上進行構建。模型訓練數據集為2020MS COCO 數據集，評估指標為目標關節點相似性（Object Keypoint Similarity，OKS），其公式如式（25）所示。

其中：dpj表示任意一個人的實際關節點和預測點之間的歐式距離；表示目標尺度因子，用于校正不同人體目標之間的尺度差異表示對所在目標的第i個關節點的歸一化因子，用于歸一化關節點的坐標；δ是一個函數，用于計算和篩選可見的點；vpi即第k個人的第p個關節點是否可見的結果；i為關節點的id；p為人體目標實例的id。

3.3 模型比較

3.3.1 基線模型

（1）AlphaPose。自上而下的算法，也即先檢測到人體，再得到關鍵點和骨架，因而其準確率、Ap 值比OpenPose高。但缺點是隨著圖片上人數的增加，計算量增大，速度也相應變慢。

（2）DarkPose。通過生成精確的熱圖分布改進標準坐標編碼過程（將地真坐標轉換為熱圖），以進行無偏模型訓練。將此與分布感知解碼方法結合起來，提出一種新的分布感知坐標表示關鍵點（DARK）方法。

（3）EvoPose2D。提出一種新的權重轉移機制，該方案可以放松保留函數的突變，從而能夠靈活地加速神經進化。該方法產生的2D 人體姿態網絡設計比最新的手工設計網絡更有效、更準確。實際上，產生的網絡可以使用較少的計算以處理高分辨率的圖像，這使得2D 人體姿態估計界限得以突破。

（4）HRNet。采用一個多階段的網絡結構，其中從一個高分辨率子網開始，逐步增加由高到低分辨率的子網，并將它們并行連接在一起。在多尺度融合過程中，重復地讓每個高分辨率表示從其他并行表示中接收信息，以產生豐富的高分辨率表示。這種設計可以使得預測的關鍵點熱圖［14］更準確，并在空間上更精確。通過這種方式，HRNet 能夠有效地處理不同尺度的特征信息，提供更優秀的關鍵點預測性能。

3.3.2 與基線模型比較

本文將Pos-RSF 與其他方法進行了比較，如表1 所示。Pos-RSF 的總體得分PCKh@0.2 為91.2%，與最先進的技術相比有顯著提高。值得注意的是，Pos-RSF 在所有個體關節組的姿勢估計中都比以前的SOTA 方法有所改進，證明了框架的魯棒性和準確性，特別是在更難檢測的關節，比如腳踝和手腕都有明顯提升。

Table 1 Comparison of Pos-RSF and other SOAT methods on MPII data sets表1 Pos-RSF與其他SOAT方法在MPII數據集上的比較（%）

進一步評估不同對象、不同大小的精度如表2 所示。結果顯示，Pos-RSF 在AP50、AP75 不同閾值精確度上相較于AlphaPose 分別提高7.18%和47.63%；Pos-RSF 在APM、APL 的指標下對AlphaPose 分別提高10.37%和22.72%；Pos-RSF 在AP50、AP75 不同閾值精確度上相較于Dark-Pose 分別提高1.10%和13.22%；Pos-RSF 在APM 的指標下對DarkPose 分別提高2.33%；Pos-RSF 在AP50、AP75 不同閾值精確度上相較于HRNet 分別提高0.88%和1.68%；Pos-RSF 在APM、APL 的指標下對HRNet 分別提高3.04%和0.36%；Pos-RSF 在AP50、AP75 不同閾值精確度上相較于EvoPose2D 分別提高2.69%和6.57%；Pos-RSF 在APM、APL 的指標下對HRNet分別提高9.55%和6.49%。

Table 2 Comparison and validation of Pos-RSF and SOTA methods on COCO dataset表2 Pos-RSF與SOTA方法對COCO數據集的比較驗證（%）

結果表明，面向體育測試的人體運動空間融合姿態識別分析模型（Pos-RSF）在測試數據集上優于其他傳統或基于CNN 的預測模型。改進主要體現在以下方面：①Pos-RSF 提出了使用部分相關度字段表示關節點間關聯度，提高了聚類準確性和效率；②采用了融合邊緣輪廓特征分解的方法處理體育測試人體運動姿態特征表達，并且在其基礎之上建立了人體運動空間融合的姿態識別分析模型，利用梯度下降方法實現體育測試中人體運動姿態圖像的區域分塊分割，使得體育測試中人體運動姿態圖像滿足稀疏特征值要求。

3.4 模型應用測試結果

系統測試過程中，對不同的人進行了多次測試。對測試樣本進行結果分析，得出運動次數和運動識別率如表3所示。

Table 3 Statistics of test results表3 測試結果統計

結果表明，仰臥起坐的運動辨識度非常好，運動姿勢識別功能很強。由此可以看出，這種技術方法有著相當高的辨識能力，同時能夠對活動過程作出較為準確的認識判斷。這樣的技術曾試用在部分學校活動中，而且受到了校方和教師的充分肯定。

4 結語

為了將姿勢識別更好地應用于體育測試，本文提出了Pos-RSF 模型，通過估計的姿勢判斷相關體育測試項目，并獲取相關項目的體育測試成績。同時，可根據測試者的運動姿態，判斷其運動姿勢是否標準等。實驗結果顯示，采用本文模型進行人體運動姿勢圖像識別準確性和實時性較好，滿足體育測試基本要求。同時，該方法在體育活動中的人體運動姿勢糾正方面具有一定實際應用意義。