投影子空間下人體動作序列預測研究

2025-08-28 00:00:00岳曉玉章璐璐

現代電子技術 2025年16期

DOI：10.16652/j.issn.1004-373x.2025.16.008

中圖分類號：TN915.04-34；TP391.4 文獻標識碼：A 文章編號：1004-373X（2025）16-0045-05

Prediction of human motion sequence in projection subspace

YUEXiaoyu，ZHANGLulu （Nanjing Tech University，Nanjing211816，China）

Abstract：Inordertocomprehensivelyextractmotion features fromdiferentviewinganglesandimprove therobustnessof perspectivechanges，thepredictionmethodof human motionsequence in projectionsubspaceisproposed.Intheprojection subspace，the3DhumanmovementscapturedbyKinectcameraareconvertedinto2Dhumanmovementsequeneswithdiferent anglesof mainview，leftviewandtopview.Inthemulti-neighborhoodglobaladaptivegraphneuralnetwork，theadaptivegraph convolutionisusedastheencodertoextractthe2Dhumanactionsequencefeaturesfromthethreeviewingangles，soasto improvetherobustnessof thenetwork tothechangesof viewingangles.Thegatedrecurentunitbasedonmulti-neigborhod globaladaptivegraphconvolutionisusedasthedecoder，andcombinedwiththehumanmotionsequencecharacteristicsto obtainthehumanmotionsequencepredictionresultsunderdiferentviewingangles.Thefusionmoduleisused tofusethe predictedresultsof actionsequences fromvarious perspectives bymeansofthevoting fusion strategy，soas toobtain the final predictioresults.Theexperimentalresultsshowthattheproposedmethodcanefectivelyconvert 3Dhuman motionandobtain 2D human motionsequence.This method caneffectivelypredict humanactionsequence，andthedeterminationcoeffcientsof action sequence prediction arehigher under diferent viewing angles，thatis，the prediction accuracy is higher.

Keywords：human actionsequence prediction;projectionsubspace；2D action;feature extraction；adaptive graph convolution; gated recurrent unit

0 引言

人體動作序列預測是按照歷史人體動作序列數據，對后續動作序列的發展趨勢進行預測。在體育訓練場景下，預測人體動作序列可幫助教練清晰分析運動員的動作，并按照預測結果調整訓練計劃，增強運動員的動作標準度，提升運動成績2-3]。因此，研究人體動作序列預測方法具有重要意義。

文獻[4]融合處理不同時段人體動作序列的三維點云數據，利用時空鄰域分割數據，通過三層Meteor模塊提取人體動作特征，再結合全連接網絡預測人體動作序列。在視角改變情況下，三維點云數據的形態會發生改變，導致數據分割精度下降，降低特征提取精度。文獻[5]利用空間位置關系學習模塊統計關節點間的相對位置分布，提取空間位置特征；采用時間位置關系學習模塊統計相鄰幀間關節點的位置變動，提取時間位置特征，通過時空位置關系融合模塊加權融合空間與時間位置特征；利用時空變化特征學習模塊結合融合特征，預測人體動作序列。該方法是按照固定視角進行動作序列預測，對視角變化的魯棒性不足。文獻[6]通過ResNet-50網絡提取人體動作特征，采用卷積塊注意力模塊優化特征圖，使用ConvLSTM（卷積長短期記憶網絡）在優化特征圖內提取時空特征，并輸出人體動作序列預測結果。但ResNet-50網絡無法完全適應視角變化帶來的圖像差異。文獻[7]利用圖卷積網絡（GCN）挖掘骨架關節點間的空間特征，采用LSTM提取人體動作的時間序列特征，通過融合兩個特征得到人體動作序列預測結果。但LSTM無法適應視角變化帶來的數據差異，對視角變化的魯棒性欠佳。

在3D空間下，由于相機視角的多樣性，難以探索動作在不同視角下的綜合表征。利用投影子空間方法將3D動作投影成2D動作，可以在不同子空間視角下進行動作表征，提升動作特征提取的全面性以及對視角變化的魯棒性。為此，本文提出一種投影子空間下人體動作序列預測方法，提高預測準確性。

1人體動作序列預測

1.1投影子空間下人體動作維度轉換

令Kinect相機采集的3D人體動作序列樣本數量是M ，第 m 個3D人體動作序列樣本是 X_m ，在投影子空間下，將 X_?m 投影到主視圖、左視圖、俯視圖三個視角的2D子空間內，獲取對應的2D人體動作序列[9-1]。通過多維正交判別子空間投影（MDSP）方法確定投影向量集，令主視圖、左視圖、俯視圖的2D人體動作序列分別是 P_q1 、P_q2?P_q3 ，每個 P_qi（i=1，2，3）包含 N 個投影向量，即 P_qi= {p_qi^（n）T}_n=1^N ，其中 q=1，2，…，Q，Q 為投影向量集。利用張量到矢量投影方法[2]，通過 P_qi 得到投影后的向量 ρ_m1 、，表示為：

通過設置投影后2D人體動作序列在各視圖方向上的類間離散度 S_qi 類內離散度以及準則函數 L_qi ，搜索最佳投影向量集[13]，公式如下：

最大化 L_qi 可得到最佳投影效果，公式如下：

通過添加基向量 h_qi ，令各視角投影后的特征向量正

交，hq的第m個元素是hq（m）=Pm

約束條件為：

式中 y_m 的第 l 個元素的基向量是表示為：

采用迭代法求解 P_qi 中的 p_qi^（n*），迭代時將其他 N-1 個投影向量固定，改變 p_qi^（n*）使 L_qi 最大并滿足正交約束，此時 p_qi^（n*）的求解公式為：

式中：

通過特征分解求出 p_qi^（n*），不斷迭代改變 n^* ，求出 P_qi 的所有投影向量，得到 P_q1，P_q2，P_q3 ；再采用張量到矢量投影方法進行投影，得出投影子空間下3D人體動作的2D人體動作序列 P₁，P₂，P₃ 。

1.2 人體動作序列預測的實現

利用多鄰域全局自適應圖神經網絡，分別處理1.1節得到的主視圖、左視圖與俯視圖三個視角的2D人體動作序列，輸出人體動作序列預測結果。該網絡包含三部分，其中以自適應圖卷積為編碼器，在1.1節得到的主視圖、左視圖與俯視圖三個視角的2D人體動作序列 P₁ P₂，P₃ 內，提取不同視角下2D人體動作序列特征；以基于多鄰域全局自適應圖卷積的門控循環單元為解碼器，結合不同視角下2D人體動作序列特征，得到各視角下的人體動作序列預測結果 y₁?y₂?y₃ ；再采用融合模塊，通過投票融合策略融合 y₁，y₂，y₃ ，得到最終的人體動作序列預測結果y。

將1.1節投影子空間下2D人體動作序列 P= {P₁，P₂，P₃} 作為輸入，令 G_t={V_t，E_t} 表示 Φ_t 時刻幀的人體骨架信息。其中 V_t 為骨架節點坐標特征集合， E_t 按人體自然結構連接節點的骨骼邊集合。確定關節點 v_ij 的鄰接點集合為關節點間距離， D 為距離閾值。

通過鄰接點集合劃分策略劃分，得到3個子集合，分別對應關節點原始位置、向心運動關節點、離心運動關節點。以節點到骨架重心的歐氏距離均值為劃分依據，公式為：

式中： r_j 為關節點 j 至骨架重心的歐氏距離均值； r_k 為關節點 k 至骨架重心的歐氏距離均值; g_tk（v_tj）為 v_tj 的鄰接點 v_tk 隸屬的標簽。

通過圖卷積操作提取2D人體動作序列特征，公式為：

式中： W_tk（v_tj）為的權值總和； P（v_tj）為2D人體動作序列內 v_ij 的關節特征; ω（g_tk（v_tj））為的劃分子集的權值。

引入鄰接矩陣后，2D人體動作序列特征為：

式中： δ_Ao 為鄰接節點子集標簽是 Σ_o 的節點空間鄰接矩陣； $＼boldsymbol { ＼itOmega }$ 為度矩陣； o 為超參數。

為實現自適應圖卷積，將公式（8）改為：

式中： B_o 為參數化的鄰接矩陣； E_o 為圖鄰接矩陣； α 為平衡因子。

通過基于多鄰域全局自適應圖卷積的門控循環單元處理，結合三個視角下的2D人體動作序列特征 u₁ 、u₂?u₃ ，得到視角對應的人體動作序列預測結果 y₁，y₂，y₃ ，公式如下：

式中： λ_t 為重置門 ;f（?）為激活函數； φ 為線性映射；為權值； θ_t 為更新門。

融合模塊利用投票融合策略對每個視角人體動作序列預測的直方圖進行計算，得出最終的人體動作序列預測結果。

2 實驗分析

利用Kinect相機采集人體體育運動的三維骨骼數據，該Kinect相機的基本信息如表1所示。

表1Kinect相機的基本信息

以立定跳遠運動員為例，其3D骨骼數據采集結果如圖1所示。

圖13D骨骼數據采集結果

分析圖1可知，本文方法可有效利用Kinect相機采集3D骨骼數據。為全面提取不同視角下的人體動作序列特征，利用本文方法在投影子空間下，將3D骨骼數據投影成主視圖、左視圖、俯視圖三個視角下的2D人體動作序列。以主視圖與左視圖為例，投影結果如圖2所示。

分析圖2a）與圖2b）可知，本文方法在投影空間下，可有效處理3D骨骼數據，得到不同視角的2D人體動作序列，為后續2D人體動作序列特征提取提供更為全面的數據支持。

以立定跳遠運動員為例，利用本文方法預測該名運動員的人體動作序列，預測結果如圖3所示。

分析圖3a）與圖3b）可知，本文方法可有效依據歷史2D人體動作序列，預測該立定跳遠運動員的人體動作序列。

為驗證本文方法的有效性，分別將文獻[4-7]中的4種方法作為對比方法，在不同視角下進行人體動作序列預測，通過決定系數衡量5種方法的預測精度，決定系數越接近1，說明預測精度越高。決定系數分析結果如圖4所示。

圖22D人體動作序列的投影結果

圖3立定跳遠人體動作序列預測結果

分析圖4可知，在不同視角下，上述5種方法均可完成人體動作序列預測，視角變化對本文方法的人體動作序列預測結果影響較小。在不同視角下，本文方法的決定系數均顯著高于其他4種方法，即本文方法的人體動作序列預測精度最高。

3結論

投影子空間方法能夠全面表征人體運動，提高人體動作序列預測精度。為此，本文提出一種投影子空間下人體動作序列預測方法。在投影子空間下，將Kinect相機采集的3D人體動作轉換成主視圖、左視圖與俯視圖不同視角的2D人體動作序列；所采用的多鄰域全局自適應圖神經網絡以自適應圖卷積為編碼器，在3個視角的2D人體動作序列內全面提取各視角的2D人體動作序列特征，提高網絡對視角變化的魯棒性；再以基于多鄰域全局自適應圖卷積的門控循環單元為解碼器，結合人體動作序列特征，得到各視角下的人體動作序列預測結果；最后采用融合模塊，通過投票融合策略融合各視角的動作序列預測結果，得到最終預測結果。

圖4決定系數分析結果