融合時空圖卷積網絡與非自回歸模型的三維人體運動預測

劉一松 高含露 蔡凱祥

摘 要：

當前人體運動預測的方法大多采用基于圖卷積網絡的自回歸模型，沒有充分考慮關節間的特有關系和自回歸網絡性能的限制，從而產生平均姿態和誤差累積等問題。為解決以上問題，提出融合時空圖卷積網絡和非自回歸的模型對人體運動進行預測。一方面利用時空圖卷積的網絡提取人體運動序列的局部特征，可以有效減少三維人體運動預測場景中的平均姿態問題和過度堆疊圖卷積層引起的過平滑問題的發生；另一方面將非自回歸模型與時空圖卷積網絡進行結合，減少誤差累計問題的發生。利用Human3.6M的數據集進行80 ms、160 ms、320 ms和400 ms的人體運動預測實驗。結果表明，NAS-GCN模型與現有方法相比，能預測出更精確的結果。

關鍵詞：人體運動預測；非自回歸；圖卷積網絡

中圖分類號：TP181?? 文獻標志碼：A??? 文章編號：1001-3695（2024）03-048-0956-05doi： 10.19734/j.issn.1001-3695.2023.07.0323

Three-dimensional human motion prediction combining spatiotemporal graph

convolutional networks and non-autoregressive models

Liu Yisong， Gao Hanlu， Cai Kaixiang

（School of Computer Science & Communication Engineering， Jiangsu University， Zhenjiang Jiangsu 212013， China）

Abstract：

The current methods for predicting human motion mostly use autoregressive models based on graph convolutional networks， without fully considering the unique relationships between joints and the limitations of autoregressive network performance， resulting in issues such as average posture and error accumulation. To address the above issues， this paper proposed a fusion of spatiotemporal graph convolutional networks and non autoregressive models for predicting human motion. On the one hand， using a network of spatiotemporal graph convolutions to extract local features of human motion sequences could effectively reduce the occurrence of average pose problems and oversmooth problems caused by excessive stacking of graph convolutions in 3D human motion prediction scenes. On the other hand， it combined non-autoregressive models with spatiotemporal graph convolutional networks to reduce the occurrence of error accumulation problems. Conduct human motion prediction experiments using a Human3.6M dataset for 80 ms， 160 ms， 320 ms， and 400 ms. The experimental results indicate that the NAS-GCN model predicts more accurate results compared to existing methods. Key words：human motion prediction; non-autoregressive; graph convolutional network

0 引言

三維人體運動預測目前主要用于人機交互、運動分析和體育預測等領域，該方向由人體姿態特征提取和運動預測兩部分組成。由于深度學習的發展，近年來相關方法已經使得模型預測的精確度得到很大提升。

基于圖卷積網絡（graphical convolutional network，GCN）的自回歸模型是目前人體運動預測的主流方法，該方法利用圖卷積網絡的模型學習人體非歐幾里德數據的特征和內部規律，模擬關節的空間相互作用。盡管現有研究使用了多種方法對其進行改進，如人工構造的時空圖卷積網絡和結構化預測層［1，2］、自適應學習空間特征［3～5］等，但依舊存在以下問題：a）預測長期運動時容易收斂到一個靜止的姿態即平均姿態；b）模型預測誤差隨時間推移累計，最終崩潰到不可信的狀態。

對于問題a）來說，由于當前圖卷積網絡在提取特征過程中大多只注重相鄰關節之間的連接性，沒有充分考慮幾何分離關節之間的隱性關系，容易導致平均姿態問題的產生。為了解決這個問題，Cui等人［6］利用兩個參數化圖卷積網絡學習關節之間的動態關系，捕獲關節之間的隱式關系。Liu等人［7］在其基礎上提出捕獲幾何分離關節之間隱藏聯系的圖卷積網絡和自適應學習的圖卷積網絡，利用優化的GCN學習運動序列的空間特征，可以緩解部分平均姿態問題。但使用GCN構建全局關系時，過度堆疊圖卷積層會導致過平滑問題的發生，同時基于自回歸的模型本身具有一定的限制。

針對問題b），文獻［8，9］表明，人體運動預測過程中誤差累積產生的主要原因是當前預測往往依賴于之前的時間步數據。文獻［10］進一步證實由于自回歸模型自身網絡性能的限制，不可避免地涉及誤差累積問題。為解決該問題，Li等人比較人體運動序列預測與非自回歸機器翻譯模型，并驗證非自回歸模型用于減少人體運動序列誤差累積問題的可行性，提出一種多任務非自回歸運動預測模型［9］。文獻［11］將基于骨架的活動分類與非自回歸模型進行結合，提出精度優于自回歸方法且計算量更低的非自回歸模型，進一步驗證了非自回歸模型對于降低誤差累積的有效性。但基于非自回歸的方法研究重點大多集中于全局時間關系建模，對于關節之間的相關性即空間特征提取考慮得不夠充分。

針對上述目前研究工作中存在的問題，本文提出融合時空圖卷積網絡和非自回歸模型（non-autoregressive combines spatio-temporal graphical convolutional network，NAS-GCN）的三維人體運動預測?？紤]到非自回歸模型對于全局提取能力較好，而對于人體運動序列的局部特征提取能力較差，因此在特征提取時先利用改進GCN的局部特征編碼器，再結合非自回歸模型對數據集進行全局特征提取與預測，使得模型對于空間特征提取進一步優化的同時減少誤差累積的發生。同時為了解決時間表示方面的問題，提出將最終序列編碼后輸入解碼器的策略，相對于自回歸模型準確率更高，效率更快。

本文主要包括如下改進：a）提出改進的時空特征圖卷積網絡提取局部特征，充分考慮骨骼解剖學運動定律以減少平均姿態的發生，同時添加初始殘差和恒等映射解決過平滑問題；b）利用非自回歸模型代替自回歸模型，將改進圖卷積網絡和非自回歸的模型融合，提取人體運動的局部和全局特征。在更全面地考慮人體運動序列時空關系的同時進一步提升了模型對局部和全局特征的提取能力，從而減少誤差累積問題的發生。具體來說，一方面提出了多層殘差半約束圖（multilayer residual semi constrained graph， MRSG）提取人體空間特征，該模型通過模擬骨骼解剖學的運動定律提取人體運動的空間結構，以減少人體骨骼之間歧義，其中GCN提取人體運動序列特征時，過多堆疊會限制GCN，從而導致過平滑問題，因此在模型中添加初始殘差和恒等映射對過平滑問題進行一定的緩解；另一方面針對誤差累積問題引入了非自回歸模型，該模型用并行預測人體運動序列的方法解決了自回歸模型解碼串行輸出的問題。

1 本文方法

本文提出NAS-GCN模型，由局部特征編碼器（local feature encoder，LFE）、局部特征解碼器（local feature decoder，LFD）和基于Transformer的非自回歸編-解碼器組成。其中局部特征編碼器LFE、局部特征解碼器LFD用于提取人體運動序列的局部特征，基于Transformer的非自回歸編-解碼器用于全局的特征提取。整體模型如圖1所示。

1.1 局部特征提取

文獻［12］提出當模型對于空間特征提取不夠準確時，預測往往會收斂到平均姿態，因此為了更好地獲取人體運動時各個關節之間的隱藏關系，提取人體運動序列的空間結構特征。本文提出LFE和LFD學習人體骨骼的空間相關性，以減少平均姿態問題的發生。

1.1.1 局部特征編碼器（LFE）

局部特征編碼器LFE由MRSG和TCN組成，該模型將輸入數據分別利用MRSG和TCN進行局部空間特征、時間特征的提取，最后將提取到的空間特征和時間特征結合，得到人體運動序列的局部特征。

1）局部空間特征提取MRSG

MRSG的主要模塊為GCNadd，用來提取局部空間特征，減少由于過度堆疊GCNadd帶來的過平滑問題，其中GCNadd為優化后的GCN。GCN可以提取人體骨骼之間的關系，學習骨骼關節對之間的連接，但是該方法對人體隱藏關系的提取能力較差，例如打電話時上半身的變化可能比下半身更加豐富，走路時更加注重腿部和手臂的協調性等。因此本文提出MRSG模型模擬骨骼解剖學的運動定律，提取人體運動的空間結構，減少人體骨骼之間歧義，以提高預測人體骨骼空間相關性。

2 實驗結果與分析

2.1 實驗設置

實驗使用RTX2080Ti GPU，Linux操作系統，PyTorch深度學習框架。訓練學習率為10-4，批量大小為16。在預訓練過程中，學習率從0逐漸增加到10-4，從而提高了訓練的穩定性。模型采用50幀，輸出25幀的1 s運動。實驗設置epochs為400，steps_per_epoch為200，num_heads為8，dim_ffn為2 048。編碼器輸入前需要對數據進行歸一化操作，使得數據更加穩定。

本文使用Human3.6 M的數據集進行人體運動預測。該數據集遵循了訓練和測試的標準協議。該數據庫采用三維的骨骼模型對人體運動序列進行表示，且一個三維姿態由32個三維坐標組成，相當于一個96維的矢量。其中訓練集5用于測試，其他訓練集用于訓練。輸入序列長為2 s，對預測序列的前1 000 ms進行測試。通過計算預測和真實值之間的歐拉角誤差評估序列。在訓練過程中，模型采用MRSG提取空間特征，TCN提取時間特征，將兩者融合后，利用非自回歸模型對全局特征進行提取，最后得出預測的人體運動序列。

為了驗證NAS-GCN，本文根據式（12）計算損失函數，并與其他模型進行對比，預測平均角度誤差MAE，MAE是角度空間產生的預測與真實值直接的平均距離損失，該值越低表示數據越好。

2.2 消融實驗

本節在Human3.6M數據集中驗證了不同類型LFE的效果。提出利用LFE和LFD進行人體運動序列的局部特征提取，用MRSG層、TCN層或MLP層對LFE、LFD進行實驗。不同類型的局部特征提取的平均值如表1所示，后綴enc表示解碼器LFD為MLP，后綴full表示解碼器LFD為MRSG。

經過實驗發現，利用gcntcn_full進行局部特征提取，即當LFE由MRSG與TCN組成時，MAE值更加精確。綜上所述，局部空間編碼器中利用MRSG可以有效避免出現過擬合的情況，進一步提高了數據精度。

2.3 與自回歸方法的比較

為了驗證NAS-GCN非自回歸模型在長期預測的效果，表2顯示了本模型與自回歸模型測試結果的對比。其中局部特征提取與POTR網絡的實驗參數同文獻［9］。從表中數據可以觀察到，MAE值有明顯的降低，其中1 000 ms的長期預測比原模型［9］的MAE降低了約4.52%。自回歸版本不使用查詢姿態，而是根據前一次的結果預測一個運動向量。本文的非自回歸方法在大多數時間間隔內顯示出比同類方法更低的MAE，具體數據如表2所示。

2.4 與其他模型比較

表3比較了NAS-GCN模型與其他網絡在H3.6M數據集中11個活動的誤差。加粗表示最好數據，下畫線其次。對于每個數據，從上到下分別展示了ZeroV［7］、Res-sup［7］、POTR［9］、ST-Transformer［11］、Skel-TNet［17］、DCT-GCN［18］等先進方法與當前NAS-GCN的預測，非自回歸模型在短期內獲得第一和第二個較低的MAE，并且在80 ms內最低，同時與從前的非自回歸模型相比，在長期內誤差有了很明顯的降低。使用最后一個輸入序列作為查詢姿態減少誤差累積，且該方法在長期預測方面也取得了較大的進步。

圖5對預測動作MAE進行比較，主要包括directions、ea-ting、taking photo與greeting四個動作，其中灰色為ground truth，第三行為NAS-GCN的數據，在精確度上有了很大的提高。根據圖片發現，POTR的eating動作沒有充分考慮上半身的變化，左臂應該是平穩向下的，因此使用NAS-GCN效果更好；POTR的taking photo動作集中在左臂，與真實動作相反，而NAS-GCN集中于右臂的變化；POTR的greeting動作出現了平均姿態問題，而NAS-GCN注意到了左腿相應的變化并作出改變。綜上，相比于POTR網絡，NAS-GCN更加接近真實動作，網絡改善效果比較明顯。

3 結束語

NAS-GCN模型用于人體運動預測，首先通過人體運動序列局部特征提取的編碼器LFE、LFD提取局部時空特征；然后，引入非自回歸模型提取全局特征并進行人體運動序列的預測。其中LFE由MRSG和TCN組成，該方法可以降低人體骨骼特征提取不準確引起的平均姿態問題和過度堆疊引起的過平滑問題，提高預測精確度。非自回歸模型有助于降低誤差累積。雖然當前預測減少了平均姿態的出現頻率，但在長期范圍內序列依然存在平均姿態問題，下一步將研究優化查詢序列的過程，同時針對多人和更復雜的環境進行人體運動預測，以提高研究的全面性。

參考文獻：

［1］Jain A，Zamir A R，Savarese S，et al. Structural-RNN： deep learning on spatio-temporal graphs ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2016： 5308-5317.

［2］Aksan E，Kaufmann M，Hilliges O. Structured prediction helps 3D human motion modelling ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 7144-7153.

［3］Mao Wei，Liu Miaomiao，Salzmann M，et al. Learning trajectory dependencies for human motion prediction ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 9489-9497.

［4］Li Maosen，Chen Siheng，Zhao Yangheng，et al. Dynamic multiscale graph neural networks for 3D skeleton based human motion prediction ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 214-223.

［5］Li Maosen，Chen Siheng，Zhao Yangheng，et al. Multiscale spatio-temporal graph neural networks for 3D skeleton-based motion prediction［J］. IEEE Trans on Image Processing，2021，30（23）： 7760-7775.

［6］Cui Qiongjie，Sun Huaijiang，Yang Fei. Learning dynamic relationships for 3D human motion prediction ［C］// Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2020： 6519-6527.

［7］Liu Zhenguang，Su Pengxiang，Wu Shuang，et al. Motion prediction using trajectory cues ［C］// Proc of IEEE/CVF International Confe-rence on Computer Vision. Piscataway，NJ： IEEE Press，2021： 13299-13308.

［8］Martinez J，Black M J，Romero J. On human motion prediction using recurrent neural networks ［C］// Proc of IEEE Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2017： 2891-2900.

［9］Martínez-González A，Villamizar M，Odobez J M. Pose Transformers （POTR）：human motion prediction with non-autoregressive Transfor-mers ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2021： 2276-2284.

［10］Li Bin，Tian Jian，Zhang Zhongfei，et al. Multitask non-autoregressive model for human motion prediction ［J］. IEEE Trans on Image Processing，2020，30（8）： 2562-2574.

［11］Aksan E，Kaufmann M，Cao Peng，et al. A spatio-temporal Transfor-mer for 3D human motion prediction ［C］// Proc of International Con-ference on 3D Vision. Piscataway，NJ： IEEE Press，2021： 565-574.

［12］Wang He，Ho E S L，Shum H P H，et al. Spatio-temporal manifold learning for human motions via long-horizon modeling［J］.IEEE Trans on Visualization and Computer Graphics，2019，27（1）： 216-227.

［13］Chen Ming，Wei Zhewei，Huang Zengfeng，et al. Simple and deep graph convolutional networks ［C］// Proc of International Conference on Machine Learning. ［S.l.］：PMLR，2020： 1725-1735.

［14］何冰倩，魏維，張斌. 基于深度學習的輕量型人體動作識別模型 ［J］. 計算機應用研究，2020，37（8）： 2547-2551. （He Bingqian，Wei Wei，Zhang Bin. Lightweight human action recognition model based on deep learning ［J］. Application Research of Computers，2020，37（8）： 2547-2551.）

［15］Bai Shaojie，Kolter J Z，Koltun V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling ［EB/OL］. （2018-04-19）. https：//arxiv. org/abs/1803. 01271.

［16］戴俊明，曹陽，沈琴琴，等. 基于多時空圖卷積網絡的交通流預測 ［J］. 計算機應用研究，2022，39（3）： 780-784. （Dai Junming，Cao Yang，Shen Qinqin，et al. Traffic flow prediction based on multi-temporal graph convolutional networks ［J］. Application Research of Computers，2022，39（3）： 780-784.）

［17］Guo Xiao，Choi J. Human motion prediction via learning local structure representations and temporal dependencies ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2019： 2580-2587.

［18］Mao Wei，Liu Miaomiao，Salzmann M. History repeats itself： human motion prediction via motion attention ［C］// Proc of the 16th European Conference on Computer Vision.Berlin：Springer，2020：474-489.