基于Kinect的人體非對稱步態識別及骨骼關鍵點位置重要性分析

摘" 要：首先利用Kinect采集10名受試者分別模擬正常步態及4種非對稱步態時的全身骨骼關鍵點數據，依次對數據進行濾波去噪、標準化等預處理過程，然后利用循環神經網絡模型對上述5種步態進行分類，并通過平均精確率指標評價輸入不同數量和不同位置骨骼關鍵點時的識別效果。結果表明，當輸入25個骨骼關鍵點信息時，模型的識別平均精確率為98.8%；當輸入相同骨骼關鍵點數量（8個和4個）時，下肢骨骼關鍵點對于人體非對稱步態的識別重要性大于上肢骨骼關鍵點。當僅輸入2個骨骼關鍵點時，上肢骨骼關鍵點對于非對稱步態的識別重要性大于下肢骨骼關鍵點。上述研究結果可以為基于Kinect的人體步態對稱性分析，尤其是采集方案設計提供一定的參考。

關鍵詞：Kinect；步態對稱性；骨骼關鍵點；深度學習；數據處理

中圖分類號：R318" " " 文獻標志碼：A" " " " " 文章編號：2095-2945（2025）06-0094-05

Abstract： This study initially employed Kinect to capture full-body skeletal keypoint data from 10 subjects simulating both normal gait and four types of asymmetric gaits. The data underwent preprocessing steps such as filtering and normalization. Subsequently， a recurrent neural network（RNN） model was utilized to classify the aforementioned five types of gaits. The classification performance was evaluated using the average precision metric under varying numbers and locations of skeletal keypoints. Results indicate that with 25 skeletal keypoints as input， the model achieved an average precision of 98.8% in gait recognition. Moreover， for the same number of keypoints（8 and 4）， lower limb keypoints were more crucial than upper limb keypoints in identifying human asymmetric gaits. Conversely， when using only 2 keypoints， upper limb keypoints were more significant for gait recognition than lower limb keypoints. These findings contribute insights into Kinect-based analysis of human gait symmetry， particularly in the design of data acquisition protocols.

Keywords： Kinect; gait symmetry; skeletal key point; deep learning; data processing

人體步態對稱性是指左右兩側身體結構和運動方式的相似性，被視為人體正常行走和運動的基礎。不同類型的運動障礙、肌肉骨骼疾病以及神經系統疾病都會導致人體步態的非對稱性，因此對人體非對稱性步態的研究具有重要的臨床意義[1]。傳統上，步態對稱性的評估主要依賴于人工觀察和主觀判斷，這種方法存在主觀性強、可重復性差等問題。另一方面，采用運動學、表面肌電等測評技術雖可以獲取客觀測量結果，但是需要將傳感器附著在被采集對象的身體上，傳感器的貼附容易引起測試對象的不適，進而降低其對于數據采集環節的依從性，嚴重情況下甚至會拒絕佩戴，導致數據采集失敗。同時，傳感器的貼附可能會從“軀體”和“心理”2個層面阻礙患者最自然的步行狀態。因此，如何在不影響自然步行狀態的前提下（即非接觸式）檢測并準確識別其非對稱步態成為臨床步態分析面臨的一個關鍵性問題。骨骼關鍵點檢測技術的出現為非對稱性步態的“非接觸式”客觀評估提供了新的方法[2]。這種技術主要基于計算機視覺和機器學習的方法，從圖像或視頻中提取人體關節的位置信息，實現對人體姿態和運動的描述和分析[3]。

骨骼關鍵點檢測過程主要包括以下幾個步驟：數據采集和預處理、關鍵點定位、關鍵點連接、關鍵點跟蹤和姿態估計。首先，通過Kinect相機或深度傳感器采集人體運動的數據，然后對數據進行預處理，例如去噪、濾波和標準化。接下來，利用深度學習模型對圖像或視頻中的關鍵點進行定位。緊接著，根據關鍵點的位置信息，通過連接不同關節的關鍵點形成人體骨骼模型。最后，通過跟蹤關鍵點的位置變化可以實時估計人體的姿態[4]。在獲取準確骨骼關鍵點數據的基礎上，選擇合適的識別算法對于非對稱性步態的評價效果同樣非常重要[5-6]，傳統的機器學習方法主要有支持向量機（Support Vector Machine， SVM）、隨機森林、K最近鄰算法（K-nearest neighbor， KNN）等[7-8]，但上述方法存在一定的局限性[9]，例如由于步態數據的特征維度較高，且樣本數據量一般有限，因此上述分類方法在處理數據時容易出現過擬合與欠擬合的問題，導致模型的泛化能力受到極大的限制。

近年來，隨著深度學習算法的發展，尤其是深度神經網絡能夠自主學習和提取復雜的步態特征信息，省去了大量人工設計的過程，使得其在處理步態分類識別問題方面具有獨特優勢[10]。例如，Khokhlova等[11]設計了一種基于Kinect和循環神經網絡算法（LSTM算法）的步態對稱性識別模型；Bari等[12-13]提出了2種基于Kinect和深度卷積神經網絡的步態識別方法；Jun等[14]則針對異常步態識別問題，提出了一種基于Kinect和門控循環單元的深度神經網絡識別方法。需要指出的是，現有研究將Kinect識別的全身骨骼關鍵點坐標信息作為識別任務的輸入特征時，普遍將所有骨骼關鍵點信息作為輸入，這種方式雖然可以提升識別精度，但是其中不可避免存在一些冗余信息，使得模型訓練的時間和計算量有所增加。另一方面，根據人體運動協同理論可知，中樞神經系統采取分層控制的方式來簡化多關節運動的控制，從而達到降低運動控制冗余的目的[15-16]。因此，在生理上，關節組合之間的協同被認為是人體中樞神經系統對肢體多關節運動的一種調控策略。為此，本文假設不同關節組合對于對稱性步態的影響存在一定的差異，換言之，不同關節位置的骨骼關鍵點對于非對稱步態的識別效果影響存在差異，尤其是下肢檢測到的骨骼關鍵點對于非對稱步態的識別重要性更顯著。

為了驗證上述假設，本文采用Kinect有效收集10名受試者正常對稱步態以及模擬4種非對稱步態狀態下的骨骼關鍵點數據，對數據進行預處理后，利用循環神經網絡模型識別上述非對稱步態類型，并通過模型的平均精確率指標來分析改變輸入骨骼關鍵點的位置和數量時模型的分類效果。

1" 方法

1.1" 數據采集

本文中的數據采集對象為10名健康成年人（男性6人，女性4人，平均年齡23±1.3歲）；男性身高（1.72±0.14 m），女性身高（1.63±0.12 m）。上述受試者均不存在任何神經、肌肉、骨骼等方面的疾病，所有參與本次數據采集的受試者均充分了解實驗內容，并簽署知情同意書。實驗過程中模擬的5種步態類型見表1。

每位受試者采用正常步態行走（圖1）的基礎上，通過調整單側鞋底厚度來模擬4種不同非對稱程度的步態類型，且每種步態類型采集有效時長均達到1 200個連續幀以上，并通過Kinect v2獲取逐幀骨架及每一個關節關鍵點在三維空間中坐標信息，即骨骼關鍵點數據，具體如圖2所示。

1.2" 數據處理

考慮到Kinect捕獲的步態坐標數據存在一定的信號噪聲，為此，本文首先采用移動窗對25個關節點（圖3）的序列數據進行中值濾波，以實現平滑和去噪目的，然后再對數據進行標準化。在此基礎上，本文所采集的數據集包含了10名受試者采用5種不同的步態時的骨骼關鍵點數據，選取其中的80%作為訓練集，20%作為測試集，并依次選擇表2中的骨骼關鍵點組合作為模型的輸入數據。

本文中模型訓練及測試過程均在Windows 10系統pytorch的深度學習框架下完成，主要基于循環神經網絡算法來通過對骨骼關鍵點序列數據進行處理，從而達到對5種步態類型進行分類識別的目的。具體在處理該步態時間序列數據時，首先將時間序列的窗口長度設定為100，epoch代表訓練次數，設定為200，隱藏層的節點個數設定為128。測試集大小test_size設為0.2，dropout設定為0.5。num_layer代表著RNN和GRU的層數，將其設定為2。初始學習率lr設定為0.000 01，batch_size表示批量大小，設定為64。詳細信息見表3。

1.3" 評價指標

模型評估指標通常用來衡量模型在分類任務中的效果，本文采用平均精確率（Mean Precision）指標來評價模型在分類非對稱步態方面的能力。該指標指的是每個類別精確率的平均值，其中每個類別的精確率是指在該類別上正確預測的樣本數量與該類別所有樣本數量之比。精確率越高，表示分類器在預測正例時的準確性越高，其計算公式為

式中：TP為模型將正類別樣本正確地預測為正類別的樣本數；FP為模型將負類別樣本錯誤地預測為正類別的樣本數。

式中：Precisionn表示第n個類別的精確率；n表示n分類任務，本文取n=5。

2" 結果與討論

本文中通過改變輸入骨骼關鍵點的數量和位置，以觀察模型識別效果。不同輸入特征對應的識別結果見表4，由表中數據可以看出，當輸入25個骨骼關鍵點信息時，模型的識別平均精確率為98.8%；隨著輸入骨骼關鍵點數目的減少，識別效果越差；當輸入骨骼關鍵點數目大于或等于4時，此時分類識別精確率都在85%以上。當輸入骨骼關節的數目小于4時，平均精確率都低于80%。

另一方面，在保持骨骼關鍵點數量不變的前提下，通過改變關鍵點位置組合方式，對比了單獨輸入上肢骨骼關鍵點和單獨輸入下肢骨骼關鍵點信息時模型的分類識別效果。可以發現，在輸入8個骨骼關鍵點的前提下，輸入下肢骨骼關鍵點（髖、膝、踝關節等）的平均精確率為96.9%，而輸入上肢骨骼關鍵點（肩、肘、腕關節等）時的平均識別精確率為95.3%，顯著低于前者。類似地，在輸入4個骨骼關鍵點的前提下，輸入左、右下肢關節骨骼關鍵點的平均識別精確率分別為92.9%和91.6%，而輸入左、右上肢骨骼關鍵點的平均識別精確率為89.3%和88.1%。這說明在輸入8個和4個骨骼關鍵點的前提下，下肢骨骼關鍵點對于人體非對稱步態的識別重要性大于上肢骨骼關鍵點。

最后，當僅輸入2個骨骼關鍵點時，即僅輸入上肢腕關節和肘關節的模型平均識別精確率分別為78.3%和78.9%，而僅輸入下肢踝關節和膝關節時的模型平均識別精確率只有69.5%和68.1%。上述結果說明，當輸入骨骼關鍵點降低到一定數量以后，上肢骨骼關鍵點對于非對稱步態的識別重要性大于下肢骨骼關鍵點。

3" 結論

本文基于Kinect和深度學習算法實現了對人體非對稱步態的分類識別，識別精確率可以達到98%以上；同時，證明了人體上下肢骨骼關鍵點對于非對稱步態識別的重要性存在差異，其中，在分別輸入8個和4個骨骼關鍵點時，下肢骨骼關鍵點在非對稱步態識別中的重要性高于上肢骨骼關鍵點。然而，當僅輸入2個骨骼關鍵點時，上肢骨骼關鍵點對非對稱步態識別的貢獻則超過下肢骨骼關鍵點。上述研究結果可以為基于骨骼關鍵點檢測的人體步態對稱性研究方案設計提供一些借鑒和參考。

參考文獻：

[1] 張幼安，侯振杰，坎標，等.基于Kinect的帕金森病步態不對稱性識別方法[J].中國康復理論與實踐，2018，24（7）：795-801.

[2] 張世宇，祁子禹，干智超，等.基于Kinect v2低成本動作捕捉系統在步態分析中的開發及應用[J].中國神經精神疾病雜志，2023，49（1）：54-59.

[3] 張笑宇，陳凱，楊穎.基于Kinect系統的步態參數提取方法[J].數據采集與處理，2022，37（4）：872-882.

[4] 田皓宇，馬昕，李貽斌.基于骨架信息的異常步態識別方法[J].吉林大學學報（工學版），2022，52（4）：725-737.

[5] 劉芳超，周謀望，李濤.基于人工智能算法的步態分析在疾病臨床診療中的應用進展[J].中國康復醫學雜志，2023，38（6）： 836-840.

[6] THAKUR D，LALWANI P. Comparative performance of machine learning models for the classification of human gait[J].Biomedical physics amp; engineering express，2024，10（2）.

[7] 高經緯，馬超，姚杰，等.基于機器學習的人體步態檢測智能識別算法研究[J].電子測量與儀器學報，2021，35（3）：49-55.

[8] 王全坤，郭冰菁，尤愛民，等.基于SVM的偏癱患者異常步態識別與臨床康復輔助診斷系統[J].計算機應用與軟件，2023，40（10）：94-100.

[9] KOHNEHSHAHRI F，MERLO A，MAZZOLI D，et al. Machine learning applied to gait analysis data in cerebral palsy and stroke： A systematic review[J].Gait amp; Posture，2024， 111（6）：105-121.

[10] 田皓宇，馬昕，李貽斌.基于骨架信息的異常步態識別方法[J].吉林大學學報（工學版），2022，52（4）：725-737.

[11] KHOKHLOVA M，MIGNIOT C，MOROZOV A， et al. Normal and pathological gait classification LSTM model[J]. Artificial Intelligence in Medicine，2019，94（3）：54-66.

[12] BARI H， GAVILOVA M. KinectGaitNet： kinect-based gait recognition using deep convolutional neural network[J]. Sensors，2022，22（7）：2631.

[13] BARI H， GAVILOVA M. Artificial neural network based gait recognition using kinect sensor[J].IEEE Access，2019， 7（1）：162708-162722.

[14] JUN K，LEE Y，LEE S，et al." Pathological gait classification using kinect v2 and gated recurrent neural networks[J]. IEEE Access，2020，8（1）：139881-139891.

[15] DEJNABADI H，JOLLES B，AMINIAN K. A new approach for quantitative analysis of inter-joint coordination during gait[J].IEEE Transactions on Biomedical Engineering，2008， 55（2）：755-764.

[16] 熊啟亮，諶穎，莫杰義，等.基于加速度信號的人體爬行與步行過程中多關節協同運動模式對比[J].中國醫學物理學雜志，2023，40（7）：884-889.

基金項目：國家自然科學基金（32460238）；江西省自然科學基金（20232BAB206134）

第一作者簡介：蒙新興（1989-），男，助理工程師。研究方向為醫療信號檢測與分析。

*通信作者：熊啟亮（1989-），男，博士，副教授。研究方向為生物醫學信號檢測與處理。