基于骨骼數據特征的人體行為識別方法綜述

孫滿貞，張鵬，蘇本躍

（1.安慶師范大學計算機與信息學院，安徽安慶 246133；2.銅陵學院數學與計算機學院，安徽銅陵 244061）

0 引言

人體行為識別以人為中心研究人體運動，賦予計算機“人的智能”，使之能智能地識別人的行為，因而被廣泛應用于工業系統、虛擬現實及視頻監控等領域。用于人體行為識別的數據有骨骼數據、視頻數據、深度數據和運動流數據等多種類別。由于人體可視為由關節點和骨骼連接形成的剛性鉸鏈系統，而運動是指骨骼空間結構與身體姿態的連續變化，因此骨骼數據可表達人體運動信息的高級特征。

隨著Kinect、Asus Xtion和Intel RealSense等低成本深度相機的開發，以及Openpose、SDK等估計關節點坐標算法趨于成熟，獲取關節點位置信息變得相對容易。此外，相較于視頻數據、深度數據等易受光線亮度、觀察視角、身體遮擋、背景雜亂等因素干擾，骨骼數據不易受人體外觀、光照和視角變化等因素影響，且能很好地避免噪聲干擾，從而使得基于骨骼數據的人體行為識別受到了研究者青睞。

基于骨骼數據的人體行為識別，按特征選擇方式可將相關研究方法分為：基于手工特征的機器學習方法和基于深度特征的深度學習方法。已有文獻主要側重于對深度學習方法的總結或從深度學習架構改進的角度進行綜述，而從特征方面對相關研究工作進行歸納的較少，但是特征選擇對正確識別人體行為至關重要。

因此，本文從機器學習方法采用的手工特征和深度學習方法自學習的深度特征兩方面對人體行為識別方法進行綜述，從特征入手系統地梳理現階段骨骼數據行為識別相關工作。

1 基于傳統機器學習的手工特征提取方法

手工特征是指研究者根據自身先驗知識定義的特征或從動作數據中提取的統計特征等。手工特征可較好地反映出運動本身的物理特性或數據自身的統計特性，進而可在一定程度上可對動作的運動力學或統計學特性等進行表征。

具有統計屬性的特征如均值、方差、中位數、相關系數、偏度與峰度等刻畫了動作變化的幅度、快慢和劇烈程度等。具有物理屬性的特征如關節點相對位置、距離、夾角、位移、速度和加速度等可反映出人體運動時關節點之間的空間結構變化和時間動態演變。Su等、Vantigodi等從三維骨骼序列數據中提取統計屬性特征進行人體行為識別，Tommi等、李夢荷等提取物理屬性特征進行人體行為識別，其具體采用的手工特征及對應的特征屬性如表1所示。

Table 1 Related research based on manual features表1 基于手工特征的相關研究

基于手工提取特征的方法充分利用研究者的先驗知識，特征的可解釋性強，在識別精度較高的情況下構建的模型簡單易懂。但是手工特征往往只能反映人體行為某個方面的運動特性，不能完全地表征運動整體狀態。而且選擇的手工特征依賴于研究者的先驗知識，主觀性較強，不易推廣，即手工特征的泛化能力較弱。

2 基于深度學習的特征自提取方法

隨著深度學習的快速發展，將深度學習應用于骨骼數據行為識別領域的工作越來越多。作為端到端的學習方式，深度學習方法較好地避免了研究者主觀因素的干擾。

深度學習網絡采用無監督方式從三維骨骼序列數據中自學習到特征，這種學習方式符合人類感知世界的機理，當訓練樣本量足夠大時，深度網絡學習到的特征往往具有一定的語義特征或能抓取人體的拓撲結構。目前應用于基于骨骼數據的人體行為識別研究的深度學習網絡主要有卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Network，RNN）、圖卷積神經網絡（Graph Convolutional Network，GCN）及混合神經網絡等。CNN、RNN、GCN 3種深度學習網絡處理的關節點數據表示方式依次為偽圖像、長向量和拓撲圖。深度特征提取方法的具體步驟為：首先將三維骨骼序列數據處理成深度學習網絡能學習的數據格式，然后輸入深度學習網絡，經過網絡自學習深度特征進行動作分類。

2.1 卷積神經網絡

卷積神經網絡側重于從靜態面板數據中提取有效信息，主要采用兩種方式自學習特征進行人體行為識別：①直接將原始關節點3D坐標數據采用不同方法映射為X、Y、Z三通道數據，并采用CNN進行分類；②在骨骼數據上自定義表示動作空間結構和時間動態變化等特征，將其映射成彩色圖像，輸入到CNN中進行分類，即人工特征與自學習特征相結合的方法。

2.1.1 三維骨骼坐標映射方法

將骨骼數據的X、Y、Z坐標看作圖像的RGB通道，把原始骨骼數據編碼成偽圖像，利用圖像識別的方式進行動作識別。

Du等保留了動作序列的空間結構和時間動態信息，提出一種將動作序列表示為彩色圖像的方法。Li等在此基礎上，提出圖像平移尺度不變映射如式（1）所示，將三維骨骼坐標數據映射成彩色圖像。

Table 2 Related research of 3D skeletal coordinate mapping method表2 三維骨骼坐標映射方法相關研究

將3D骨骼坐標數據視為X、Y、Z三通道的數據，深度網絡能從每個通道捕捉到不同的特征表征動作，綜合多通道互補的特征信息有益于準確識別動作。

2.1.2 人工特征與自學習特征相結合的方法

三維骨骼序列數據中既含有空間結構信息，又含有時間動態信息，這兩者是準確識別動作類型的重要因素。人工特征與自學習特征相結合的方法是將研究者自定義的表示動作空間和時間變化的特征輸入深度網絡進行動作識別，例如將關節距離、關節角等特征映射為彩色圖像，輸入CNN進行學習。

Li等設計了平移尺度不變映射公式，如式（2）所示，將骨骼序列時空信息編碼成彩色圖像用于骨骼數據動作識別。

Li等基于骨骼數據自定義了距離特征，并通過式（2）將其映射成彩色紋理圖像，結合AlexNet深度網絡進行自學習，具體采用融合策略融合原始3D骨骼坐標序列及其主、側、俯三視圖4條支路的識別結果。其隨后定義了關節點軌跡、距離、方向、點到邊距離、邊邊夾角以及關節點光譜等特征，結合CNN開展了一系列研究。Caetano等自定義了關節點大小、方向特征，并將其映射成彩色圖像。Naveenkumar等基于自定義關節點坐標三分量各自的差分特征，以及節點在主、側、俯3個視圖下的距離映射等，將圖像轉化為彩色圖像，結合使用CNN方法開展了相關研究。結合人工特征與自學習特征的相關研究如表3所示。

Table 3 Related research on the combination of artificial features and self-learning features表3 結合人工特征與自學習特征的相關研究

續表

自定義特征結合CNN用于基于骨骼數據的人體行為識別研究，同時對骨骼數據的自定義特征和深度特征進行學習，有利于準確識別動作。

2.2 循環神經網絡

循環神經網絡能夠傳遞和積累動作數據隨時間演變更新的信息。人體動作骨骼數據作為典型的時間序列數據，關節點坐標隨時間的推移而變化，因此RNN及其變形模型被較多地應用于基于骨骼數據的人體動作識別。

Shahroudy等于2016年創建NTU RGBD數據集，并運用LSTM建模不同身體部分特征之間的長期依賴關系，在此數據集跨表演者（Cross-Subject，CS）和跨視角（Cross-View，CV）兩個評價指標下的識別率分別達到62.93%和70.27%。此后，該團隊又創建了NTU RGBD120數據集，該數據集有跨表演者（CS）和跨設置號（Cross-Setup，C-Setup）兩個評價指標。主干網絡為循環神經網絡，針對輸入端改變數據排列方式，在網絡內部結構中增加注意力機制，輸出端采用融合策略等相關改進。基于循環神經網絡的相關研究如表4所示。

將骨骼數據按關節點序號和時間幀排列成長向量，RNN利用網絡內部的狀態轉移機制，學習到動作隨時間推移發生的變化用于人體行為識別。

2.3 圖卷積神經網絡

CNN和RNN均針對排列規則的歐式數據進行學習，而不能直接處理非歐式數據。人體骨骼數據具有很多非歐式數據的特性，可將人體骨骼數據視為由關節點和骨骼組成的圖數據，采用圖卷積神經網絡能夠直接對圖數據進行學習。

Yan等將歐式數據卷積推廣到骨骼數據這種非歐數據的卷積上，如式（3）所示。

Table 4 Related research based on recurrent neural network表4 基于循環神經網絡的相關研究

將骨骼數據視為圖數據，更符合骨骼數據是非結構化數據的本質。GCN通過卷積能夠學習關節點自身的特性，根據相鄰關節點之間以及非相鄰關節點之間的關系，能捕獲動作變化的時空特征用于動作識別。

2.4 混合神經網絡

CNN輸入的骨骼數據形式為二維偽圖像，其采用局部連接、共享權值的方式進行學習，但局部卷積只能學習到相鄰關節點之間的關系，而不能學習到非相鄰關節點之間的關系，因此不能較好地識別大幅度動作。RNN輸入的骨骼數據形式是長向量，其利用網絡內部的狀態轉移機制，可學習到動作隨時間推移發生的變化，但長向量的數據排列方式忽略了人體骨骼固有的拓撲結構信息。GCN同時考慮關節點自身特征與相鄰關節點之間的關系，能較好地學習到骨骼序列中的時空特征，但是對于遠距離關節點之間的關系以及動作序列長時動態信息的建模能力較差。

混合神經網絡是CNN、RNN、GCN等深度網絡之間的有機組合，通過合理組合多類型深度網絡使混合神經網絡的整體識別性能達到最佳。主干網絡采用CNN+LSTM、CNN+GCN、GCN+Bi-LSTM等不同類型深度網絡組合的相關研究如表6所示。

混合神經網絡對不同類型深度網絡有機組合，可捕捉動作不同方面的特征信息，以達到信息互補、信息增強的效果，進一步提高了模型的動作識別性能。

綜上，基于深度特征的方法能充分利用各種網絡的優勢從骨骼數據中學習到有利于動作識別的時空特征，且深度網絡的識別性能一般略優于機器學習算法。但其缺點是深度特征的解釋性較差。深度網絡也存在需要訓練的參數過多及訓練模型耗時較長等問題。

Table5 Related research based on graph convolutional neural network表5 基于圖卷積神經網絡的相關研究

Table 6 Related research based on hybrid neural network表6 基于混合神經網絡的相關研究

2.5 基于深度特征的各網絡之間對比

基于深度特征的骨骼數據行為識別方法常采用的深度網絡有CNN、RNN和GCN。RNN可較好地反映運動時序信號特征，但是忽略了人體骨骼的拓撲結構；CNN通過卷積操作獲取時間和空間域的動作特征，卷積計算易于實現，但不能較好地反映運動固有特性；GCN是將人體結構表達為圖結構，并通過卷積操作獲取相應動作特征。圖結構可較好地反映人體的結構表達，但其拓撲結構較為復雜。同時對比基于RNN、CNN、GCN的人體行為識別方法的識別率，可以發現運用圖卷積網絡能較為精準地識別出動作類型，其原因是將骨骼數據視為圖數據比表示為偽圖像和長向量更合適。基于混合網絡（不同類型深度網絡的有機組合）的整體識別性能優于單獨使用某種深度網絡，但其存在模型復雜度較高的問題。

3 總結與展望

本文從手工特征和深度特征角度出發對基于骨骼數據的人體行為識別方法相關研究進行了分析總結。基于機器學習方法的特征提取依賴于人的先驗知識，基于深度學習方法的特征學習依賴于對數據的訓練。觀察兩類方法的識別結果可知，深度特征較手工特征更能有效地表征動作。

在基于骨骼數據的人體行為識別研究中，仍有很多問題需要作進一步探索，例如：真實場景下關節點之間由于存在遮擋導致部分關節點數據缺失時的動作識別、具有“相似運動軌跡”的動作區分，以及如何篩選出人體運動過程中位置變化較大的關節點用于動作識別等，這些問題的解決依賴于對算法的進一步優化與改進。