基于骨骼投影信息的人體行為識別

鄧淦森　丁文文　楊超

摘要：針對復雜環境下深度相機提取人體骨骼信息失效的問題，利用RGB圖像提取運動特征，提出結合人體部分重要關節點信息進行行為識別的方法。首先根據人體行為圖片捕捉人體各關節點的空間位置信息，建立坐標系描繪出人體骨架，將三視圖嵌入二值圖像中；利用Lucas-Kanade光流算法得到關節點的運動信息，構成由張量表示的動作序列；估計動作特征描述序列，再映射到格拉斯曼流形上完成人體行為識別和分類。在MSRActinos3D、UCFKinect數據集上的實驗結果表明，該方法能夠有效識別各種人體行為。

關鍵詞：投影信息；Lucas-Kanade光流算法；字典學習

中圖分類號：TP391.41 文獻標志碼：A

近幾年計算機視覺和圖像處理高速發展，在人機交互、視頻監控、虛擬現實等領域有了廣泛的應用。人體行為識別的方法主要是特征提取和深度學習，其中，基于深度學習方法對數據庫和硬件設備要求較高，需要大量數據進行參數訓練來構建模型；基于特征提取方法，整個建模過程更加節省時間，設備要求較低，早期基于特征提取方法主要依賴于RGB圖像進行人體行為識別，提取圖像運動區域并確定跟蹤目標點。如利用圖像中Harris角點作為特征點并結合Lucas-Kanade光流算法跟蹤提取運動特征表示動作［1］。為了優化識別效果，確定目標點以及提取特征存在噪聲時，直接提取人體行為運動描述符識別人體行為，如利用光流向量沿著動作執行者的邊緣建立的局部描述［2］，這些方法識別率不高的原因在于獲取人體動作行為的RGB圖像時存在噪聲。深度相機的出現極大地解決了RGB圖像提取的問題，深度相機利用自身發射的紅外線提取人體行為圖片，然而由于黑色物質可吸收紅外線，在周圍環境比較黑暗的情況下基于RGB圖像人體行為識別成為難題。因此直接從RGB圖像中提取人體關節點作為人體的直接特征，有助于提高對人體行為識別的準確率，利用關節點3D坐標直方圖作為特征描述符，可以更精確的識別人體行為［3］；在利用人體關節點行為識別的基礎上，可以采用描述符確定骨骼關節之間的距離關系用于手部姿態識別［4］。在此基礎上，根據骨架關節的差異，結合動作的靜態姿態、運動特性和整體動力學信息設計了一種新的動作特征描述符，提高了識別效果［5］。由于Kinect深度相機可以較好的提取人體關節點，使人體行為識別脫離了特征描述符的概念，完全基于關節點坐標以及人體骨架信息；如利用骨骼投影圖特征，得到骨骼關節點的整體分布，最后利用支持向量機（Support Vector Machines，SVM）人體識別［6］。基于文獻［2］，為了降低不同動作關節點運動軌跡帶來的影響，每個動作以臀部或者頸部為骨架中心點的識別算法，有效的提高了行為識別的精度［7］；為降低行為識別實驗的門檻，僅根據已有人體骨架的簡易描繪并利用人體姿態估計技術［8］估計關節點位置信息，利用人體中心投影消除肢體遮擋的影響，最后完成人體行為識別測試［9］；在此基礎上，將流形與人體行為識別相結合，用分層判別的方法識別人體動作，該方法的魯棒性較好［10］。而將關節點運動信息編碼成可觀測張量序列，并對觀測序列利用Tucker分解得到線性系統的特征描述符，可以完成行為識別測試［11］。上述文獻均利用RGB圖像手工提取特征描述符作為動作特征進行人體行為識別，隨著卷積神經網絡和圖卷積神經網絡的廣泛應用，更進一步提高了人體行為識別的準確率，通過端到端的學習方式對骨骼數據分析和處理，完成人體行為識別任務［12-14］。本文首先利用人體姿態估計技術提取部分關節點坐標，對簡易人體運動骨架進行投影；在投影圖中利用LK光流算法獲得關節點運動信息；利用基于張量的線性系統得到特征描述符，映射到格拉斯曼流形上完成動作分類和識別。

1 重要關節點提取

人體骨架信息是人體運動最具代表性、最直接的特征。利用人體姿態估計技術［8］估計出人體部分重要關節點并賦予編號信息：左肩膀（1）、右肩膀（2）、頸部（3）、脊柱（4）、臀部（5）、左肘（6）、右肘（7）、左手（8）、右手（9）、左膝（10）、右膝（11）、左腳（12）、右腳（13）、頭部（14）用于行為識別，其中臀部關節點坐標利用右肩膀和左膝所在直線與左肩膀和右膝所在直線近似估計。本文的算法流程如圖1所示。

從圖像中估計人體骨架關節點后，需要對人體骨架預處理，包括骨架尺度歸一化，骨架視角旋轉，刪除人體部分節點和無效幀的關節點信息，增補丟失關節點等。人體骨架尺度歸一化時以脊柱與臀部關節點組成向量的模長等于1（根據經驗所設）為標準，對每個關節點坐標按比例縮放，即Pj=Pi/|P4|。如圖2中b為繪制簡易人體骨架尺度歸一化后的圖片，a、c分別表示縮放前的人體骨架。

2 基于骨架投影的二值圖像

獲得關節點運動軌跡的空間分布后，全面提取人體骨架運動信息是行為識別的重要依據。每一幀骨架在XOY，XOZ，YOZ三個平面上投影得到主視圖（a），側視圖（b），俯視圖（c），如圖3所示。

骨架三視圖嵌入二值圖像，坐標系轉換之前如圖4所示，坐標系轉換后如圖5所示。

3 特征提取

利用圖像序列中像素在時間域上的變化以及相鄰幀之間的相關性找到上一幀跟當前幀之間存在的運動關系，計算出相鄰幀之間物體的運動信息。假設相鄰幀空間一致即相同表面相鄰的點具有相似的運動，利用Lucas-Kanade稀疏光流算法計算二值圖像相鄰幀的光流場，得到圖像中的運動區域和運動骨架在豎直與水平方向的位移大小，可以更好的描述整體骨架的運動情況以及記錄每個關節點在光流場中隨著每一幀變化的運動信息。如圖6所示，以前一幀的關節點作為目標點，記錄人體的運動信息。相較于直接提取關節點運動信息通過光流場提取關節點的運動信息，可以更加簡潔的表達出關節點的運動方向，以及與各個坐標軸之間的夾角，同時骨架的三視圖也將各個關節點之間的空間信息保留下來。

5 實驗與討論

5.1 動作識別數據集

實驗環境：聯想拯救者，CPU 3.2 GHz，內存16 G，Visual Studio 2012，MatlabR2018b。實驗在MSRAction3D和UTKinect數據集上進行，這兩個數據集是基于Kinect深度相機拍攝的人體骨骼數據整理而成，利用其中14個人體骨骼重要關節點坐標，對本文所提出方法進行行為識別實驗。MSRAction3D數據集共有567個動作樣本，20個動作類別，每個動作類別由 10 位演員執行2～3次。UTKinect數據集是得克薩斯州大學奧斯汀分校建立的數據集，由10個人執行10類動作：步行、坐下、站立、拿起、攜帶、投擲、推動、拉、揮手、拍手。

5.2 MSRAtions3D數據集

MSRAtions3D數據集在所執行的動作中不與任何對象交互該數據集，由于動作變化較小，許多動作非常相似，用類似于Kinect裝置的深度傳感器記錄數據，將整個數據集劃分為AS1、AS2和AS3的子集，每個子集包含8個動作，子集的分類見表1［15］。AS1和AS2組動作涉及相似的運動，而AS3動作更復雜，涉及更多關節的參與。本文分別使用跨主題測試設置識別每個子集，其中一半的受試者用于訓練，另一半用于獲取測試數據。

首先對每個動作編碼提取動作信息并輸入基于張量的線性系統，得到系統相關參數的估計，進而得到動作的預測類別，最終得到實驗結果［11］。表2是在MSRAtions3D數據集上本文方法的識別率與其他方法進行比較的結果（帶*號的為最優結果），可以看出本文方法在AS3復雜動作數據集上具有較高的識別精度，在AS1和AS2子集上也均高于其他方法，并且平均識別率高于92%。

5.3 UTKinect數據集

UTKinect數據集使用固定的深度相機以15fps的幀速率收集數據。這些動作由10個不同的人執行，同一動作每人進行2次，數據集中共包含199個動作序列，6 220幀，序列的持續時間從5幀到120幀。在執行給定動作時會發生明顯的變化，例如拾起動作，用一只或兩只手執行相同的動作，UTKinect數據集實驗時，將所有關節點以Hip和Neck為中心分別歸一化，為了便于比較，在UTKinect序列上應用文獻［3］提出的實驗方案，保留一個序列交叉驗證（LOOCV），其中199個序列用于訓練，每個測試集中只有一個用于測試。結果見表3，與其他的方法相比，本文方法的識別率是95.98%，分別高于其他相關實驗HOJ3D［3］方法，CRF［10］方法5.08%，4.28%，高于自適應骨骼中心［7］算法0.8%，對一些動作如坐、站、撿、搬、拉、揮手等，能夠精確識別。

為驗證以頸部為中心化后對識別率的影響，數據處理時以Hip為中心點歸一化，重復上述的實驗步驟。圖7是以頸部為中心化的數據實驗，平均識別率高于93%，證明該方法具有較高的魯棒性。但在走、搬、拍手動作上識別率不高，這可能是由于中心化后人體整體移動大范圍信息集中于頸部以下。

本文驗證了對觀測序列Y∈R14×24×M進行Tucker分解后核心張量的Mode3維數對本方法的影響，圖8為Mode3對識別率的影響，識別率隨著分解后核心張量Z∈R14×24×dMode3的增大呈正相關，當Mode3達到9維時識別率最高，隨后達到飽和。

6 結論

本文所提出的人體行為識別算法在MSRAtions3D數據集中AS3子集上有突出的識別優勢，說明本文算法針對于一些復雜動作或者一些組合動作具有魯棒性。本文算法在AS1上識別效果較好，但在AS2子集上仍存在改進的地方，原因可能是AS2子集中大部分動作執行部位偏向于手臂以及手部，并且動作產生的時間較短信息提取不充分，可對該子集部分動作執行插幀操作，提高動作執行幀數。UTKinect數據集對多數動作的識別率達到高度識別，但是對于扔的識別率較低，可能是在提取動作信息時所提取的信息并不能更好的描述該類運動，因此造成識別率較低，后續將根據不同的動作提取具有代表性的特征，也嘗試其他對識別率有貢獻的張量分解方法。

參考文獻

［1］郭瑞峰，賈榕.LK光流法的多信息融合目標跟蹤算法研究［J］.現代電子技術，2019，42（18）：55-59.

［2］KUMAR S S， JOHN M. Human activity recognition using optical flow based feature set［C］// IEEE International Carnahan Conference on Security Technology （ICCST）. Orlando， 2016： 138-142.

［3］XIA L， CHEN C C， Aggarwal J K. View invariant human action recognition using histograms of 3D joints［C］// Computer Vision and Pattern Recognition. Providence， 2012： 20-27.

［4］WARCHO D， KAPUS＇CIN＇SKI T. Human action recognition using bone pair descriptor and distance descriptor［J］. Symmetry， 2020， 12（10）： 1580.

［5］YANG X D， TIAN Y L. Effective 3d action recognition using eigenjoints［J］. Journal of Visual Communication and Image Representation， 2014， 25（1）： 2-11.

［6］黃瀟逸. 基于骨骼關節點投影特征的人體行為識別方法［J］. 現代計算機， 2019（36）： 3-7.

［7］冉憲宇， 劉凱， 李光， 等. 自適應骨骼中心的人體行為識別算法［J］. 中國圖象圖形學報， 2018， 23（4）： 519-525.

［8］FANG H S， XIE S， TAI Y W， et al. RMPE： Regional multi-person pose estimation［C］// 2017 IEEE International Conference on Computer Vision Workshops （ICCVW）. Venice， 2017： 2334-2343.

［9］郭天曉， 胡慶銳， 李建偉， 等. 基于人體骨架特征編碼的健身動作識別方法［J］. 計算機應用， 2021， 41（5）： 1458-1464.

［10］ HAN L， XU X X， LIANG W， et al. Discriminative human action recognition in the learned hierarchical manifold space［J］. Image and Vision Computing， 2010， 28（5）： 836-849.

［11］ DING W W， LIU K， BELYAEV E， et al. Tensor-based linear dynamical systems for action recognition from 3D skeletons［J］. Pattern Recognition， 2018， 77： 75-86.

［12］ 石耀. 基于骨骼數據的人體行為識別［D］. 北京：北京郵電大學， 2021.

［13］ JOHANSSON G. Visual perception of biological motion and a model for its analysis［J］. Perception & Psychophysics， 1973， 14（2）： 201-211.

［14］ WANG L， HUYNH D Q， KONIUSZ P. A comparative review of recent kinect-based action recognition algorithms［J］. IEEE Transactions on Image Processing， 2019， 29： 15-28.

［15］ LI W Q， ZHANG Z Y， LIU Z C. Action recognition based on a bag of 3D points［C］// Computer Vision and Pattern Recognition-workshops. San Francisco， 2010： 9-14.

［16］ DING W W， LIU K， FU X J， et al. Profile HMMs for skeleton-based human action recognition［J］. Signal Processing-Image Communication， 2016， 42： 109-119.

Human Behavior Recognition Based on Bone Projection Information

DENG Gan-sen， DING Wen-wen， YANG Chao

（School of Mathematical Sciences， Huabei Normal University， Huaibei 235000， China）

Abstract： Aiming at the problem that the extraction of human skeletal information by depth cameras fails in complex environment， a method was proposed to combine some important joint points information of human body for behavior recognition by using the motion features extracted from RGB images. Firstly， the spatial position information of each joint point of the human body was captured according to the human behavior picture， the coordinate system was established to depict the human skeleton， and the three views were embedded in the binary image. The Lucas-Kanade optical flow algorithm was used to obtain the motion information of the nodes， which constituted a sequence of actions represented by a tensor. Estimated action feature description sequences， which were mapped to the Grassmann manifold for human behavior recognition and classification. The results of experiments on the MSRActinos3D， UCFKinect datasets show that the method can effectively recognize various human behaviors.

Keywords： projection information; Lucas-Kanade optical flow algorithm; dictionary learning

收稿日期：2022-05-27

基金項目：安徽省自然科學基金（批準號：1908085MF186）資助；安徽省高等學校自然科學研究項目（批準號：KJ2019A0956）資助。

通信作者：丁文文，女，博士，副教授，主要研究方向為人工智能。E-mail： dww2048@163.com