基于人體關節點視覺特征的姿態識別方法研究進展

梅健　王甜甜　黃凱　鄒青宇

摘 要 隨著深度學習和人工智能的發展，相關算法在人體姿態識別領域得到了廣泛應用。基于人體關節點智能化算法的姿態識別得到了利用和優化，現有的研究成果不同程度涉及各類算法，亟待系統性總結和分類。綜述近年來基于視覺特征的姿態識別領域的研究成果，將這些方法分為兩類：單人姿態識別和多人姿態識別。分析各方法的原理和突出進步，并介紹基于OpenPose方法的多人姿態研究，指出了未來研究的趨勢與焦點。

關鍵詞 人工智能 深度學習 多人姿態識別 智能化算法 OpenPose

中圖分類號 TP389.1? ?文獻標識碼 A? ?文章編號 1000?3932（2023）02?0119?06

隨著科技的發展，智能化的概念和產品日新月異，在人工智能領域，人體姿態識別是計算機視覺領域中極具挑戰的研究方向，在道路姿態監

控［1］、人體動作分析［2，3］、運動培訓［4～6］等方面都有重要的應用前景，也是我國科研攻堅的熱點。人體姿態通過智能識別檢測將提供一種全新的交互模式，如在車站或智能化娛樂場所，使用姿態識別的人工智能交互方式，能夠提供更準確更智能的服務［7～9］。

姿態識別的重點是檢測人體關節點和肢體，并且能夠適應各種多變的場景，姿態識別技術的本質是問題歸類［10，11］。姿態識別以向量作為輸出，因此人體姿態識別方法需要一個從高維檢測向量到高維姿態向量的映射。在二維空間中，根據場景中人體個數的差異，將人體姿態識別分為單人姿態和多人姿態［12～14］。

1 單人姿態識別

隨著深度學習的發展與應用，科研人員逐漸使用深度學習算法替代傳統方法進行單人姿態識別，傳統的單人姿態識別是各種人體姿態分析的基礎，對于分析圖像或視頻中的人體姿態至關重要。在深度學習的姿態識別方法中，人體姿態的骨骼節點具有尺度小、容易被遮擋的特性，因此算法需要更高的精度要求。

當前，單人姿態識別方法中，坐標回歸［14］、熱力圖檢測和使用熱力圖表示坐標回歸是主流方法［15］。

坐標回歸的原理是將二維坐標的骨骼關節點作為有效值，訓練網絡模型后實現關節點的輸出，在熱力圖檢測方法出現之前，這類研究思路通常用于機器學習的單人姿態識別系統［14］。使用熱力圖表示坐標回歸方法結合了坐標和熱力圖兩者的優點，構建組合方式的有效值，同時具有檢測和回歸任務［16］。

1.1 基于坐標回歸的單人姿態識別

人體姿態識別中，坐標回歸的數據存在大量冗余，這類問題的本質是數值坐標回歸。研究人體關節點回歸主要有兩種方法：

a. 全連接層直接回歸坐標點。此類方法的優勢是輸出點就是坐標點、縮短了訓練時間、效率高，并且是端到端的全微分運算。但特征圖容易丟失空間信息，直接回歸欠缺泛化性［17］。文獻

［18］中指出，采用全連接輸出坐標點方式會極大損害空間泛化能力。全連接方式所得權重嚴重依賴訓練數據的分布，非常容易造成過擬合。

b. 熱力圖檢測方式。通過熱力圖檢測可以收集海量數據，Argmax提出峰值對應的索引即為坐標點的方法，使其精度高于坐標回歸。但是從輸入到輸出不是一個全微分的算法，低分辨率的采樣精度低，并且內存冗余高。

目前，全卷積網絡是單人姿態識別最常用的方法之一，其解決了環境和人體動作的干擾。基于坐標回歸的單人姿態識別主要分為兩大類：多階段直接回歸和多階段分步回歸。

文獻［19］針對視覺定位的局限性，提出回歸查詢像素點對應的場景坐標方法，此方法用于姿態識別的全卷積神經網絡，將彩色圖像中二維像素對應的三維坐標映射到場景圖像的RGB值中，快速建立匹配關系，無需特征檢測和特征匹配過程。

文獻［20］使用雙源深度卷積神經網絡（Dual Source Deep Convolutional Neural Network，DS?CNN）從單一圖像設計二維人體姿態算法，提出將整個身體的外觀和多個微觀圖像結合起來，可以更加準確地實現人體姿態識別。

1.2 基于熱力圖檢測的單人姿態識別

單人姿態識別算法依據任務的定義和監督形式可以劃分為兩類：直接坐標回歸和熱力圖（Heatmap）檢測。各骨骼關節點相對原始圖片的偏移是坐標回歸所需的數據，這個過程對于非線性的要求非常高。所以，在基于坐標回歸思路之后，熱力圖檢測方法成為單人姿態識別的主流方法［21］。

熱力圖檢測思想是將每個關節點的位置信息由一張低分辨率的熱力圖表示，熱力圖中的每一個像素值都代表該位置是否是關節點的概率。這種特性很容易利用高斯函數模擬。

文獻［22］針對人體關節點的熱力圖干擾姿態識別造成的姿態不一致的問題，提出了一種基于圖模型推理的單人姿態識別網絡，設計了人體姿態圖顯示人體結構信息，并通過圖模型推理網絡實現關節點熱力圖間的信息交互。

文獻［23］提出一種基于深度卷積神經網絡（Deep Convolutional Neural Network，DNN）的級聯姿態預測器，極大增強了骨骼關節點識別的準確度。

從姿態識別開始，不論完整圖像還是深度卷積神經網絡的回歸向量，都可以使用細節聯合的方式預測數據。但是由于其固定的輸入大小，使得算法對于細節的處理存在不足。為了獲得更高的精度，訓練多樣化成為主要待解決問題，或者可以結合回歸和檢測兩種方式進行姿態識別。

1.3 基于回歸與檢測混合方式的姿態識別

單人姿態識別中，坐標回歸的優點是更快的前向速度和端到端全微分訓練，熱力圖檢測的優點是精度高。結合兩者的優點，坐標回歸中效果最好的方法是使用熱力圖表示坐標回歸，直接坐標回歸方法是從圖像到骨骼關節點坐標的即時反映，弊端是網絡學習空間、收集數據空間不足和丟失空間信息［24］。

基于回歸和熱力圖檢測的人體姿態識別雖然性能良好，但存在后處理不可微、量化誤差大等問題。文獻［25］通過積分運算將熱力圖表示與聯合回歸結合，解決了后處理和量化誤差問題，并且兼容任何基于熱力圖表示的方法。

諾丁漢大學計算機視覺實驗室的ADRIAN B和GEORGIOS T提出一種檢測后回歸的由兩個相互連接深度子網組成的卷積神經網絡級聯［21］，級聯輸出的順序是先檢測熱力圖再回歸。該架構不僅可以指導算法在圖像中的焦點位置，還可以有效應對遮擋問題，從而引導網絡的回歸部分來預測位置。

2 多人姿態識別

人體姿態算法從人數上區分為單人人體關節點檢測和多人人體關節點檢測兩類，自頂向下（Top?Down）和自底而上（Bottom?Up）是多人姿態識別領域常用的兩種處理思路。其中，自頂向下用于定位骨骼關節點的設計，包括人體檢測和人體關節點檢測，先從環境背景中估計每個待檢測目標，然后對單個人的關節點進行檢測；自底而上的邏輯與之相反，分別檢測和類聚關節點，即先檢測出圖像中所有的人體骨骼關節點，然后將全部關節點連接成個人［14］。

自頂向下和自底而上確定關節點的方法如圖1所示。

2.1 自頂向下算法

自頂向下算法是先用目標檢測算法檢測出圖像中存在的所有人體實例，然后逐個檢測不同人體的關節點［15，17，18］。二維多人姿態估計方法使用串聯網絡提取特征，然后提高特征圖的分辨率，用于關節點的定位［26～30］。

文獻［31］研究了順序卷積結構模型，多層深度卷積網絡是卷積姿態結構的基礎，每層網絡都是在原始圖像和前期數據的特征圖上進行，最終可以得到人體各關節點結構圖。文獻［28］提出的算法使用ResNet來提取特征，用反卷積提高分辨率。最初，多人檢測網絡為Faster R?CNN［32］，Faster R?CNN的出現縮短了檢測網絡的運行時間。Mask R?CNN提高了檢測回歸的準確性，并使用像素到像素的方式進行分割預測，便可以對檢測到的目標進行多人姿態識別［33］。

文獻［34］提出一種用于多人檢測和二維姿態識別的自頂向下方法。針對關節點類型，提出且實現了完全卷積用來預測熱力圖。

文獻［35］采用自頂向下的二維多人姿態識別算法，使用金字塔卷積，采用一種基于多尺度融合的二維多人姿態識別模型，該模型能夠同時取得圖像中人體局部的關節信息和全局結構信息，從而可以更準確地定位難以檢測的關節點。

2.2 自底而上算法

自底而上算法是檢測圖像中所有人的身體關節，再將其分組為個體。由于設計識別中尺度的變化，自底而上的人體姿態識別方法難以高精準度估計人體姿態。文獻［29］使用金字塔卷積網絡方法提出了一種新的自底而上的更迅速的定位關節點，并且可以解決多人姿態檢測中尺度變化的檢測方法。

為了聯合應對檢測和姿態識別，更準確地識別環境中的人數，判斷遮擋的重要關節點，并且消除相互重合的身體部分［36～39］，文獻［40］為確定關節點對應的人體部位，首先提出了DeepCut，改進了快速區域卷積神經網絡來檢測骨骼關節點，組合成關節點密度圖，再標記檢測出的關節點。文獻［41］為優化算法的復雜度，精簡了DeepCut算法，提高了檢測的精準度，利用殘差網絡ResNet獲取人體骨骼關節點，提高了魯棒性。

文獻［42］設計了OpenPose，最先使用VGG網絡對圖樣特征進行粗提取，從而得到關節點置信圖（Part Confidence Maps，PCMs）和部位親和域（Part Affinity Fields，PAFs），使用匈牙利算法［43］最優化匹配，連接所有骨骼關節點。

3 基于自底而上的OpenPose方法

OpenPose是根據卷積神經網絡與監督學習，以Caffe為框架編寫的開放源代碼庫，能夠進行人的臉部、軀干與四肢的跟蹤，不僅適用于單人也適用于多人，同時具有較好的魯棒性［14］，是用于2D、3D多人人體姿態估計的最流行的自底而上的方法之一，該成果在單人和多人人體姿態識別中取得了成功。

OpenPose算法、G?RMI算法、DL?61算法和R4D算法在2016年COCO比賽中的準確度對比見表1，其中，AP表示實驗結果中與關節點坐標對比的準確度，AP50與AP75表示與關節點相似度在50%以上及75%以上的準確度，APM與APL則分別表示識別小規模人群和大規模人群的準確度。

美國卡耐基梅隆大學（Carnegie Mellon University）在2016年開源了OpenPose項目，該成果在單人和多人人體姿態識別中取得了巨大成功。OpenPose項目采用自底而上的思路，先找出圖像中人體的各個關節點，再用這些點拼接成人的骨架，完成姿態識別的任務。OpenPose可以實現人體關節點的信息檢測，并且適用于單人和多人環境。研究表明，OpenPose具有很高的魯棒性和精準度，適用于戶外等復雜環境［44，45］。

文獻［42］給出了OpenPose算法模型，解決了多人肢體關節點連接的問題，不過仍然存在模型較大、網絡參數較多等現實問題需要解決。文獻［46］提出一種新的自底而上的多人人體姿態識別方法，構建了一個完全卷積、單發的設計，該方法利用部分強度場定位身體部位，利用關聯場將身體各部分結合了起來。文獻［47］在OpenPose的基礎上首先提出了Lightweight OpenPose輕量級的方法，探討了適合于實時人體姿態識別網絡邊緣設備上的性能。使用Mobilenet［48］提取數據，最后結合空洞卷積［49］優化OpenPose。

4 總結和展望

人體姿態識別是計算機視覺的分支，在多領域都具有高質量的發展。國內關于人體姿態識別的研究起步晚、研究投入少，但在國家安防和日常生活中，該技術具有極大的應用市場和發展前景。目前，人體姿態識別的問題和難點集中在兩點，往后的工作也會從這兩方面展開：

a. 提高數據采集的魯棒性。樣本數據的噪聲和樣本種類的相似度都會降低數據采集的質量、影響特征選取和導致邊緣輪廓缺失。使用模型驅動輸入可以保持原有特性，在識別檢測過程中會有輸入噪聲影響結果，通常采用空約束來提高輸出質量。因此，對于基于模型驅動的方法，探討更有效的運動空間時序約束十分必要。在戶外環境中捕捉圖像會受到多種因素的影響，主要有氣候環境變化、背景干擾、光照變換、人體移動的影子、攝像機的運動等，這些都給實驗數據的采集和預處理帶來了影響。對于處理的圖像序列，在目標檢測中，雖然可以進行多種數據預處理，但是數據依然存在冗余，非必要的數據依舊會影響整體的運算量和速度，開發新的高效率算法，在數據采集和判斷過程中是急需解決的問題。

b. OpenPose算法的有效性和實時性之間的誤差。當前，人體姿態研究都是基于相似的算法，算法的創新程度存在一定限制。OpenPose架構在人體姿態識別上具有優勢，先找出環境中的人體關節點，再逐一拼接成人體骨架，但是對于環境的判斷存在不足。基于模型的算法可以更精準地判斷和描述關節點特征，大幅降低外部環境的影響。因此，低功耗、高精度的姿態算法是目前姿態算法重要的研究目標。

參 考 文 獻

［1］ 朱棟棟.基于視覺檢測與定位的快速路車輛異常行為識別［D］.北京：北京郵電大學，2022.

［2］ 汪雯.基于深度學習的人體動作分析與識別方法研究［D］.成都：電子科技大學，2022.

［3］ 崔莉亞.運動場景下人體動作分析算法研究［D］.鄭州：鄭州大學，2021.

［4］ 李淑敏，周曙，田國輝，等.科技助力冬奧：人工智能在冰雪運動訓練中的應用與發展［C］//中國體育科學學會運動訓練學分會.2022年全國運動訓練學術研討會.2022：106.

［5］ 韓曉明，喬鳳杰.人工智能助力全民健身參與的基本邏輯、現實困境與突破路徑［J］.天津體育學院學報，2022，37（5）：559-565.

［6］ 朱厚偉，申翠梅，鄭哲，等.基于人工智能的運動輔助系統研發進展研究［C］//中國體育科學學會運動生物力學分會.第二十二屆全國運動生物力學學術交流大會.2022：391-392.

［7］ 洪梁杰.基于視覺的人體軀干特征提取與姿態識別［D］.吉林：東北電力大學，2022.

［8］ 王珊，張雙寒，高靖楠，等.基于PoseNet模型實現人體姿態識別［J］.電腦編程技巧與維護，2022（1）：112-113；135.

［9］ 黃國范，李亞.人體動作姿態識別綜述［J］.電腦知識與技術，2013，9（1）：133-135.

［10］ 史偉民.基于深度學習的人體姿態估計方法研究［D］.北京：北京化工大學，2021.

［11］ 車鑫.基于深度學習的二維人體姿態估計研究［D］.武漢：華中科技大學，2021.

［12］ 王梓任.人體關節點多視角融合和人體姿態估計［D］.濟南：山東大學，2019.

［13］ 王子沁.基于OpenPose的人體行為識別系統研究與實現［D］.南京：南京郵電大學，2021.

［14］ 鄧益儂，羅健欣，金鳳林.基于深度學習的人體姿態估計方法綜述［J］.計算機工程與應用，2019，55（19）：22-42.

［15］ 張鋒，葉茂，曾凡玉.深度學習的單人姿態估計方法綜述［J］.小型微型計算機系統，2020，41（7）：1502-1507.

［16］ SUN K，XIAO B，LIU D，et al.Deep high?resolution representation learning for human pose estimation［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019：5693-5703.

［17］? NIBALI A，HE Z，MORGAN S，et al.Numerical Coordinate Regression with Convolutional Neural Networks［J］.arXiv，2018.10.48550/arXiv.1801.07372.

［18］? LIN M，CHEN Q，YAN S C.Network in Network：10.48550/arXiv.1312.4400［P］.2013-12-16.

［19］ ALEX K，MATTHEW G，ROBERTO C.PoseNet：A Convolutional Network for Real?Time 6?DOF Camera Relocalization［C］//IEEE International Conference on Computer Vision.Santiago，Chile，2015：2938-2946.

［20］? ?FAN X C，ZHENG K，LIN Y W，et al.Combining Local Appearance and Holistic View：Dual?Source Deep Neural Networks for Human Pose Estimation［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015：1347-1355.

［21］? ?ADRIAN B，GEORGIOS T.Human pose estimation via convolutional part heatmap regression［C］//Proceedings of the European Conference on Computer Vision（ECCV）.2016：717-732.

［22］? ?馬麗華.基于推理的多等級預測單人姿態估計方法［D］.西安：西安電子科技大學，2020.

［23］? ?TOSHEV A，SZEGEDY C.Deeppose：Human pose es?timation via deep neural networks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern? Recognition.2014.10.1109/CVPR.2014.214.

［24］? ?LEE C Y，XIE S N，PATRICK W G，et al.Deeply?Supervised Nets［J］.arXiv：Machine Learning，2014.10.48550/arXiv.1409.5185.

［25］? ?SUAN X，XIAO B，WEI F Y，et al.Integral human pose regression［C］//Proceedings of the European Conference on Computer Vision（ECCV）.2018：529-545.

［26］? ?郭天曉，胡慶銳，李建偉，等.基于人體骨架特征編碼的健身動作識別方法［J］.計算機應用，2021，41（5）：1458-1464.

［27］? ?林里浪，宋思捷，劉家瑛.基于人體骨架特征學習的動作識別［J］.中國傳媒大學學報（自然科學版），2021，28（5）：22-28.

［28］? ?XIAO B，WU H P，WEI Y C.Simple Baselines for Human Pose Estimation and Tracking［C］//European Conference on Computer Vision.2018：472-487.

［29］ CHENG B W，XIAO B，WANG J D，et al.HigherHRNet：Scale?Aware Representation Learning for Bottom?Up Human Pose Estimation［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020：5385-5395.

［30］? ?BOBICK A F，WILSON A D.A state?based approach to the representation and recognition of gesture［J］.IEEE Trans PAMI，1997，19（12）：1325-1337.

［31］? WEI S E，RAMAKRISHNA V.Convolutional pose machine［C］//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.2016.

［32］? ?REN S Q，HE K M，ROSS G，et al.Faster R?CNN：towards Real?time Object Detection with Region Proposal Networks［C］//Proceedings of IEEE ANIPS15.2015.

［33］? ?HE K M，GKIOXARI G，DOLLAR P，et al.Mask R?CNN［C］//Proceedings of IEEE International Confe?rence on Computer Vision.2017：2961-2970.

［34］? ?PAPANDREOU G，ZHU T，KANAZAWA N，et al.Towards accurate multi?person pose estimation in the wild［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition CVPR.2017.

［35］? ?湯香渝.基于多尺度融合的二維人體姿態估計算法研究［D］.北京：北方工業大學，2021.

［36］? ?MUHAMMED K，SALIH K，ENRE A.MultiPoseNet：Fast multi?person pose estimation using pose residual network［C］//European Conference on Computer Vision.2018.

［37］? ?SANGHOON H，BYUNG SEOK R，KYE?HYEON K，et al.PVANet：Lightweight Deep Neural Networks for Real?time Object Detection［J］.arXiv Preprint arXiv，2016.

［38］? VASILEIOS B，ANDREW Z.Recurrent human pose estimation［C］//2017 12th IEEE International Confer?ence on Automatic Face and Gesture Recognition（FG）.2017.

［39］? ?HE K M，ZHANG X Y，REN S P，et al.Deep residual learning for image recognition［C］//2016 IEEE Con?ference on Computer Vision and Pattern Recognition.2016.

［40］? ?PISHCHULIN L，INSAFUTDINOV E，TANG S，et al.DeepCut：Joint subset partition and labeling for multi person pose estimation［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recogni?tion.2016：4929-4937.

［41］? ?ELDAR I，LENONID P，BJOERN A，et al.DeeperCut：A deeper，stronger，and faster multi?person pose esti?mation model［C］//Proceedings of the European Conference on Computer Vision.2016：34-50.

［42］? ?ZHE C，TOMAS S，SHIH?EN W，et al.Realtime multi?person 2D pose estimation using part affinity fields［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017：7291-7299.

［43］? ?STEFANO B，CARMEN D A，MARIA F，et al.Pilot assignment in cell?free massive MIMO based on the Hungarian algorithm［J］.IEEE Wireless Commun?

ications Letters，2021（1）：10.

［44］? ?MARK S，ANDREW H，ZHU M L，et al.MobileNet?

V2：Inverted Residuals and Linear Bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.2018.

［45］? ?TSUNG?YI L，MICHAEL M，SERGE B，et al.Micro?soft COCO：Common objects in context［C］//European Conference on Computer Vision.2014.

［46］? ?SVEN K，LORENZO B，ALEXANDRE A，et al.Pifp?af：Composite Fields for Human Pose Estimation［C］//IEEE Computer Vision Foundation.2020：11977-11986.

［47］? ?DANIIL O.Real?time 2D Multi?Person Pose Estima?tion on CPU：Lightweight OpenPose［C］//International Conference on Pattern Recognition Applications and Methods.2019.

［48］? ?ANDREW G H，ZHU M L，CHEN B，et al.Mobile?Nets：Efficient convolutional neural networks for mobile vision applications［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2017.

［49］? YU F，VLADLEN K，THOMAS F.Dilated Residual Networks［C］//IEEE Computer Vision Foundation.2017.

（收稿日期：2022-08-29，修回日期：2022-11-22）

Study Progress in Posture Recognition Method?Based on Visual Features of Human Joints

MEI Jian1， WANG Tian?tian2， HUANG Kai1， ZOU Qing?yu2

（1. College of Information and Control Engineering， Jilin Institute Chemical Technology；?2. College of Electrical and Information Technology， Beihua University）

Abstract? ?With the development of deep learning and artificial intelligence， relevant algorithms have been widely applied in human postures recognition and the posture recognition based on the intelligent algorithms for human joints has been optimized. Existing research results involve all kinds of algorithms at various degrees， wait for being systematically summarized and classified. A large number of recent research achievements in the posture recognition were reviewed and divided into single?person posture recognition and multi?person posture identification， including having their principles and outstanding progress analyzed， and their future research trends and hot spots were pointed out based on describing the OpenPose?based study of the multi?person postures.

Key words? ?AI， deep learning， multi?person posture recognition， intelligent algorithm， OpenPose

基金項目：中央引導地方科技發展資金吉林省基礎研究專項（YDZJ202101ZYTS170）；教育部產學合作協同育人項目（202102181046）；2020年度吉林省高等教育教學研究課題；國家大學生創新創業訓練計劃項目（202210201055）；吉林省職業教育與成人教育教學改革研究課題（PX?521509）；吉林市科技創新發展計劃項目（20210103098）。

作者簡介：梅健（1995-），碩士研究生，從事人體姿態識別方面的研究。

通訊作者：鄒青宇（1983-），副教授，從事復雜網絡的研究，zouqingyu2002@126.com。

引用本文：梅健，王甜甜，黃凱，等.基于人體關節點視覺特征的姿態識別方法研究進展［J］.化工自動化及儀表，2023，50（2）：119-124.