基于改進YOLO-Pose輕量模型的多人姿態估計

李傳江 汪著名 張崇明

摘??要：?YOLO-Pose作為人體姿態估計算法模型，在精度和速度上有著不錯的表現，但其在復雜和有遮擋的場景下存在誤檢率較大的問題，并且模型的復雜度仍然有優化的空間. 針對這幾個問題，通過選取Slim-neck模塊和Res2Net模塊，重新設計其特征融合層，減少其計算量和參數量，提高特征提取能力，在提升精度的同時，使模型輕量化；引入EIoU損失函數，加快邊框檢測的收斂速度，并提高定位的準確性. 在壓縮的OC_Human數據集上進行測試，改進后的模型與YOLO-Pose相比，P值、mAP@0.5和mAP@.5：95分別提高了10.6，3.1和2.9個百分點. 此外，參數量和計算量也分別減少了16.7%和19.3%，在精度和輕量化方面均有所提升，為其應用在資源有限的邊緣計算設備提供了可能性.

關鍵詞：?人體姿態估計；?YOLO-Pose；?輕量化；?Slim-neck

中圖分類號：?TP 394.1 ???文獻標志碼：?A ???文章編號：?1000-5137（2024）02-0188-07

Multi-person pose estimation based on an improved lightweight YOLO-Pose model

LI Chuanjiang，?WANG Zhuming，?ZHANG Chongming^*

（College of Information，Mechanical and Electrical Engineering，Shanghai Normal University，Shanghai 201418，China）

Abstract：?YOLO-Pose as a human pose estimation algorithm model had a good performance in terms of accuracy and speed，?which suffered from a large false detection rate in complex and occluded scenes on the other hand. There was still room for optimization of the model complexity. In this paper，?these issues were addressed by incorporating the Slim-neck module and Res2Net module to redesign the feature fusion layer，?reducing computational and parameter overhead while enhancing the information extraction capability of feature extraction. Furthermore，?the EIoU loss function was introduced to accelerate the convergence speed of bounding box detection and to improve localization accuracy. Experimental results on the compressed OC_Human dataset demonstrated that the improved model achieved a 10.6% improvement in P-value，?a 3.1% increase in mAP@0.5，?and a 2.9% increase in mAP@.5：95 compared to the original YOLO-Pose model，?respectively. Moreover，?the amount of parameters （Params）?and computational complexity （GFLOPs）?were reduced by 16.7% and 19.3%，?respectively. The improved model showed enhanced accuracy and lightweight characteristics，?which was suitable for deployment on resource-constrained edge computing devices.

Key words：?human pose estimation；?YOLO-Pose；?lightweighting；?Slim-neck

0 ?引言

人體姿態估計是計算機視覺領域的重要研究方向之一，在人機交互、動作捕捉和姿態分析等許多應用領域具有重要的研究意義^［1］. 近年來，隨著深度學習的快速發展，基于深度學習的人體姿態估計方法取得了顯著的進展. 相較于傳統基于圖結構模型和形變部件模型的人體姿態估計算法，基于深度學習的人體姿態估計算法在準確性和時效性方面都有明顯的提升^［2］.

基于深度學習的多人姿態估計算法主要分為自頂向下和自底向上這兩類檢測方法^［3］. 自頂向下的方法首先對所有人體輪廓進行識別，隨后進行單人姿態估計，常見的算法如HRNet^［4］，CPN^［5］，CPM^［6］等；自底向上的方法與自頂向下相反，首先檢測人體關鍵點，提取關鍵點的特征，并預測出候選關鍵點，然后對候選關鍵點分組，常見的算法如OpenPose^［7］，Hourglass^［8］及HigherHRNet^［9］等. 采用自頂向下的方法，目標越多計算量越大. 而自底向上的方法雖然與人數無關，且擁有較快的檢測速度，但是如果人與人之間有重疊的部分，預測候選關鍵點之后的分組就變得較為困難.

YOLO-Pose^［10］能實現目標檢測與人體姿態估計的功能，與自頂向下的方法不同，其基于YOLOv5^［11］不需要使用獨立的目標檢測算法和單獨的人體姿態估計網絡來定位關鍵點. 另外，YOLOv5省略了關鍵點的后處理步驟和多次前向傳播過程，這也與自底向上的方法不同^［12］. 基于YOLOv7^［13］和YOLOv8^［14］的人體姿態估計算法進一步提升了精度. 雖然基于YOLO系列的人體姿態估計算法在精度和速度方面都更具優勢，但該系列模型需優先處理人體目標檢測結果，再進行相應位置的人體關鍵點回歸操作，若人體目標檢測結果有誤，會直接影響人體姿態估計的準確性^［15］. 在日常生活中，人體呈現出不同的姿態分布，基于YOLO系列的人體姿態估計在復雜的場景和存在遮擋的環境中誤檢率較高. 針對YOLO系列的人體姿態估計的識別問題，本文作者提出改進的YOLO-Pose模型，對比YOLOv7-Pose和YOLOv8-Pose，在保證模型精度提升的同時，改進的YOLO-Pose模型能降低參數量并減少運算量.

1 ?模型的改進

1.1 YOLO-Pose

作為一種新型無熱圖的聯合檢測方法，YOLO-Pose融合了自頂向下和自底向上兩種人體姿態估計算法的優點，使每個被檢測到的邊界框都有一個與之關聯的姿態，不需要通過額外步驟來將關鍵點組合成一個骨架，省去了自底向上方法的后期處理操作. 因此，YOLO-Pose僅通過一次前向傳遞就能完成所有人的定位和姿態估計. 此外，YOLO-Pose還引入了object keypoint similarity （OKS）損失函數，可以進行端到端的訓練，并優化了OKS的度量.

1.2 改進YOLO-Pose方法

本文作者對YOLO-Pose的改進如圖1所示. 基于YOLOv5網絡框架，模型分為輸入端（Input）、骨干網絡層（Backbone）、特征融合層（Neck）、目標檢測層（Head）和輸出端（Prediction）. 將YOLOv5中Neck層的一個C3卷積，用Res2Net模塊（即圖1中的*Res2Net）替換.Res2Net可以提取豐富的特征信息，從而提升模型的精度. 同時，將Neck層中的Conv和其余的C3卷積網絡分別替換成Slim-neck模塊的GSConv和VoV-GSCSP卷積網絡（即圖1中的GSConv和VoVGSCSP）. 最后，將CIoU損失函數更換為EIoU損失函數，在訓練時加速檢測邊框的定位與回歸收斂速度.

1.3 Slim-neck模塊

Slim-neck引入了一種新的卷積方法GSConv來替換標準卷積Conv. 在GSConv方法中，首先需要通過Conv的卷積處理，接著對處理的結果進行深度可分離卷積（DWConv）處理，最后將兩個卷積處理的結果拼接（Concat）起來進行混洗（Shuffle）操作^［16］，如圖2所示.

此外，通過采用一次性聚合策略，構建VoV-GSCSP模塊，如圖3所示. 本文作者將YOLO-Pose模型網絡特征融合層中大部分的C3模塊替換為VoV-GSCSP模塊，在減少原有計算量并降低復雜度的同時，確保其精度不受影響.

1.4 Res2net模塊

基于ResNet^［17］模型，Res2Net模塊將原有的卷積操作分解為多個子模塊，每個子模塊都能夠利用更豐富的特征信息，從而增強了網絡的表達能力^［18］，如圖4所示. Res2Net模塊能夠更好地捕獲不同尺度的特征信息，而無需增加網絡的深度. Res2Net模塊包含多分支的殘差塊，這些分支各自擁有獨立的卷積層，負責處理不同分辨率的特征. 通過將這些分支的輸出串聯起來，Res2Net模塊能夠同時學習低分辨率和高分辨率的特征表示，從而提高了網絡的感知能力. 在YOLO-Pose模型中的特征融合層加入Res2Net模塊，進一步提高特征提取的能力，使模型在不增加網絡深度的同時，提高網絡的精度.

1.5 EIoU損失函數

傳統的IoU損失函數在兩個邊界框不相交時，無法提供有效的梯度更新，且無法反映邊界之間的距離遠近，導致收斂速度較慢^［19］. CIoU損失函數引入了縱橫比來考慮邊界框的縱橫比差異，

， （1）

其中，是預測框的中心位置點是真實框的中心位置點是預測框和真實框中心點之間的歐式距離；c是預測框和真實框最小外接矩形對角線的長度是平衡參數是用來評估預測框和真實框寬高比一致性的參數.

然而，并沒有直接考慮邊界框的寬度和高度與其置信度的真實差異^［20］. 另外，無法提供足夠的梯度信號來引導網絡正確地調整邊界框的寬度和高度.對此，EIoU給出了改進的損失函數

，? （2）

其中，分別為預測及真實的邊界框寬度；分別為預測及真實的邊界框高度；是覆蓋預測框和真實框最小封閉框的寬度覆蓋預測框和真實框最小封閉框的高度.

的寬、高損失直接使預測框與真實框的寬、高度之差最小化，使得算法收斂速度較快^［21］. 采用替換，在加快檢測邊框回歸收斂速度的同時，提升網絡模型的精度.

2 ?實驗結果與分析

2.1 數據集準備

本研究實驗在數據集OC_Human上進行，該數據集共有5 081張標注的圖片^［22］. 由于數據集的圖片中大部分人體被遮擋且背景較為復雜，對人體姿態的估計具有較大難度. 在原有數據集的基礎上做了進一步壓縮，從5 081張圖片選取了1 000張圖片按照8∶2的比例劃分為800張訓練集圖片和200張測試集圖片.

2.2 實驗平臺及參數

本實驗采用的模型訓練和測試平臺為GPU服務器，配置參數如表1所示.

統一設置YOLO模型訓練超參數：初始學習率為0.01，周期學習率為0.20，采用warmup優化策略，開啟Mosaic數據增強和翻轉方式，動量因子為0.937，訓練迭代次數為300次，輸入的圖片尺寸為640 pixels×640 pixels，批次為16，均無預訓練權重.

2.3 評估指標

在姿態估計評估指標中，精確率P、召回率R、平均精度A_P和平均精度均值m_AP為常見的評估指標，

， （3）

， （4）

， （5）

， （6）

其中，為真實正樣例；為錯誤正樣例；為錯誤反樣例；為R的精度值；c為類別的數量.

用mAP@0.5表示的閾值為0.50時的精度值，用mAP@.5：95表示.閾值從0.50到0.95，步長為0.05，即閾值分別為0.50，0.55，…，0.90，0.95時的平均精度值. 參數量用來表示模型的空間復雜度，每秒10億次的浮點運算次數（GFLOPs）用來表示模型的時間復雜度.

2.4 對比實驗

在OC_Human數據集上實驗結果如表2所示. 可以看出，相較于其他網絡模型，YOLOv7-Pose的R值最大，而改進的YOLO-Pose整體優于其他網絡模型，其P值為81.2%，mAP@0.5為69.2%，mAP@.5：95為41.3%，相較于YOLO-Pose分別增加了10.6，3.1和2.9個百分點；參數量下降到了10 MB，GFLOPs下降到了13.8，分別減少了16.7%和19.3%.

實驗結果表明：改進的YOLO-Pose模型在提升精度的同時，降低了模型復雜度，減少了計算量，在輕量化方面也有一定的提升.

2.5 消融實驗

消融實驗的結果如表3所示. 從實驗結果可以得出，加入Slim-neck模塊后，網絡模型的整體精度和性能都有所提升，參數量減少了16.7%，P值、mAP@0.5和mAP@.5：95分別增加了5.3，2.8和0.3個百分點，但R值有所下降；在此基礎上，加入Res2Net模塊，雖然P值有所下降，但整體的精度仍有提升，mAP@0.5和mAP@.5：95分別增加了3.1和1.8個百分點；再將網絡模型的CIoU損失函數替換為EIoU損失函數，雖然R值下降了2.3個百分點，但P值和mAP@.5：95提升明顯，分別增加了9.6和2.9個百分點.

3 ?結語

本文作者改進了YOLO-Pose網絡模型，引入Slim-neck模塊，在提升模型精度的同時實現了模型的輕量化；添加Res2Net模塊，改善了網絡特征提取的性能，并增加了網絡層的感受野，進一步提升模型的精度；通過EIoU改良損失函數，提高檢測框回歸的收斂速度和精度. 實驗結果表明：本研究的改進方法較之原YOLO-Pose，在OC_Human數據集上的執行精度更高，并更為輕量化. 由于本研究對實驗數據集進行了一定的壓縮，雖然有效減少了訓練的成本和訓練的時間，但會降低模型的泛化能力，故在保證精度的同時，更加充分、高效地使用數據集訓練是未來研究的方向.

參考文獻：

［1］ 張欣毅，?張運楚，?王菲，?等. 改進YOLOpose的輕量化多人姿態檢測模型?［J/OL］. 小型微型計算機系統，?2023 ［2023-10-10］. https：//link.cnki.net/urlid/21.1106.TP.20230918.1654.015.

ZHANG X Y，?ZHANG Y C，?WANG F，?et al. Lightweight multiplayer pose detection model with improved YOLO pose ［J/OL］. Journal of Chinese Computer Systems，?2023 ［2023-10-10］. https：//link.cnki.net/urlid/21.1106.TP.20230918.1654.015.

［2］ 王珂，?陳啟騰，?陳偉，?等. 基于深度學習的二維人體姿態估計綜述?［J/OL］. 鄭州大學學報（理學版），2023 ［2023-10-10］. https：//doi.org/10.13705/j.issn.1671-6841.2022334.

WANG K，?CHEN Q T，?CHEN W，?et al. Overview of 2D human pose estimation based on deep learning ［J］. Journal of Zhengzhou University（Natural Science Edition），?2023 ［2023-10-10］. https：//doi.org/10.13705/j.issn.1671-6841.2022334.

［3］ 安勝彪，?賈鵬園，?白宇. 基于HRNet的高效人體姿態估計算法?［J］. 無線電工程，?2023，53（9）：2028-2035.

AN S B，?JIA P Y，?BAI Y. An efficient human pose estimation algorithm based on HRNet ［J］. Radio Engineering，?2023，?53（9）：2028-2035.

［4］ SUN K，?XIAO B，?LIU D，?etal. Deep high-resolution representation learning for human pose estimation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach：IEEE，?2019：3349-3364.

［5］ CHEN Y L，?WANG Z C，?PENG Y X，?et al. Cascaded pyramid network for multi-person pose estimation ［C］// IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE，?2018：7103-7112.

［6］ WEI S E，?RAMAKRISHNA V，?KANADE T，?et al. Convolutional pose machines ［C］// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，?2016：4724-4732.

［7］ CAO Z，?SIMON T，?WEI S E，?et al. Realtime multi-person 2D pose estimation using part affinity fields ［C］// IEEE Conference on Computer Vision and Pattern Recognition. Honolulu：IEEE，?2017：1302-1310.

［8］ NEWELL A，?YANG K，?DENG J. Stacked hourglass networks for human pose estimation ［C］// European Conference on Computer Vision. Amsterdam：Springer，?2016：483-499.

［9］ CHENG B W，?XIAO B，?WANG J D，?et al. HigherHRNet：scale-aware representation learning for bottom-up human pose estimation ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle：IEEE，?2020：5385-5394.

［10］ MAJI D，?NAGORI S，?MATHEWM，?et al. Yolo-pose：?enhancing yolo for multi person pose estimation using object keypoint similarity loss ［C］// IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. New Orleans：IEEE，?2022：2636-2645.

［11］ ZHU X K，?LYU S C，?WANG X，?et al. TPH-YOLOv5：?improved YOLOv5 based on transformer prediction head for object detection on drone-captured scenarios ［C］// IEEE/CVF International Conference on Computer Vision Workshops. Montreal：IEEE，?2021：2778-2788.

［12］ 王紅霞，?李枝峻，?顧鵬. 基于YOLOPose的人體姿態估計輕量級網絡?［J］. 沈陽理工大學學報，?2023，?42（6）：10-16.

WANG H X，?LI Z J，?GU P. A lightweight network for human pose estimation based on YOLOPose ［J］. Journal of Shenyang Ligong University，?2023，?42（6）：10-16.

［13］ WANG C Y，?BOCHKOVSKIY A，?LIAO H Y M. YOLOv7：?trainable bag-of-freebies sets new state-of-the-art for real-time object detectors ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. ?Vancouver：IEEE，?2023：7464-7475.

［14］ ABOAH A，?WANG B，?BAGCI U，?et al. Real-time multi-class helmet violation detection using few-shot data sampling technique and YOLOv8 ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver：IEEE，?2023：5350-5358.

［15］ 王名赫，?徐望明，?蔣昊坤. 一種改進的輕量級人體姿態估計算法?［J］. 液晶與顯示，?2023，?38（7）：955-963.

WANG M H，?XU W M，?JIANG H K. Improved lightweight human pose estimation algorithm ［J］. Chinese Journal of Liquid Crystals and Displays，?2023，?38（7）：955-963.

［16］ LI H L，?LI J，?WEI H B，?et al. Slim-neck by GSConv：?a better design paradigm of detector architectures for autonomous vehicles ［J/OL］. arXiv：?2206.02424，?2022 ［2023-10-10］. http：// arxiv.org/abs/2206.02424.

［17］ TARG S，?DIOGO A，?KEVIN L. Resnet in resnet：?generalizing residual architectures ［J/OL］. arXiv：?1603.08029，?2016［2023-10-10］. http：// arxiv.org/abs/163.08029.

［18］ GAO S H，?CHENG M M，?ZHAO K，?et al. Res2net：?a new multi-scale backbone architecture ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，?2019，?43（2）：652-662.

［19］ ZHENG Z H，?WANG P，?LIU W，?et al. Distance-IoU loss：?faster and better learning for bounding box regression ［C］?// Conference on Artificial Intelligence. New York：AAAI，?2020：12993-13000.

［20］ 趙江河，?王海瑞，?朱貴富，?等. 改進CenterNet的小目標安全帽檢測算法?［J］. 陜西理工大學學報（自然科學版），?2023，39（3）：40-47.

ZHAO J H，?WANG H R，?ZHU F G，?et al. Algorithm of small target helmet detection based on improved CenterNet ［J］. Journal of Shaanxi University of Technology （Natural Science Edition），?2023，39（3）：40-47.

［21］ ZHEN Z，?DENG Z J，?WU Z P，?et al. An improved EIoU-Yolov5 algorithm for blood cell detection and counting ［C］?//2022 5th International Conference on Pattern Recognition and Artificial Intelligence. Chengdu：IEEE，?2022：989-993.

［22］ KHIRODKAR R，?CHARI V，?AGRAWAL A，?et al. Multi-instance pose networks：?rethinking top-down pose estimation ［C］?// IEEE/CVF International Conference on Computer Vision. Montreal：IEEE，?2021：3102-3111.

（責任編輯：包震宇，郁慧）

DOI：?10.3969/J.ISSN.1000-5137.2024.02.007

收稿日期：?2023-12-25

作者簡介：?李傳江（1978—），?男，?教授，?主要從事人工智能與機器學習、智能機器人和醫工融合產品開發等方面的研究. E-mail：?licj@shnu.edu.cn

* 通信作者：?張崇明（1973—），?男，?副教授，?主要從事智能硬件和人工智能應用技術方面的研究. E-mail：?czhang@shnu.edu.cn

引用格式：?李傳江，?汪著名，?張崇明. 基于改進YOLO-Pose輕量模型的多人姿態估計?［J］. 上海師范大學學報?（自然科學版中英文），?2024，53（2）：188?194.

Citation format：?LI C J，?WANG Z M，?ZHANG C M. An improved lightweight algorithm for multi-person pose estimation based on YOLO-Pose ［J］. Journal of Shanghai Normal University （Natural Sciences），?2024，53（2）：188?194.