面向移動端的姿態估計研究

摘" 要：為滿足目前在移動端上部署人體姿態估計算法并推廣其落地應用的需求，需要對人體姿態檢測算法進行輕量化網絡設計和壓縮加速優化。該文介紹模型壓縮加速和輕量化網絡設計的方法以及當前的模型壓縮自動化框架，當前主流的移動端姿態估計部署框架和目前各領域移動端姿態估計的產業應用，最后分析國內面向移動端的人體姿態研究現狀，對該現狀目前還存在的問題做出分析并提出未來的發展方向。

關鍵詞：移動端姿態估計；人體姿態估計；輕量化網絡；模型壓縮；姿態估計框架

中圖分類號：TP391" " " "文獻標志碼：A" " " " " 文章編號：2095-2945（2023）21-0041-05

Abstract： In order to meet the needs of deploying the human pose estimation algorithm on the mobile end and popularizing its landing application， it is necessary to carry out lightweight network design and compression acceleration optimization of the human posture detection algorithm. This paper introduces the methods of model compression acceleration and lightweight network design， the current model compression automation framework， the current mainstream mobile attitude estimation deployment framework and the current industrial applications of mobile attitude estimation in various fields. Finally， the domestic research status of mobile-oriented human posture is analyzed， the existing problems are analyzed and the future development direction is put forward.

Keywords： mobile-oriented attitude estimation; human body attitude estimation; lightweight network; model compression; attitude estimation framework

隨著第四次智能化工業革命的到來，AI人工智能成為當下的研究熱點。其中人體姿態估計用途廣泛，可以用于動作識別、運動捕捉、訓練機器人，具有廣大的市場前景。目前的AI移動終端有2種，分別為云端智能和端到端智能。云端智能是將客戶端收集到的數據經過網絡傳輸到云端，等云端計算完畢后再將結果返回給客戶端，比如蘋果的Siri，OPPO的Breeno語音等智能手機搭載的語音助手。而端到端智能是在手機處理器中植入AI芯片，通過AI芯片結合算法進行學習實現人工智能。AI芯片以深度神經網絡計算為核心，高效的處理器決定了AI芯片的計算能力。移動端的用戶基數大，截至2021年國內擁有智能手機用戶達6.243億人。智能手機輕便易攜帶，同時具備的功能強大，可以進行人像識別、指紋識別、二維碼掃描和定位等等。因此面向移動端的姿態估計成為了當前計算機視覺范疇的熱門之一[1]。

1" 國內外研究

目前國內外對于人體姿態檢測主要有2種方式，一個是經過傳感器接觸人體傳輸數據的人體姿態檢測，另一個則是基于計算機視覺通過攝像頭獲取人體關鍵點的人體姿態檢測，兩者都是通過采集關鍵數據建立模型然后進行姿態檢測。通過傳感器接觸的人體姿態檢測主要受傳感器硬件質量和環境因素影響，而通過計算機視覺獲取人體關鍵點的人體姿態檢測主要受環境因素和算法影響。后者受束縛小，成本相對更低，且更加穩定，因而目前主要都是采用基于計算機視覺的人體姿態檢測。

基于計算機視覺的人體姿態估計對關鍵點作出判斷進行姿態識別，姿態估計主要分為3類：維度（2D和3D）、單姿態和多姿態（單人和多人）、方法論（基于關鍵點和基于實例）。2D姿態估計器是識別圖像或視頻幀中對象關鍵點的2D位置，而3D則是將圖像中的對象轉為3D成像進行識別。單姿態估計方法是跟蹤檢測單個對象，多姿態估計方法是跟蹤檢測多個對象。方法論分為2類：一類是基于關鍵點，通過檢測特定關鍵點，然后分組形成骨架進行識別；另一類是基于實例，先檢測對象實例，然后通過自頂向下或自下而上的方法估計不同區域內的關鍵點，自頂向下方法將人體檢測和關鍵點檢測區分，在圖像上先運行一個人體檢測器，找到所有人體實例，對每個人體子圖再利用關鍵點檢測，準確度更高但是速度更慢；自下而上方法與其相反，是先檢測圖像中人體各個部件，然后將圖像中多人人體的部件分別分配到不同的人體實例上。

目前2D單人人體姿態估計主要采用DeepPose算法和堆疊沙漏網絡結構，DeepPose是基于深度神經網絡的人體姿態估計，通過圖像采用回歸方法回歸每個關鍵點及位置，經過將初始姿態估計傳遞給深度神經網絡（Deep Neural Networks，DNN）級聯來進一步完善聯合預測，從而實現軟件在線升級（Software updates Over The Air，SOTA）效果；2D多人人體姿態估計目前主流算法是AlphaPose和OpenPose，AlphaPose是2018年上海交通大學盧策吾團隊研發的基于同校MVIG組提出的RMPE二步法框架的實時多人姿態估計系統，該系統基于COCO數據集和PyTorch機器學習框架，在多人場景中，達到了71平均精度（mean Average Precision，mAP），準確度比OpenPose高17%，比Mark R-CNN高8.2%，同時，速度也達到了20幀/s，比OpenPose快66%，比Mark R-CNN快3倍。2018年中東科技大學團隊提出了MultiPoseNet的多人姿勢估計算法，使用姿態殘差網絡（PRN）來達到多人姿態估計的目的，也是基于COCO數據集。MultiPoseNet采用的是自下而上方法，它的準確性和運行速度比其他自下而上模式的人體姿態估計算法要快，在準確性上與自頂向下模式的算法相差無幾，但運行速度比使用自頂向下模式的人體姿態估計算法快了至少4倍。

綜合國內外的研究現狀，姿態估計未來還是有很大的挑戰性，需要不斷提高實時推理的準確性和速度，從而給用戶帶來更好的體驗。但由于移動端算力有限，將姿態估計算法部署在移動端需要對模型進行壓縮加速，對網絡進行輕量化操作，并且將輕量化和壓縮加速過程進行自動化[2]。

2" 算法層和框架層的具體加速方法

2.1" 算法層

1）模型剪枝：深度學習網絡從卷積層到全連接層中存在大量冗余參數，合理去除這些數值為零或接近零的權值的過程被稱為模型剪枝。模型的準確率在對剩余的權值進行重訓練微調后幾乎沒有影響，模型的大小卻可以壓縮數倍，達到大幅減少模型計算量并提升性能的效果[3]。剪枝的流程主要有迭代式剪枝和動態剪枝，其中迭代式剪枝是最常用的剪枝流程，指的是先訓練權重再剪枝再重新訓練權重，修剪后重新訓練，可以讓模型因修剪操作導致的精度下降恢復過來;動態剪枝指的是剪枝和訓練同時進行，在優化目標中加入權重稀疏正則項。按剪枝的粒度劃分，剪枝可以分為結構化剪枝和非結構化剪枝。其中，非結構化剪枝方法包括細粒度剪枝、向量剪枝、核剪枝，結構化剪枝有濾波器剪枝。迭代式剪枝流程如圖1所示。

2）模型量化：模型量化指的是將模型中大量的浮點型存儲的權重改為整型存儲。目前深度學習模型中的權重大部分都是用32 bit的浮點型數據類型（float）進行存儲和計算，主流的模型量化方法是將32 bit的浮點型數據類型（float）數據壓縮到8 bit的基本整型（int），因為int8的字符長度可以比較完整地覆蓋大部分的模型權重值，此舉在節約了3/4的內存的同時提高了計算效率[4]。

3）模型蒸餾：深度學習的網絡模型通常深而復雜，模型的參數量非常大，導致訓練和部署都需要消耗大量的計算資源，很難被直接應用在移動設備上[5]。知識蒸餾指的是利用復雜的深層網絡模型向淺層的小型網絡模型遷移知識，利用現在的模型資源指導新的訓練階段，還節省了改變任務場景帶來的工作成本。知識蒸餾可以分為離線蒸餾、在線蒸餾、自蒸餾、無數據蒸餾、多模型蒸餾和特權蒸餾[6]深度學習模型壓縮與加速方法見表1。

2.2" 輕量級網絡

為了避免姿態估計向移動端遷移后出現性能受限的問題，輕量化設計應運而生。2016年伯克利和斯坦福的Iandola等提出大量采用1×1的卷積核替換3×3的結構對特征維度進行壓縮，這正是較早關注輕量化網絡研究的SqueezeNet模型，它的網絡結構得到了優化，模型中的參數大幅減少。MobileNet系列是輕量級網絡中很重要的一個系列，由Google團隊的Howard 等提出，專注于移動端或者嵌入式設備中的輕量級卷積神經網絡（CNN），與傳統卷積神經網絡相比，準確率小幅度降低，但模型參數與運算量大大減少。MobileNetV1使用基于深度可分離卷積提取特征，并且通過引入2個超參數進一步控制模型的大小，該模型能夠應用到終端設備中；MobileNetV2借鑒經典殘差結構提出創新的具有線性瓶頸的倒殘差結構（inverted residual with linear bottleneck）單元，使得整體網絡準確率和速度都得到提升；MobileNetV3使用了神經架構搜索 （Neural Architecture Search，NAS）搜索參數并重新設計了耗時結構，并且向殘差中引入注意力機制的 SE結構。SuffleNet系列是曠視科技Zhang等提出的一個很重要的系列，其中，ShuffleNetV1提出了通道交換（channel shuffle）和組卷積（pointwise group convolution）操作，對組卷積得到的特征圖采用通道變換進行打亂，有效對沖分組導致的組間特征信息不通的問題；而ShuffleNetV2提出了通道分離（channel split）操作，并指出了應采用直接度量指標并將指標在目標平臺上進行估計的原則，高效的同時還很準確。

2.3" 姿態估計輕量級模型和框架

為了提高便攜式設備處理圖像和視頻數據的效率和能力，在便攜式設備上部署的模型需要同時滿足存儲空間和功耗的限制，適用于便攜式設備的輕量化深度神經網絡架構的設計是解決該問題的關鍵。MoveNet是Google在2021年5月推出的一款輕量化姿態估計模型，能夠非常快速、準確地檢測人體的17個關鍵節點。MoveNet是一個bottom-up的單人姿態估計模型，包括2個版本，其中Lightning 模型體積小速度快，能在現代智能手機上實時運行。微軟開發的SimpleBaseline 是精度高而又輕量級的典范，而論文Simple and Lightweight Human Pose Estimation提出的輕量級姿態估計網絡LPN在該架構基礎上做了少許改進，取得了更快的速度和更小的模型Size。DensePose是facebook在2018年提出一種人體姿態估計器，建立從2D圖像到3D人體表層空間（surface-based）的密集對應關系，以每秒多幀的速度處理密集坐標，最后實現動態人物的精確定位和姿態估計。

在快捷實現移動端部署的框架方面，MediaPipe的姿勢檢測是一個在設備端實現高保真和低延遲的姿態估計的解決方案，用于在低端設備的實時視頻源中檢測一個人的33個3D地標，使用它可以快捷地構建起移動端應用；TensorFlow Lite是一個能夠用于幫助開發人員在移動設備、桌面設備、嵌入式和邊緣設備上部署模型的框架，從而實現設備上機器學習。

3" 模型壓縮自動化

在移動端中運行人體姿態檢測模型需要通過提高推理速度，減少模型參數量和降低運算量進行模型壓縮，使模型輕量化。模型壓縮技術根據不同的使用場景來決定使用的模型壓縮方法，學習門檻高，人工調參也十分繁瑣。而自動化模型壓縮框架可以不需要學習模型壓縮方法和修改源代碼，通過引入API直接對模型進行壓縮，方便快捷。

騰訊發布的全球首個自動化深度學習模型框架PocketFlow集成了當前主流以及自研的模型壓縮與訓練算法，提升CNN和RNN等網絡結構的運行效率，經由自研的超參數優化組件完成全自動托管式的模型壓縮與加速， PocketFlow中各個組件及特點見表2。

百度也發布了一款AI模型自動壓縮工具ACT，只需引入2行壓縮API，通過量化訓練，減小模型體積，從而減少內存占用，提升運行速度，提高推理能力。在VIT模型中使用ACT壓縮模型，僅用幾十分鐘的量化訓練，便可將模型縮小3.93倍，在GPU上，int8 推理速度相比 FP32提高7.1倍。VIT的壓縮策略主要使用量化、剪枝和知識蒸餾。VIT模型中的自動化壓縮流程：準備待壓縮模型、準備數據讀取模塊、定義策略配置文件，策略配置文件中有3種不同的策略：量化蒸餾訓練、剪枝蒸餾訓練、自動選擇（先對模型進行結構化剪枝，然后進行量化），VIT模型優化主要是通過算子融合、TensorRT 推理庫、硬件特性調優、開發更高效的計算內核來進一步提升壓縮后模型的推理速度。

4" 產業化應用

目前我國一些新興企業正在積極將面向移動端的人體姿態估計進行產業化應用，代表性企業如曠視科技、跨象乘云軟件技術有限公司等。目前面向移動端的人體姿態估計的產業化應用如下。

4.1" 健身指導

健身指導在體育領域中可以發揮巨大作用，可以將其運用于體育課程標準動作指導，可以實時進行姿態糾正，提高用戶的運動效益，減少健身教練指導成本。百度使用自主研發的PP-TinyPose打造AI虛擬健身教練，速度在半精度浮點數（FP16）的情況下達到122幀/s，精度超過COCO數據集的一半平均精度，精度提升了1.3倍。

4.2" 虛擬試衣

虛擬試衣在網上購物時可以為用戶帶來便捷，方便用戶選購合適的衣服，在線下實體店也可以省去用戶換衣時間，提高用戶體驗。同時也可以通過人體姿態檢測判斷用戶體態，為用戶提供方案和方案模型，供用戶挑選。得物APP的AR虛擬試穿功能，讓消費者可以足不出戶享受試衣樂趣。

4.3 體感游戲

隨著國內企業產品開發速度加快，國家技術持續發展，國家產業政策推進，為未來中國體感市場獲取良機。現在抖音上很多明星網紅都在玩的馬步救球球，玩家需要控制身體協調性保證球球不掉落到地上，有趣味性，同時可以鍛煉身體。

4.4 虛擬現實

由于近幾年5G、人工智能、大數據、云計算的快速突破，以及政策扶持持續加碼和資本市場的青睞，虛擬現實發展帶來機遇。VR運動成為了新興潮流健身運動，PICO作為VR品牌龍頭，布局VR運動，以全新運動場景，科學指導運動，沉浸式體驗，從運動中體會到樂趣。

5" 總結和展望

隨著大眾與智能設備的聯系越來越緊密，且越來越多的人更加重視健康從而進行健身鍛煉，人體姿態檢測也成為了未來計算機視覺領域必須要發展的一個方向。通過人體姿態檢測如何有效提高精確度和實時性成為了計算機視覺領域研究熱點之一。基于本文，就各個層面的移動端姿態估計作出以下總結。

1）輕量化網絡設計：在人體姿態估計不斷發展的趨勢下，移動端上的部署需求不容小覷，因此將現今的姿態估計網絡進行輕量化是非常有必要的。輕量化網絡需要盡量保持精度，并減小模型體積和加快計算速度。但模型的輕量化設計對網絡設計經驗和專業素養有較高要求，雖然目前已經出現了一批效果非常好的輕量化網絡，但是對便捷通用的輕量化網絡設計方法的探索還路長道遠。

2）模型壓縮：模型壓縮主要依托模型剪枝、模型量化和知識過濾對現有模型進行優化，但截至目前，深度學習模型壓縮與加速技術還尚未發展成熟，在實際部署和產品化水平上還有很大的進步空間。并且模型壓縮手段忽略了模型壓縮可能帶來的安全隱患，例如是否更容易被對抗樣本攻擊等。因此注意模型是否安全也是在模型壓縮方法研究過程的一個重要考慮因素。

3）自動化模型壓縮框架：騰訊開源的PocketFlow通過使用多GPU快速學習鍛煉，但其效率還有很大的優化空間，該框架的代碼中包含了太多的隱式調用，容易造成歧義。與distiller框架相比，PocketFlow實現的算法并不能與其相提并論，且distiller庫相對于剛出的PocketFlow更加成熟。百度的ViT的缺點也很明顯，計算復雜度和輸入的特征大小呈平方的關系，需要大量數據和計算資源進行訓練。相同的計算成本，ViT相比于一些 CNN 在性能上并沒有什么優勢，且出來時間較晚，其環境尚未成熟。在減少提及和加快運行速度，增強判斷力和加快訓練速度，仍有一段路要走。

4）移動端部署姿態估計框架工具：目前已經推出的Mediapipe和TFLite大幅度提升了姿態估計模型在移動端應用程序上部署的便捷性，為今后各個方面的姿態估計移動端應用的產業化應用開發和落地降低了門檻提高了效率，也為這類集成性強的框架工具奠定了基礎。

參考文獻：

[1] 王發明，李建微，陳思喜.三維人體姿態估計研究綜述[J].計算機工程與應用，2021，57（10）：26-38.

[2] 韓晶晶，劉江越，公維軍，等.面向移動端的目標檢測優化研究[J].計算機工程與應用，2022，58（24）：12-28.

[3] 徐嘉薈.基于模型剪枝的神經網絡壓縮技術研究[J].信息通信，2019（12）：165-167.

[4] 雷杰，高鑫，宋杰，等.深度網絡模型壓縮綜述[J].軟件學報，2018，29（2）：251-266.

[5] 高晗，田育龍，許封元，等.深度學習模型壓縮與加速綜述[J].軟件學報，2020，32（1）：68-92.

[6] 紀榮嶸，林紹輝，晁飛，等.深度神經網絡壓縮與加速綜述[J].計算機研究與發展，2018，55（9）：1871-1888.

[7] 葛道輝，李洪升，張亮，等.輕量級神經網絡架構綜述[J].軟件學報，2019，31（9）：2627-2653.

[8] 張琦.卷積神經網絡模型壓縮方法研究與優化[D].吉林：東北電力大學，2022.