基于三維姿態估計的智慧體能計數算法

吳 玲，陶青川，敬 倩

（四川大學電子信息學院，成都 610065）

0 引言

現有的體能計數系統主要采取人工計數或者紅外設備檢測的方式，不僅效率低、誤差大，而且成本高。近年來，隨著人工智能的快速發展，計算機視覺領域的許多技術如人臉識別、語義分割和姿態估計等，在智能安防、遠程醫療和體感游戲等領域得到了廣泛應用。因此，基于計算機視覺技術的智能計數算法在體能訓練中的應用具有重要意義。

姿態估計是計算機視覺領域的一個熱門研究方向，其包括二維姿態估計和三維姿態估計。對于多人二維姿態估計而言，主要有兩種方法：自上而下以及自下而上。對于自上而下方法，首先是利用目標檢測網絡檢測出所有人體目標，然后對每個目標做姿態估計。He 等提出了一種在有效檢測目標的同時輸出高質量實例分割Mask 的MASK-RCNN 算法。Chen 等提出級聯金字塔網絡（cascaded pyramid network，CPN），可以提供上下文信息，用于推斷被遮擋的關鍵點。對于自下而上方法，需要先找到圖片中的所有關鍵點，然后把這些關鍵點按一定算法規則匹配組成完整個體，如Cao 等提出的Openpose 經典算法，使用PAFs（part affinity fields）這種結構對全局上下文進行編碼，自下而上進行解析，能夠實時地進行多人二維姿態估計。

二維姿態估計雖然能簡單有效地將人體的姿態輪廓刻畫在二維平面上，但是當拍攝視角和姿態動作快速變換時，不同的關鍵點因為相互遮擋可能會映射到二維平面的同一位置，或者出現漏檢、檢測不穩定等情況。隨著姿態估計技術的不斷發展及應用場景的復雜化，二維姿態估計的弊端日益凸顯，因此越來越多的學者投入到三維姿態估計技術的研究中。三維姿態估計可以檢測關鍵點的深度信息，能夠有效地解決部分遮擋情況下的關鍵點信息丟失問題，基于深度學習的三維人體姿態估計現已成為三維姿態估計的主流研究方法。

本文基于三維姿態估計網絡提出了一種Fast-3D-Pose-Counter 智慧體能計數算法，該算法由數據采集模塊和三維姿態計數算法模塊組成。數據采集模塊通過單目RGB 攝像頭采集人體體能訓練視頻圖像，計數算法模塊由改進的YOLO_v3 目標檢測，自上而下的SimplePose 二維姿態估計網絡，3D-Pose-Baseline 三維姿態估計網絡和KNN 動作分類器組成。算法總流程圖如圖1所示。

圖1 算法流程

1 體能計數算法

1.1 二維關鍵點檢測

二維關鍵點檢測包括自上而下和自下而上兩類方法。自上而下的特點是準確率高，但推理速度慢；自下而上的特點是推理速度快，但準確率低。由于后期需要建立二維關鍵點到三維關鍵點的非線性網絡映射，然后再對三維坐標特征向量進行分類實現動作計數，因此二維關鍵點的推理精度至關重要，所以本文選擇了自上而下的方法實現二維關鍵點的檢測。自上而下法包括兩個步驟：①人體目標檢測。②基于檢測框做姿態估計。

1.1.1 基于改進的YOLO_v3人體目標檢測網絡

經典的YOLO_v3 網絡以Darknet-53 作為骨干網絡，復用Darknet-53 的前52 層網絡結構，去除了最后一層全連接層，所以YOLO_v3 網絡是一個全卷積網絡，其網絡結構中大量使用Resnet 的跳層連接結構。YOLO 將圖像劃分為×的網格，當目標中心落在某個網格中，就用這個網格去檢測它，每個網格需要檢測3 個錨框，對于每個錨框，它包含坐標信息（，，，）以及置信度等5 個信息，同時還會使用one-hot編碼包含是否含有所有類別的信息，如COCO數據集含有80 個類別，所以，每個特征輸出層的維度為：

其中CLASS表示數據集包含的類別數量。需要注意的是，原Darknet53 中的尺寸是在圖片分類訓練集上訓練的，輸入的圖像尺寸是256×256，而本文采用輸入的尺寸是416×416。圖2為YOLO_v3 416 的網絡模型結構圖，最終得到三個特征層尺度，分別是52×52、26×26、13×13。特征圖越小，感受野越大，越適合檢測大目標；特征圖越大，感受野越小，越適合檢測小目標。所以52×52 的特征圖適合檢測小目標，26×26 的特征圖適合檢測中目標，13×13 的特征圖適合檢測大目標。

圖2 YOLOv3網絡結構

由于本文提出的算法應用在單人體能訓練場景，攝像頭采集的人體目標較大，因此需要在原YOLO_v3網絡上進行改進，改進策略如下：

（1）考慮到實際應用場景中的人體目標較大，同時為了保證在一定的檢測距離范圍內的檢測效果，只保留13×13 以及26×26 這2 個獨立預測分支。

（2）為了保證整個三維姿態估計算法的實時性，需要使用一個高效精簡的網絡快速準確地定位出人體目標，因此在原YOLO_v3 的基礎上對網絡層進行刪減，改進后的網絡結構如圖3所示。

圖3 改進后的YOLOv3網絡結構

使用改進之后的網絡對自制數據集進行訓練，得到的檢測模型大小為13.7 M，約占原YOLO_v3模型的1/17，在i5-6500 CPU 上實際部署時推理速度可達71.6 FPS。部分檢測效果如圖4所示。

圖4 改進的YOLO_v3檢測人體效果

1.1.2 基于SimplePose進行二維姿態估計

SimplePose是一個簡單高效的單人姿態估計模型，它采用自上而下的策略，在被檢測人體目標的基礎上進行二維姿態估計，使用Resnet作為骨干網絡，其網絡結構如圖5所示。

圖5 SimplePose網絡結構

SimplePose 沒 有 采 用Hourglass和CPN 等姿態估計網絡設計的金字塔形特征結構，而是直接利用Resnet 殘差模塊的輸出特征層（C5）生成姿態的熱力圖（heatmap），然后在其后接入3個反卷積和卷積交替的模塊來獲得高分辨率的heatmap，每個反卷積模塊都采用Deconv +BatchNorm+ReLU 結構，最后用1 個1*1 的卷積層改變通道數，使得輸出熱圖個數為關鍵點個數。

為了提高姿態估計的有效性，避免直接從單幀圖像中進行姿態估計而導致的被遮擋關鍵點漏檢誤檢的問題，SimplePose基于光流對姿態進行跟蹤，主要思想參考了Girdhar 等提出的姿態跟蹤方法，使用光流法對檢測框進行補充，使用OKS 代替檢測框的IOU 來計算相似度等，具體方法如下：

（1）確定bbox。將人體目標檢測器檢測的bbox 和基于光流估計的bbox 采用NMS 進行統一。

（2）對bbox 進行剪切和Resize，然后采用SimplePose姿態估計網絡進行姿態估計。

（3）最后通過OKS 度量人體關鍵點相似度，按照基于光流的跟蹤對檢測到的行人實例的姿態進行不斷的更新。

更新策略是首先估計每幀中人的姿態，通過分配一個特有的id 來在不同幀之間對人體姿態進行跟蹤。然后計算上下幀中人體關鍵點的OKS 相似度，將相似度大的作為同一個id，沒有匹配到的分配一個新的id。給定幀k的一系列目標P={p}，和幀l 的一系列目標P={p}，基于流的姿態相似度度量定義為：

OKS指標定義如下：

其中表示Groundtruth 中人物的，表示關鍵點的，d表示Groundtruth 和預測圖中的每個人關鍵點的歐氏距離，S表示當前人物在Groundtruth 中所占面積的平方根， 即

本文將上文提到的改進的YOLO_v3 網絡用作人體目標檢測器，并結合SimplePose 光流檢測框對人體目標進行檢測，僅保留檢測框內的人體目標圖像作為SimplePose 二維姿態檢測模塊的輸入，檢測人體的骨骼關鍵點，SimplePose監測的關鍵點數量為17 個，分別為鼻子、左右眼、左右耳、左右肩、左右手肘、左右手腕、左右臀、左右膝、左右腳踝?？紤]到體能訓練中主要關注的部位為人體的軀干，因此本文將SimplePose 姿態估計模塊的輸出通道數減少為13，即去掉臉部的雙耳、雙眼這四個關鍵點，這樣既可以減少訓練計算量，又可以提高檢測速度，改進之后的SimplePose 檢測效果如圖6所示。

圖6 改進后的SimplePose檢測效果

1.2 基于3D Pose Baseline實現三維關鍵點檢測

3D Pose Baseline 是一個超輕量級的神經網絡模型，可以很好地處理2D 到3D 姿態回歸的問題，其網絡結構如圖7 所示。該網絡結構簡單，使用Resnet 作為骨干網絡，將每一個Resnet 結構作為一個Block，每個Block 中包含了兩個全連接層（linear 層），每個全連接層后面都緊連著Batch Normalization、ReLU 和Dropout層。除此之外還在Block 前加了一個全連接層，用來將輸入的16×2 的二維關節點坐標升維到1024 維。同樣地，在網絡最后也加了一個全連接層，用來將1024 維的數據降維到16×3 的三維坐標。整個網絡只需要一些基本的計算模塊和結構，即可達到實時準確的三維姿態估計。

圖7 3D Pose Baseline網絡結構

本文在改進的SimplePose 網絡輸出坐標的基礎上，將其二維姿態檢測的坐標格式統一為3D Pose Baseline 要求的輸入格式，然后將輸入圖像旋轉，使用3D Pose Baseline 網絡在Human 3.6 M 數據集的訓練模型進行測試，最終的3D姿態檢測效果如圖8所示。

圖8 3D姿態檢測效果

1.3 基于KNN算法實現動作計數

KNN（K nearest neighbors）算法又叫K近鄰算法，它是有監督學習分類中的一種經典算法，其實現過程包括3個步驟。

（1）計算待分類物體與其他物體之間的距離。

（2）統計距離最近的個實例。

（3）個實例中擁有最多實例的類別即為未來新樣本的實例。

該過程中涉及的主要因素有兩個：值的選擇，距離度量的方式。

對于值的選擇：越大，則滿足新樣本距離要求的實例會越多，模型簡單但可能會欠擬合。越小，模型會變復雜，但是容易發生過擬合。所以值一般小于20，當值適當時，無論新樣本是什么，預測結構都是訓練集中實例最多的樣本。

對于距離的度量，兩個樣本點之間的距離代表了這兩個樣本之間的相似度。距離越大，差異性越大；距離越小，相似度越大。最常見的度量方式有兩種：歐氏距離和曼哈頓距離。假設存在兩個點（，，…，），（，，…，y），各個距離的定義如下：

其中，代表特征維度，代表空間的維數，當=1 時，就是曼哈頓距離；當→∞時，就是切比雪夫距離。

本文對三維姿態估計之后獲得的人體16 個三維關鍵點坐標進行處理，計算三維空間坐標系下左右手肘、左右腰部和左右膝蓋這六個關節部位的彎曲角度，得到基于三維關鍵點坐標的六維特征向量。然后采用歐氏距離度量方式，設定值為13，基于KNN 算法對特征向量按照仰臥起坐的躺臥、上伏、貼膝這三個狀態進行分類，若按順序依次完成這三個動作，則計數加一，若因為動作不規范沒有按照順序進行或者未執行規定動作則計數不變。

2 實驗與分析

本文的實驗環境為Ubuntu16.04 LTS，內存8 G，處理器為Intel Core i5-7500 CPU，主頻3.4 GHz，基于64 位操作系統，GPU 型號為Ge-Force GTX 1080Ti，顯存16G，模型的訓練和測試基于Pytorch 1.8.0框架。

由于算法中含有二維姿態估計模塊和三維估計姿態模塊，因此需要選擇不同的數據集進行訓練。現有的二維數據集，如MS COCO、MPII 等，圖像中的人體大部分以站立為主，而本文主要關注的是體能訓練場景，如俯臥撐、仰臥起坐等，大部分人物姿態是以橫躺或者坐立為主，實驗結果表明現有的公開數據集并不適用體能訓練場景。因此，本文以仰臥起坐項目為例，利用labelme 對自采集體能訓練集進行打標，然后通過鏡像、旋轉和裁切等數據增強算法擴充了樣本容量，達到8000個樣本。最后，利用COCO API對數據集進行歸一化處理，最終的樣本格式如圖9所示。

圖9 自制二維姿態數據集

Human3.6M是使用最廣泛的多視圖單人三維人體姿態數據集。該數據集包含360萬個3D人體姿勢和15個場景中的相應視頻，比如討論、坐在椅子上、拍照等。由于Human3.6M數據集包含的場景豐富，我們的體能訓練源數據經過旋轉處理后，可以與該數據集中的很多姿態樣本符合，所以本文選取了Human3.6M數據集的S1、S5、S6、S7、S8作為訓練集，S9、S11作為測試集。

本文將體能計數的準確率作為評價指標，選取80個時長約25 s的體能測試視頻進行測試，包含1180 個有效動作，最終的計數準確率可以達到99.6%，實測幀率約27.4 FPS，具備很好的實用性。相比于傳統的計數方法，計數精度大大提高，成本大幅降低。相比于僅用二維姿態關鍵點的幾何角度判斷法，本算法能在攝像頭拍攝視角變換的情況下保證計數精度，使用更為靈活方便。相比于二維姿態分類計數算法，本算法能改善二維姿態估計中由于目標遮擋導致的誤檢漏檢情況，利用空間信息實現更為準確地計數?；诒舅惴ǖ牟糠譁y試效果如圖10所示。

圖10 本文算法效果

3 結語

本文提出了一種基于三維姿態估計的智慧體能計數算法，該算法能夠從單目攝像頭采集的圖像中，準確快速地提取出人體三維骨架特征，然后對三維坐標特征向量進行分類以實現精確計數。實驗結果表明該算法可以有效地克服傳統計量算法的局限性，在存在部分遮擋、拍攝角度適當變換的情況下也能夠保證計數準確率。該算法具有廣闊的實際應用前景，如健身效果評估和體感游戲等。但是，由于缺少大型的3D 室外數據集以及單視角中2D 到3D 的映射固有的深度模糊性，導致該算法在極少數場景中下存在計數誤差，后期將通過增加攝像頭數量以及擴充數據集進行進一步完善。