基于高分辨率表征的多人姿態估計算法

時維國,于曉慧

(大連交通大學 自動化與電氣工程學院,遼寧 大連 116028)

人體姿態估計(Human Pose Estimation)是計算機視覺中的一個重要分支,是對視覺目標進行感知、定位、結構化信息獲取以及行為分析的前提。姿態估計技術廣泛應用于計算機視覺領域,例如人機交互[1]、行為識別[2-3]、視頻監控[4]和運動捕捉[5-6]等,是多個視覺任務中不可缺少的一環; 同時現有的目標姿態技術已深入到生活的方方面面,例如虛擬現實、交通違章駕駛、安防異常行為識別、商品無感支付等。姿態估計技術應用范圍廣闊, 是一個非常熱門的研究方向。

人體姿態估計是對二維和三維的人體進行建模,檢測出人體關鍵點位置信息。由于傳統模型匹配方法具有局限性[7-9],人體姿態估計主要用深度學習方法解決,其中卷積網絡為首選。 2014年Toshev等[10]將深度神經網絡引入人體姿態估計算法,有效提高了人體關鍵點的檢測性能。但隨著對人體姿態估計網絡性能要求的不斷提高,運算復雜度也隨之快速升高,因此在保持網絡模型運行速度的前提下,如何保持網絡模型對人體的關鍵點檢測精度,是當前人體姿態估計網絡模型改進和優化所面臨的重要問題。

基于深度學習的姿態估計方法主要分為Single-stage、Bottom-Up、Top-Down 3種檢測方法。Single-stage方法可一次性定位關鍵點位置和關鍵點所屬目標,推理邏輯簡單、速度快,但準確度低。Bottom-Up方法[11]是先定位得到所有人的關鍵點位置,然后將關鍵點進行聚類,得到關鍵點所屬目標,該方法的計算和運行時間隨著人數的增加幾乎保持不變; 當使用上下文信息無法獲得關節點相互關系時,便會出現關節點錯組、雜亂等現象,該類方法推理速度快,但精度低。在COCO 2016關節點挑戰[12]中取得了最好成績的Cao等[13]提出了人體關節點親和場來改進其中缺點。Kocabas等[14]提出將多任務模型與一種新的分配方法相結合,通過姿態殘差網絡來接收關節點和人體目標。Top-Down檢測方法分為人體目標檢測和單個人體姿態兩部分,先通過檢測區分目標,再將檢測的人體送入單人姿態估計網絡,例如文獻[15-16]提出按順序級聯檢測器和人體估計,文獻[17-18]提出在整個網絡中,直接預測人體目標框和關節點情況。Top-Down方法的優點在于精度高,缺點在于速度慢,跟檢測人數有關,同時依賴于檢測準確度。主要優化的角度一般包括網絡模型結構、關鍵點編解碼方法、中間層監督、損失函數等[19-20]。

本文使用Top-Down姿態估計方法,設計了一種特征高分辨率表征的姿態估計方法,該方法是基于Mask RCNN模型,提升姿態特征的空間位置信息,減少姿態估計的預測誤差,進一步提升姿態估計性能。 該方法從模型結構角度,通過Mask RCNN模型檢測實例,將實例的檢測結果映射到特征金字塔的高分辨率特征層,通過Roi-Align提取特征金字塔的高分辨率特征輸入關鍵點預測模塊,然后上采樣提高特征分辨率,最后將預測特征進行空間位置編碼成分類任務,來獲取實例的關鍵點二維空間位置,實現多人姿態估計。

1 模型結構

1.1 Mask RCNN網絡結構

基于Mask RCNN將分割任務分成四部分:主干+FPN獲取不同level特征、RPN候選框提取、RCNN實例檢測以及FCN全卷積網絡進行實例分割預測。Mask RCNN網絡結構示意圖見圖1,主干可以采用ResNet、DenseNet等網絡,接一個FPN特征金字塔,提取不同分辨率特征,然后通過側連接將低層空間位置信息與深層語義信息相連接。對于不同分辨率特征既包含語義分類信息又包含不同的空間位置信息,得到不同感受野大小特征之后,基于多層特征進行檢測和分割的預測。首先對于每一層FPN特征都會預設不同尺度的錨框,對于高分辨率FPN特征則預設較小錨框,預測較小的目標,因為高分辨率特征的感受野較小;然后通過RPN候選框提取網絡,該網絡主要是對預設的錨框進行前景背景二分類和回歸任務,用于候選前景區域的提取,對提取的候選框在多層level特征進行ROI-align,選取正負樣本送入RCNN進行多類分類與坐標二次回歸;同時對于包含分割信息的正樣本候選框送入全卷積 FCN模塊, 用于分割的預測,分割預測模塊由多層卷積加分割編碼預測層組成,預測每個目標的前景背景。

圖1 Mask RCNN網絡結構示意圖

1.2 Keypoint-RCNN姿態估計預測模塊

姿態估計訓練樣本中按照目標面積大小,將候選框分配到不同分辨率大小的金字塔特征進行預測,原則為根據特征的感受野大小,低分辨率特征具有大的感受野,高分辨率特征具有小的感受野,將大目標分配到低分辨率特征進行預測,小目標分配到高分辨率特征進行預測,與檢測任務的分配方式一致;同時關鍵點對空間位置高度敏感,所以姿態估計預測模塊輸入特征需要通過ROI-align方式進行特征提取,來避免位置量化誤差;同時關鍵點輸入模塊需要豐富的空間位置信息(圖2),ROI-align得到的特征分辨率大小設為14×14。

圖2 KeyPoint-RCNN網絡結構示意圖

把14×14的特征輸入到關鍵點預測模塊,關鍵點預測模塊由多層卷積構成,為了保證特征的感受野大小,設置8層連續的卷積層,卷積核大小設置為3×3,卷積滑窗大小為1,卷積核數量設為512,卷積方式為same卷積,不改變特征分辨率大小;然后接一層反卷積層,反卷積通道數為關鍵點預測個數,在COCO數據集上預測17個點,則通道數為17,反卷積將14×14分辨率大小特征增大到28×28,最后連接一個雙線性上采樣層,將特征雙線性插值到56×56,保證了特征的空間位置信息。

測試過程:先將RPN候選框生成器中分數最高的前1 000個候選框輸入RCNN中, RCNN通過回歸和分類, 得到一系列的檢測框; 再將檢測框根據其尺度在輸入多層特征上進行ROI-align, 把14×14的特征輸入到姿態估計模塊, 通過8層卷積、一層反卷積和一層雙線性插值得到56×56的特征圖, 將56×56大小的特征圖先插值到檢測框大小, 然后在特征圖上, 每個通道尋找最大位置點, 得到的位置點再加上檢測框左上角位置, 就得到原圖上關鍵點位置信息。

1.3 FPN特征金字塔模塊

檢測任務是將候選框分發到不同FPN特征金字塔上進行特征提取,分別為P2、P3、P4、P5 4層,將ROI-Align之后的特征聯合起來輸入RCNN進行分類與回歸預測。其檢測分發的原則為:按照檢測候選框的尺度進行分發,大目標對應到小分辨率進行特征提取,小目標對應到高分辨率進行特征提取,FPN預測結構示意圖見圖3。

圖3 FPN預測結構示意圖

按照以上P2～P5 4層的分發方式,對一個目標分發到哪一層進行特征提取,根據尺度大小, 對應分配到FPN的具體層level的公式為:

(1)

式中:k0為基礎level層,對應224×224尺度分配對應的層,選擇P4作為k0層;w和h分別為圖像的寬與高;?」為向下取整。當目標大于224×224, 設目標為448×448,則返回的k值為k0+1, 即返回到P5層,正好對應低分辨率特征,預測大尺度目標。當存在目標更大時,k值返回k0+2,由于最高層為P5預測層,也會只在P5層上提取特征。

對于姿態估計任務,候選框中選擇帶有關鍵點的候選框訓練關鍵點分支。根據上述分析,關鍵點與分割任務不同于檢測,對位置信息異常敏感,關鍵點任務會將ROI區域關鍵點映射到56×56固定特征圖大小,同時會向下取整導致量化誤差。當大目標分配到P5層低分辨率特征進行預測時,會導致提取的特征誤差更大,但對于檢測任務,大目標返回到原圖32個像素誤差,依然是可以滿足檢測需求且一般滿足檢測框相似度大于0.5;但關鍵點大目標相差32個像素誤差是致命的,所以將關鍵點在檢測任務分配的基礎上,對任意候選框尺度都分配到高分辨率特征層進行預測,來減少檢測特征提取的量化誤差,考慮到當分配到P2層,特征提取耗時更加嚴重,這里選取P3層進行關鍵點預測特征提取,高分辨率表征姿態估計網絡結構示意圖見圖4。

圖4 高分辨率表征姿態估計網絡結構示意圖

在 P3 層上進行預測而不是采用在 P2 層進行預測,其第二個原因主要是 P3 的感受野更大, 能夠更加充分感知整個姿態之間的連接關系與姿態結構。

1.4 基于高分辨率表征的姿態估計算法

本文是基于高分辨率特征表征的姿態估計方法研究,主要是根據檢測任務與姿態估計任務對空間位置信息的要求,以及現有基于Mask RCNN架構的姿態估計方法其存在的問題,提出了基于高分辨率特征表征的方法,即對任意候選框都通過豐富的空間位置信息進行表征,減少量化誤差。同時考慮到在姿態預測結構中,加入了多層卷積,預測特征本身具有更加豐富的感受野,所以在FPN特征結構中,采用高分辨率特征進行關鍵點姿態信息的提取。基于高分辨率表征的姿態估計算法步驟如下:

Step1 特征提取:輸入大小為1 333×800,訓練過程進行多尺度訓練,輸入圖像先進行主干特征提取,采用基礎主干模型 ResNet-50,主干ResNet-50是基于ImageNet檢測預訓練模型去除分類全連接層得到的;然后輸入FPN特征金字塔結構,提取多層level信息,分別是P2～P7層特征提取。

Step2 對P2～P7每一個level層,都連接RPN 候選框提取器進行候選框提取,然后從提取的候選框中篩選512個候選框,訓練RCNN檢測分支。512個候選框中,正負樣本的比例為1∶3,正樣本訓練回歸分支,正負樣本聯合訓練RCNN的分類分支。

Step3 對候選框正樣本進行進一步篩選,篩選正樣本中含有關鍵點信息的候選框作為關鍵點候選框訓練樣本Pkey,同時將真值框也作為關鍵點候選框,真正訓練的候選框樣本為:

(2)

Step4 將關鍵點候選框在P3高分辨率特征上進行 ROI-Align 特征提取,得到固定14×14 大小的特征,然后輸入關鍵點預測模塊進行關鍵點預測;關鍵點預測模塊由8個3×3卷積層組成,然后通過反卷積以及上采樣得到56×56分辨率大小特征,將關鍵點編碼成空間位置進行訓練,最后聯合檢測RCNN的分類與回歸loss、RPN 的分類與回歸loss,以及關鍵點loss。

Step5 在訓練過程中,訓練檢測類別數為1, 因為只對人體進行檢測。采用SGD優化器, 單卡 batch為8,總batch size為64,學習率設為0.08,warm-up為500 個iter;訓練總的迭代次數為 22,訓練檢測類為人體1類,最后得到總的訓練模型。

Step6 檢測測試:測試過程首先輸入圖像為 1 333×800,通過主干和FPN特征金字塔特征提取,然后通過RPN候選框提取,取得分前1 000的候選框,通過其尺度分配到FPN不同level進行 ROI-Align,得到7×7固定大小分辨率特征輸入RCNN,取得分前100個檢測框作為人體目標的檢測結果。

Step7 關鍵點測試:將檢測目標全部分配到 P3層上進行ROI-Align特征提取,得到固定大小14×14分辨率特征輸入關鍵點head模塊,然后通過8層卷積核反卷積以及雙線性插值得到56×56大小分辨率特征,然后在特征圖上取最大位置點作為關鍵點檢測結果,最后返回大圖位置。

2 試驗結果與討論

2.1 數據集、試驗條件與評測指標

數據集采用COCO數據集進行試驗,分別為訓練集與驗證集,COCO關鍵點個數為17,訓練目標類為人體目標,訓練與測試均為多人場景。

試驗條件:算法與對比試驗的環境一致,處理器為i7,內存為8GB,系統為Linux Ubuntu系統,顯卡為英偉達GeForce GTX 1080,顯存為8G。本方法采用的深度學習框架為Pytorch,開發編程語言為Python。

本文提出的高分辨率特征表征的姿態估計算法評價指標為OKS與mAP,其中OKS為姿態相似度,mAP為姿態估計平均精度,OKS主要是通過關鍵點之間的聚類衡量,第p個目標的OKSp的計算方式為:

(3)

2.2 試驗對比結果與分析

基于高分辨率表征的姿態估計方法和Mask RCNN架構,本試驗將與Mask RCNN 公開論文中的姿態估計性能在COCO數據集上進行對比。高分辨率特征姿態估計訓練參數設置:訓練輸入大小為多尺度方式,短邊范圍為640～800,長邊與短邊成比例,最長為1333; 輸入數據預處理方式為減均值除以方差,3個通道的均值為[123.675, 116.28, 103.53],方差為[58.395, 57.12, 57.375],訓練卡數為8卡,單卡batch size為8,訓練卡為英偉達V100,學習率為0.08,SGD優化器,動量項為0.9,weight decay為1e-4,其中設置 police的學習率下降方式,在15,22個epoch下降學習率,學習率下降倍率為0.1,采樣warm-up的起始學習率更新,warm-up代數為1000,warm-up的倍率為1e-3;訓練迭代次數為22,訓練總的迭代次數與論文中設置一致,所有的參數選擇更新學習。測試參數設置: 測試分辨率大小為1333×800單尺度測試,測試過程也進行圖像預處理減均值除方差。

高分辨表征姿態估計方法在COCO數據集中每個batch size訓練總損失與關鍵點分類損失如圖5所示。從圖中可以看出,模型總的損失函數以及關鍵點損失在訓練過程都在整體下降,在所有的迭代次數之后,損失基本上優化到全局最優解。

圖5 高分辨率表征姿態估計損失loss示意圖

在訓練的過程中為了跟蹤RCNN模塊的分類性能,計算每個batch中所有候選框的分類準確率,采用Accuracy進行評價,負樣本候選框也參與評測,整個訓練過程候選框的精度如圖6所示。可以看出對人體實例的檢測性能不斷提升,當檢測越準確,才能將人體目標進行進一步的姿態估計。

圖6 RCNN模塊在訓練集的精度變化

對訓練完成的模型進行檢測與關鍵點可視化,在COCO驗證集的檢測結果與姿態估計結果可視化見圖7。對檢測的人體,進一步進行姿態估計,采用高分辨率特征表征的方法,無論對大目標還是小目標都能進行完整的姿態估計,姿態估計的對稱姿態點誤檢較少,且關鍵點定位較為準確。

圖7 COCO數據集測試可視化示意圖

為了驗證提出的高分辨率特征姿態估計方法的有效性,與Mask RCNN[18]姿態估計方法進行對比,驗證集的性能見表1。姿態估計的評測指標為mAP,其中檢測的評測指標也為mAP,對于姿態估計mAP會進一步對比不同相似度閾值下的AP以及不同大小目標的AP。

表1 高分辨率特征表征與Mask RCNN姿態估計方法 COCO驗證集對比結果

由表1可以得到,本文提出的高分辨率表征姿態估計方法檢測任務性能提升1.0%,姿態估計任務提升0.5%,其中在IOU50以及IOU75下都有對應的性能提升,IOU50 提升只有0.4%,可以看出高IOU下姿態估計性能提升更為明顯,說明其高分辨率降低了特征下采樣誤差,其空間位置定位更準確。

為了進一步驗證其在P3層提取高分辨率特征的有效性,還對不同層的特征進行了試驗,試驗對比見表2,可以得到在P3層上ROI-align的特征效果最好。

以上試驗充分說明,P3層高分辨率特征表征,相比P2層其語義分類性能更優,但如果在更低分辨率特征進行特征提取,其姿態估計性能不斷降低。同時由于訓練過程中檢測與姿態估計是相關的,姿態估計損失會影響檢測的優化,導致其檢測性能進一步降低。綜上所述,本文設計的高分辨率特征表征的姿態估計其檢測、姿態估計任務都相比論文Mask RCNN性能更高,充分驗證了高分辨率特征表征具有一定的有效性。

3 結論

本文首先介紹了 Mask RCNN 模型結構,然后分析了基于 Mask RCNN 的姿態估計任務方法與原理,分析了其對應的優缺點。將檢測任務與姿態估計任務進行對比,分析得到姿態估計任務對空間位置信息更加敏感,在特征金字塔特征提取的基礎上,將特征金字塔提取更高高分辨率特征輸入姿態估計模塊,一方面是降低關鍵點下采樣量化誤差,同時高分辨率特征具有豐富的空間位置信息, 提升關鍵點的檢測性能。為了高分辨率特征提取,考慮到特征提取耗時,將特征金字塔中間層特征進行關鍵點任務的特征提取。通過試驗對比,基于高分辨率特征表征的關鍵點預測方法準確度更高。