部位級遮擋感知的人體姿態(tài)估計

褚 真 米 慶 馬 偉 徐士彪 張曉鵬

1(北京工業(yè)大學信息學部 北京 100124)2(北京郵電大學人工智能學院 北京 100876)3(模式識別國家重點實驗室(中國科學院自動化研究所) 北京 100190)(zhen.chu@foxmail.com)

人體姿態(tài)估計即定位圖像或視頻中的人體關節(jié)點，是計算機視覺中一項基本但極具挑戰(zhàn)性的任務，在運動康復、人機交互、自動駕駛[1]等方面有著廣泛應用.近年來，深度學習的發(fā)展使得人體姿態(tài)估計技術取得了突飛猛進的進步.然而，現(xiàn)有方法仍難以較好地處理現(xiàn)實環(huán)境中普遍存在的遮擋問題.如何有效應對遮擋問題，進而提升人體姿態(tài)估計方法的實用價值，是目前研究的重點和難點.

數(shù)據(jù)增強是處理遮擋問題的常用方法之一.例如，Ke等人[2]通過從關節(jié)點周圍圖像背景中裁剪出正方形區(qū)域粘貼到關節(jié)點位置來模擬遮擋.Bin等人[3]提出語義數(shù)據(jù)增強方法，通過生成網(wǎng)絡動態(tài)地預測增強后的圖像，進而利用增強后的數(shù)據(jù)訓練人體姿態(tài)估計網(wǎng)絡，以提升這些網(wǎng)絡在遮擋環(huán)境下的魯棒性.但是，數(shù)據(jù)增強方法干擾了網(wǎng)絡對于關節(jié)點表觀屬性的認知.為此，Zhou等人[4]提出OASNet，利用注意力機制預測遮擋感知的注意力圖，刪除遮擋區(qū)域噪聲特征，進而重建出因遮擋而缺失的人體區(qū)域特征.相比于數(shù)據(jù)增強方法，遮擋感知方法能夠有效去除噪聲干擾.然而，目前此類方法只關注遮擋區(qū)域在圖像空間中的位置，對所有被遮擋關節(jié)點等同對待.由于不同關節(jié)點表觀和上下文關系差異性大，等同對待難以充分利用關節(jié)點之間的關系.

本文提出部位級遮擋感知的人體姿態(tài)估計方法，以提高人體姿態(tài)估計在遮擋下的魯棒性.所提出方法在基準人體姿態(tài)估計網(wǎng)絡框架中引入遮擋部位預測模塊，該模塊由遮擋部位分類網(wǎng)絡和可見性編碼器組成.其中，遮擋部位分類網(wǎng)絡用于預測每個關節(jié)點的遮擋狀態(tài)，記作關節(jié)點可見性向量.關節(jié)點可見性向量描述了人體各個部位是否被遮擋這一關鍵信息，可以作為先驗知識指導人體姿態(tài)估計任務.基于通道注意力思想，可見性編碼器將可見性向量轉換為一組權重，與基準姿態(tài)估計網(wǎng)絡提取的卷積特征進行通道重加權，從而迫使網(wǎng)絡學習到被遮擋和可見關節(jié)點之間的差異，感知遮擋部位，利用相關關節(jié)點的上下文修正錯誤的預測.所提出遮擋部位預測模塊具有通用性，適合任何人體姿態(tài)估計基準網(wǎng)絡，且參數(shù)量低，能夠以較低的計算代價有效地減輕遮擋的影響.

本文工作的主要貢獻有3個方面：

1) 提出部位級遮擋感知人體姿態(tài)估計方法，通過關節(jié)點級別的遮擋推測、知識編碼和使用，提升遮擋狀態(tài)下的人體姿態(tài)估計準確度；

2) 構建遮擋部位預測模塊，由遮擋部位分類網(wǎng)絡和可見性編碼器組成.前者預測關節(jié)點遮擋狀態(tài)，后者將遮擋狀態(tài)編碼為人體姿態(tài)估計所用先驗知識.所構建的遮擋部位預測模塊能夠兼容不同的基準姿態(tài)估計網(wǎng)絡；

3) 在合成和實際數(shù)據(jù)集上的實驗均表明，所提出方法能夠有效地提升遮擋狀態(tài)下的人體姿態(tài)估計性能.

1 相關工作

首先，回顧近年來人體姿態(tài)估計相關工作.其次，由于本文重點解決遮擋問題，在此也將對相似任務中如何處理遮擋問題進行介紹.

1.1 人體姿態(tài)估計

傳統(tǒng)姿態(tài)估計方法[5-7]使用手工構建的特征提取器，往往僅僅考慮小范圍的局部特征，特征的豐富度也非常有限，因此很難對姿態(tài)做出準確的判斷.目前先進的人體姿態(tài)估計方法都是基于深度卷積神經(jīng)網(wǎng)絡進行的.DeepPose[8]把深度學習引入到人體姿態(tài)估計任務中，它基于卷積神經(jīng)網(wǎng)絡直接回歸關節(jié)點的坐標.由于直接回歸法相對困難，基于熱圖的方法是目前的主流.CPM(convolutional pose machines)[9]能夠提取不同尺度的局部區(qū)域的關節(jié)點概率，再利用多階段的方式逐步修正提取的結果.Hourglass[10]使用了U型的網(wǎng)絡結構，把設計的殘差模塊作為該網(wǎng)絡的基本單元，通過反復的上下采樣和同尺度特征的跨層連接來獲取更有效的多尺度信息，并且使用多階段的網(wǎng)絡架構實現(xiàn)逐步優(yōu)化前一階段的預測熱圖的“由粗到精”的學習策略.在Hourglass的基礎上，PyraNet[11]把殘差模塊替換為金字塔殘差模塊，目的是捕捉到細粒度多尺度特征.Tang等人[12]提出一種復合模型，利用神經(jīng)網(wǎng)絡學習人體的層級結構.Hua等人[13]在Hourglass基礎上引入精煉模塊和殘差注意力模塊，以提高上采樣效果.Lin等人[14]提出基于結構化空間學習和中間估計，以保持視頻估計結果的時序一致性.SBN(simple baseline network)[15]把ResNet[16]的全連接層替換為幾層反卷積用來增大輸出特征圖的分辨率，雖然結構簡單，但是性能更好.HRNet[17]全程保持高分辨率的表征，并逐漸增加更低分辨率的子網(wǎng)，同時，在并行的子網(wǎng)之間反復交換信息來實現(xiàn)多尺度融合，它超越了以往所有的網(wǎng)絡模型，在其他計算機視覺任務中也有著廣泛的應用.

盡管取得顯著進展，現(xiàn)有人體姿態(tài)估計網(wǎng)絡仍難以應對遮擋問題.本文提出部位級遮擋感知的人體姿態(tài)估計方法，以較低的額外計算代價提升現(xiàn)有網(wǎng)絡應對遮擋的魯棒性，所提出方法能夠兼容任何主流人體姿態(tài)估計基準網(wǎng)絡.

1.2 遮擋處理

CPN[18]采用2階段的網(wǎng)絡結構，利用GlobalNet提取的特征幫助RefineNet優(yōu)化被遮擋的困難的關節(jié)點的檢測結果.Chu等人[19]利用基于條件隨機場的注意力機制來處理遮擋問題.Ke等人[2]提出的keypoint masking技術，通過從關節(jié)點周圍圖像背景中裁剪出正方形區(qū)域粘貼到關節(jié)點位置來模擬遮擋.Chen等人[20]利用生成對抗網(wǎng)絡預測遮擋部位，通過對抗式學習不斷修正預測結果.Bin等人[3]提出語義數(shù)據(jù)增強方法，利用生成網(wǎng)絡粘貼不同語義粒度的身體部位來模擬挑戰(zhàn)性更高的圖像.OASNet[4]在人體姿態(tài)估計網(wǎng)絡上添加了額外的分支，通過監(jiān)督學習的方式預測圖像中遮擋區(qū)域的空間位置，然后刪除被遮擋區(qū)域的特征，再利用孿生網(wǎng)絡更好地重建特征圖上被遮擋區(qū)域的特征，從而降低遮擋的干擾，依靠周邊信息恢復被遮擋部位的特征.前述工作嘗試感知遮擋所在圖像空間位置.本文提出遮擋部位感知的人體姿態(tài)估計方法.人體姿態(tài)結構性強，感知遮擋部位相比感知遮擋位置更加有助于姿態(tài)估計時抹除遮擋對相關部位估計的影響和利用相關部位作為上下文線索對遮擋部位進行更有效推斷.

處理遮擋也是其他計算機視覺任務中研究的重點之一.在行人檢測中，Zhang等人[21]發(fā)現(xiàn)對于基于卷積網(wǎng)絡的行人檢測器，不同的通道對與人體不同部位有不同的響應，為此提出了作用于通道上的注意力機制.OR-CNN[22]設計了AggLoss最小化建議與對象的距離，并且用部件遮擋感知的RoI池化單元替換原有的RoI層.Pang等人[23]提出了Mask引導的注意力網(wǎng)絡，在增強人體可見區(qū)域權重的同時抑制被遮擋的區(qū)域.針對遮擋下的人臉關節(jié)點進行檢測.Zhu等人[24]提出了遮擋自適應的網(wǎng)絡，它可以在高維空間上過濾掉遮擋區(qū)域的特征的同時根據(jù)上下文恢復出相應的幾何信息.與前述工作不同，本文研究結構性更強的人體姿態(tài)的估計問題，并提出了部位級遮擋感知的人體姿態(tài)估計方法.

2 本文方法

2.1 設計動機

本文以當前性能優(yōu)秀的HRNet和SBN為例，測試現(xiàn)有方法在被遮擋節(jié)點上的預測效果，結果如圖1所示，圓圈用于標識預測錯誤的位置.其中，圖1(a)中遮擋影響了未被遮擋的關節(jié)點(左手腕、右腳踝)的檢測.圖1(b)中由于遮擋存在，導致預測姿態(tài)不自然.簡言之，遮擋不僅影響被遮擋的部位，也對與遮擋部位相鄰的未被遮擋關節(jié)點的定位有一定程度的影響.

Fig. 1 Failure examples of existing methods to deal with occlusion problems圖1 現(xiàn)有方法處理遮擋問題的失敗案例

關節(jié)點被遮擋也將對其他關節(jié)點的預測產生負面影響.為了對比不同部位遮擋對其他關節(jié)點估計的影響，首先基于MPII數(shù)據(jù)集分別在頭部、軀干(包含肩膀、髖在內的關節(jié)點)、上肢、下肢添加黑色的遮擋；然后排除遮擋部位的關節(jié)點，分別計算遮擋下的結果與原始結果的差值，得到其他關節(jié)點在遮擋影響下的下降值，再對這些下降值求平均，最終得到遮擋對總體的影響程度PCKh@0.5，在第i個關節(jié)點上的PCKh@0.5定義為

(1)

Table 1 Influence of Different Parts of Occlusion on PCKh@0.5 of Other Keypoints表1 不同部位遮擋對其他關節(jié)點PCKh@0.5的影響

Fig. 2 The overall architecture of proposed method圖2 本文方法整體架構

從表1中可以看出，遮擋軀干對上肢關節(jié)點的檢測影響較大.在HRNet和SBN上的平均PCKh(head-normalized probability of correct keypoint)@0.5分別下降了1.98和2.76.究其原因，一方面是由于軀干與上肢直接相連，關聯(lián)度高;另一方面是由于軀干面積較大且人體上肢靈活，上肢經(jīng)常與軀干重疊，形成人體自遮擋.同理，遮擋上肢對其他關節(jié)點的影響也較大，在HRNet和SBN上平均PCKh@0.5分別下降了1.58和2.18.此外，遮擋頭部對檢測其他關節(jié)點有一定影響，在HRNet和SBN上平均PCKh@0.5分別下降了0.65和0.8.而由于MPII數(shù)據(jù)集中人體姿態(tài)多為站立，與其他部位距離較遠，因而遮擋下肢對其他關節(jié)點的檢測影響較小.

綜上，人體部位遮擋對自身以及與之相關的其他部位均有一定程度的影響.如果獲得關節(jié)點級別遮擋線索，則可通過上下文更好地優(yōu)化被遮擋關節(jié)點的定位，同時減少其對其他關節(jié)點的影響,提高人體姿態(tài)估計模型應對遮擋的能力.

2.2 方法整體架構

本文方法的整體架構如圖2所示.首先，將輸入圖像同時輸入基準姿態(tài)估計網(wǎng)絡和遮擋部位預測模塊.然后，使用遮擋部位預測模塊的輸出對基準姿態(tài)估計網(wǎng)絡提取的特征施加通道重加權操作，得到優(yōu)化后的特征.最后，使用1×1卷積獲得最終結果.其中，基準姿態(tài)估計網(wǎng)絡可以是現(xiàn)有任何人體姿態(tài)網(wǎng)絡.所提出遮擋部位預測模塊由遮擋部位分類網(wǎng)絡和可見性編碼器(visibility encoder, VE)組成.下面分別對其進行介紹.

2.3 遮擋部位分類網(wǎng)絡

為了獲得關節(jié)點級別的遮擋線索，所提出遮擋部位分類網(wǎng)絡將根據(jù)輸入圖像預測人體每個關節(jié)點的遮擋狀態(tài).而關節(jié)點僅有被遮擋和可見2種狀態(tài)，因而相比于人體姿態(tài)估計的回歸任務，遮擋部位分類任務更簡單，模型也更容易收斂.因此，權衡計算量和精度，遮擋部位分類網(wǎng)絡將使用輕量級網(wǎng)絡MobileNetV2[25]作為主干網(wǎng)絡，用于提取適合遮擋部位分類任務的特征，獲得每個關節(jié)點可見性向量，作為可見性編碼器的輸入.可見性向量表示為

o=(v0p0,v1p1,…,vkpk),

(2)

其中,pi表示人體每個關節(jié)點，vi是一個二值變量，表示第i個關節(jié)點是否被遮擋，vi∈{0,1},i∈[0,k],0表示被遮擋，1表示可見.

本文對MobileNetV2做出適當修改以適應關節(jié)點的遮擋分類任務.將MobileNetV2末尾用于圖像分類的1000維全連接層分類器替換為輸出通道數(shù)為n的1×1卷積.

在訓練階段，采用二分類交叉熵損失監(jiān)督遮擋分類網(wǎng)絡訓練過程，以最小化在每個關節(jié)點上的遮擋狀態(tài)預測誤差.遮擋分類預測損失定義為：

(3)

2.4 可見性編碼器

為了將可見性向量與帶噪聲特征融合，首先利用可見性編碼器擴展可見性向量的維度，然后利用通道注意力機制對帶噪聲特征進行重加權.前述過程可表示為

focc=ΩTfch,

(4)

其中,fch為需要被通道重加權的特征，Ω為權重參數(shù)向量.

本文選擇通道重加權而非其他特征融合方式的原因如下：首先，基于熱圖的人體姿態(tài)估計方法將人體關節(jié)點轉化為以關節(jié)點位置為中心的2維高斯熱圖，網(wǎng)絡末尾使用1×1卷積將高維特征轉化為與關節(jié)點數(shù)量相等的熱圖，關聯(lián)了不同部位間的影響關系，說明關節(jié)點的信息與通道相關.其次，深層的網(wǎng)絡能夠學習出人體整體的結構，建模關節(jié)點之間的關系.而遮擋部位分類網(wǎng)絡預測到的可見性向量僅表達了關節(jié)點獨自的遮擋狀態(tài)信息，缺乏關節(jié)點之間的關聯(lián)信息.因此，通道重加權能夠更好地利用關節(jié)點之間的上下文信息，并在本文所提出的可見性編碼器的幫助下，利用注意力機制區(qū)分被遮擋與未被遮擋部位直接的差異，利用相關部位的上下文線索克服遮擋的干擾.

為了獲得權重參數(shù)向量Ω，利用可見性編碼器把可見性向量編碼到更高維度的特征上.具體而言，利用可見性編碼器把可見性向量轉換為一組維度與基準姿態(tài)估計網(wǎng)絡提取的卷積特征通道數(shù)相等的權重，其值小于1.然后對卷積特征進行通道重加權.該過程的公式表示為

Ω=F(o),

(5)

F=Sigmoid(F2(F1(o))),

(6)

其中,F表示可見性編碼器，其結構如圖3所示.輸入為遮擋部位分類網(wǎng)絡的輸出，即可見性向量o.經(jīng)過2個全連接層F1和F2使得向量的維度和基準姿態(tài)估計網(wǎng)絡提取的卷積特征通道數(shù)相同，再經(jīng)過Sigmoid函數(shù)使該模塊輸出向量每個元素的值調整為0和1之間，得到權重參數(shù)向量Ω.再與基準人體姿態(tài)估計網(wǎng)絡提取的卷積特征fch進行對應通道上相乘，得到重加權后的特征focc.

Fig. 3 The network sturcture of the visibility encoder圖3 可見性編碼器的網(wǎng)絡結構

當基準姿態(tài)估計網(wǎng)絡為HRNet時，2個全連接層輸出通道數(shù)分別為64和32.此時，將可見性編碼器模塊添加在HRNet的stage 4之后、1×1卷積之前;當基準姿態(tài)估計網(wǎng)絡為SBN時，2個全連接層輸出通道數(shù)分別為64和256.此時，將可見性編碼器添加在最后一層反卷積后.

2.5 整體架構訓練損失函數(shù)

本文對人體姿態(tài)估計網(wǎng)絡和部位級遮擋分類網(wǎng)絡進行聯(lián)合端到端訓練.為此，對人體姿態(tài)估計網(wǎng)絡預測的關節(jié)點熱圖和遮擋分類模塊預測的關節(jié)點可見性向量的整體損失進行度量，整體損失函數(shù)為

L=Lhm+λLocc,

(7)

其中,Lhm表示人體姿態(tài)估計關節(jié)點熱圖檢測的L2損失函數(shù)，Locc由式(2)給出，表示用于遮擋部位分類的二分類交叉熵損失函數(shù).λ為平衡2個損失函數(shù)的超參數(shù).鑒于遮擋分類任務優(yōu)化較快，本文設λ=0.01.基準姿態(tài)估計模塊和遮擋分類網(wǎng)絡均使用ImageNet預訓練模型進行參數(shù)初始化.

3 實驗結果與分析

3.1 數(shù)據(jù)集和評價指標

MPII數(shù)據(jù)集是一個用于2維人體姿態(tài)估計任務的數(shù)據(jù)集，包含約25 000張從真實場景中采集的圖像和超過40 000個人體關節(jié)點標注，其中每人共有16個關節(jié)點被標注，是單人姿態(tài)估計任務的主流數(shù)據(jù)集.

LSP(leeds sports pose)數(shù)據(jù)集由2 000個樣本原始數(shù)據(jù)集和10 000個樣本的擴展數(shù)據(jù)集組成.其中，原始數(shù)據(jù)集中的1 000個樣本用于測試，其余11 000個樣本用于訓練.每人有14個標注的關節(jié)點.

PCKh是MPII和LSP數(shù)據(jù)集的評價指標，用于計算檢測的關節(jié)點與其真值的歸一化距離小于預設閾值(頭部長度)的比例.

本文分別基于MPII和LSP數(shù)據(jù)集，構建合成隨機矩形遮擋的圖像數(shù)據(jù)集，包括訓練集和驗證集.隨機矩形遮擋的高是人體目標框高度的[1/4,1/2]之間的隨機值，寬是人體目標框寬度的[1/2,1]倍之間的隨機值.遮擋區(qū)域的位置在人體的包圍框內，顏色是圖像的平均值.

3.2 實驗設置

訓練階段實驗設置.實驗基于PyTorch框架在GTX 1080Ti GPU上訓練，并使用了ImageNet的預訓練參數(shù).參考Xiao等人[15]、Sun等人[17]的實驗設置，輸入圖像大小調整為256×256，批大小為32，優(yōu)化器為Adam，初始學習率為0.001.基于HRNet基準網(wǎng)絡，迭代訓練到170和200輪時，學習率分別下降至0.000 1和0.000 01，總共訓練210輪；基于SBN基準網(wǎng)絡，迭代訓練到90和120輪時，學習率分別下降至0.000 1和0.000 01，總共訓練150輪.數(shù)據(jù)增強的策略包括-45°～45°隨機旋轉，0.65～1.35隨機尺度變換和左右隨機翻轉.

測試階段實驗設置.輸入圖像經(jīng)過網(wǎng)絡推理得到熱圖后，對該熱圖和翻轉后的熱圖對應位置求平均，得到最終的熱圖.在后處理時，參考Hourglass[10]，將熱圖上值最高的一點向次高點的1/4像素的偏移作為最終的關節(jié)點預測位置.

3.3 消融實驗

本文首先設計消融實驗確定方法的最終結構.所有消融實驗均基于HRNet和所構建合成MPII數(shù)據(jù)集訓練和測試.以下分別介紹通道重加權位置、可見性編碼器結構、遮擋部位分類網(wǎng)絡和遮擋部位預測模塊通用性的消融實驗.

3.3.1 通道重加權位置

本文基于HRNet設計消融實驗，對比在3個位置(A，B，C)施加通道重加權(如圖4所示)對結果的影響.其中：A表示在HRNet前執(zhí)行重加權;B表示在主干網(wǎng)絡提取到特征之后執(zhí)行重加權；C表示經(jīng)過最后一個1×1卷積，得到的16個關節(jié)點熱圖后再執(zhí)行重加權；1，2，3，4表示HRNet四個階段網(wǎng)絡結構組成.實驗結果如表2所示，在位置B施加通道重加權操作的效果最好.

Fig. 4 Indication of the positions where channel weighting is applied on HRNet圖4 在HRNet上施加通道重加權位置示意圖

Table 2 Ablation Study of HRNet with Channel Re-weighting at Different Positions

3.3.2 可見性編碼器結構

在基于HRNet驗證可見性編碼器結構的消融實驗中，比較該模塊不同數(shù)量的全連接層之間的差異.實驗結果如表3所示，當全連接層數(shù)量為2時，可見性編碼器的結果最好，因此本文方法最終選擇2層全連接的可見性編碼器.

Table 3 Ablation Study on the Number of Fully Connection Layers in the Visibility Encoder

3.3.3 遮擋部位分類網(wǎng)絡

遮擋部位預測模塊所使用的遮擋分類網(wǎng)絡可以是現(xiàn)有的任何輕量級分類網(wǎng)絡.本文選擇有代表性的輕量級網(wǎng)絡MobileNetV2[25]，ShuffleNetV2[26]，GhostNet[27]進行對比實驗，結果如表4所示.從表4中可看出，選擇不同的分類網(wǎng)絡對最終姿態(tài)估計結果的影響極小，因此本文選擇經(jīng)典的MobileNetV2作為遮擋部位分類網(wǎng)絡.

Table 4 Ablation Study of the Occlusion Classification Network

3.3.4 遮擋部位預測模塊通用性

鑒于本文方法兼容所有基準人體姿態(tài)估計網(wǎng)絡，為了使其性能最優(yōu)，設計驗證遮擋部位預測模塊通用性的消融實驗，結果如表5所示.在HRNet和SBN中引入遮擋部位預測模塊后，平均指標分別提升了0.3和0.5.實驗結果說明所提出的遮擋部位預測模塊能廣泛提升現(xiàn)有方法在合成遮擋下的性能.綜上，最終選擇HRNet作為本文方法的基準姿態(tài)估計網(wǎng)絡，用于和現(xiàn)有方法橫向比較.

Table 5 Ablation Study for Verifying the Universality of the Visibility Encoder表5 驗證可見性編碼器通用性的消融實驗

3.4 橫向對比實驗——效率分析

表6給出了各方法的參數(shù)量、計算量和在RTX 3090顯卡上的推理速度(輸入圖片的尺寸為256×256)的橫向對比.從表6中可看出，本文方法設計的遮擋預測模塊的參數(shù)量和計算量分別為30.8 MB和9.85 GFLOPS，相比基準網(wǎng)絡HRNet分別僅增加8.0%和3.8%，且推理速度僅慢5.9%，達到143 fps.

Table 6 Efficiency Comparison Between the Proposed Method and Existing Methods

進一步說明本文方法在維持較低計算代價的同時，有效降低遮擋對人體姿態(tài)估計的影響.

3.5 橫向對比實驗——量化對比與分析

通過3.3節(jié)的消融實驗確定了本文方法的最終結構，即基準姿態(tài)估計網(wǎng)絡為HRNet，通道重加權施加在HRNet尾部和1×1卷積之間，可見性編碼器使用2層全連接層.以下分別在MPII與LSP數(shù)據(jù)集上進行橫向對比實驗與分析.

在MPII數(shù)據(jù)集上，利用在合成遮擋MPII訓練集上訓練得到本文模型.在實際MPII驗證集上測試該模型，并將其與多種先進的方法做橫向對比，結果如表7所示.所有對比方法的結果數(shù)值取自原文獻.其中SBN，PyraNet，DLCM，Hourglass，HRNet為在MPII數(shù)據(jù)集上的原始結果，而OASNet和本文方法都使用了構建遮擋的數(shù)據(jù)增強策略，顯式地利用遮擋信息.

從表7中可看出，本文方法平均準確度優(yōu)于其他方法，尤其在人體四肢等靈活度大、挑戰(zhàn)性高的關節(jié)點上優(yōu)勢更明顯.相比對比方法中表現(xiàn)最好的OASNet，本文方法在頭部、肘部、手腕、髖和膝蓋關節(jié)點上，PCKh@0.5得分值分別領先0.1，0.2，0.2，0.9，0.4，平均PCKh@0.5得分值為91.0，領先OASNet方法0.3.

綜上可看出，本文所提出的部位級遮擋感知的人體姿態(tài)估計方法推測關節(jié)點級別的遮擋線索，在此基礎上利用上下文優(yōu)化被遮擋關節(jié)點的定位，同時減小了被遮擋關節(jié)點對未被遮擋關節(jié)點的影響，能夠顯著提升人體姿態(tài)估計模型在應對遮擋問題上的性能.

表8給出了在LSP數(shù)據(jù)集上的測試結果.從表8中可看出，本文方法在多數(shù)關節(jié)點上，尤其是靈活度高的四肢上，準確度高于現(xiàn)有方法.

Table 7 Comparison Between the Proposed Method and Existing Methods on the MPII Valid Set表7 本文方法與現(xiàn)有方法在MPII驗證集上的橫向對比

Table 8 Comparison Between the Proposed Method and Existing Methods on the LSP Test Set表8 本文方法與現(xiàn)有方法在LSP測試集上的橫向對比

3.6 橫向對比實驗——可視化對比與分析

圖5展示了本文方法與HRNet在原始MPII驗證集上的可視化結果.圖5中3列分別為真值、HRNet和本文方法在相同圖像上的可視化結果.實線圓圈和虛線圓圈分別標識了HRNet和本文方法預測正確和預測失敗的例子.

Fig. 5 Visual comparison of proposed method and HRNet on the MPII valid set圖5 本文方法與HRNet在MPII驗證集上的可視化 對比

從圖5可看出，第1行圖像中人的雙腳距離近且互相遮擋，導致HRNet錯誤地預測了2只腳的位置，所估計的雙腿的姿態(tài)與真值相比出現(xiàn)明顯偏差.而本文方法通過對遮擋部位的預測，避免了腳關節(jié)點遮擋對于腿部其他關節(jié)點的影響，同時借助其他可見關節(jié)點成功預測了腳關節(jié)點位置；第2行圖像中雙腳表觀較為模糊，且與之相鄰的膝蓋關節(jié)點被遮擋，干擾了HRNet對雙腳關節(jié)點的準確定位.本文方法能夠在提升被遮擋關節(jié)點檢測精度的同時，減少其對雙腳關節(jié)點預測的干擾，令網(wǎng)絡對姿態(tài)的估計更加合理；第3行中HRNet完全錯誤地預測圖像中男士被遮擋的右腳位置，使得估計到的姿態(tài)為右腳翹起的錯誤狀態(tài)，而本文方法結果合理、更加接近真值.

綜上可看出，本文方法夠有效克服遮擋對自身部位和相關部位的影響.

本文方法仍有不足之處，尚難以處理如復雜背景導致的挑戰(zhàn)性高的情形.如圖5第3行例子中所示，本文方法對右臂關節(jié)點的預測相比HRNet來說沒有改進，結果仍然錯誤.第4行例子中，本文方法錯將旁人相近關節(jié)點當作主體對象關節(jié)點，且右腳位置有一定偏移.

4 結論與展望

本文提出部位級遮擋感知的人體姿態(tài)估計方法，通過在基準人體姿態(tài)估計網(wǎng)絡中引入所提出遮擋部位預測網(wǎng)絡，有效降低遮擋對人體姿態(tài)估計任務的影響.實驗表明，本文方法在較小的計算代價下能夠增強多種基準方法應對遮擋的能力，尤其對于四肢等靈活度高的部位較為明顯.

本文方法對復雜背景下的人體關節(jié)點預測能力仍然有限.原因在于本文方法依賴所學習的遮擋線索處理遮擋問題，未進一步考慮關節(jié)點之間更全局的關系.現(xiàn)有方法大多根據(jù)人類經(jīng)驗設計關節(jié)點之間的關系模型，僅關注局部信息，而忽視了潛在的全局關聯(lián).為了從全局視角下建模關節(jié)點之間的關系，在未來的工作中，將考慮設計遮擋狀態(tài)下基于數(shù)據(jù)驅動的關節(jié)點影響關系建模.同時，探索基于圖神經(jīng)網(wǎng)絡融合全局關節(jié)點關系的人體姿態(tài)優(yōu)化算法，以提升本任務在遮擋狀態(tài)下的準確性.

作者貢獻聲明：褚真提出研究思路、設計方案，進行實驗、起草論文；米慶、馬偉負責對文章內容進行指導及修訂；徐世彪、張曉鵬負責論文的指導.