基于非局部高分辨率網(wǎng)絡(luò)的人體姿態(tài)估計方法

孫琪翔，張睿哲，何 寧，張聰聰

1.北京聯(lián)合大學 北京市信息服務工程重點實驗室，北京 100101

2.北京聯(lián)合大學 智慧城市學院，北京 100101

人體姿態(tài)估計是在給定的圖像或視頻中對人體的關(guān)鍵部位或者主要關(guān)節(jié)進行檢測，最終輸出人體全部或局部肢體相關(guān)參數(shù)（各個關(guān)節(jié)點的相對位置關(guān)系）的過程，例如人體輪廓、頭部的位置與朝向、人體關(guān)節(jié)的位置和部位類別等[1]。人體姿態(tài)估計是人體行為識別的基礎(chǔ)問題，人體行為識別在人類生活的眾多領(lǐng)域得到廣泛的應用，如視頻監(jiān)控、運動檢索、人機交互、智能家居以及醫(yī)療保健等任務。

從實現(xiàn)姿態(tài)估計的角度考慮人體姿態(tài)估計主要有兩種方法：自上而下方法和自下而上方法。自上而下的方法依賴檢測器來檢測人體實例，每個人都有一個邊界框，然后將問題減少到單個人的姿態(tài)估計。Fang等人[2]提出一個局部的多人人體姿態(tài)估計（regional multiperson pose estimation，RMPE）框架來減少錯誤的檢測結(jié)果對單人姿態(tài)估計帶來的影響。Chen 等人[3]提出（cascaded pyramid network，CPN）方法，該方法在特征金字塔網(wǎng)絡(luò)（feature pyramid network，F(xiàn)PN）的基礎(chǔ)上結(jié)合RefineNet 進一步優(yōu)化難預測的關(guān)鍵點。類似的，Huang 等人[4]提出一個Coarse-Fine 網(wǎng)絡(luò)，利用多尺度監(jiān)督并融合粗細特征得到最終的預測結(jié)果。Xiao等人[5]提出一個簡單但是有效的網(wǎng)絡(luò)來進行多人姿態(tài)估計和跟蹤。Newell 等人[6]提出stacked hourglass network 來 有效地學習結(jié)合不同尺度的特征，其中沙漏模塊（hourglass module）即在卷積反卷積（Conv-deconv）模塊中加殘差鏈接（residual connections）。hourglass的有效性使得之后很多工作都采用了類似的模塊，例如Yang等人[7]在hourglass 的基礎(chǔ)上提出了金字塔殘差模塊（pyramid residual module）提高應對身體部位的尺度變化的能力。自上而下方法在進行人體姿態(tài)估計時，會把大小不同的檢測框統(tǒng)一到一個尺度進行學習，因此對尺度不敏感，對小尺度的人也相對容易預測；然而對于目標檢測要求較高，如果檢測有誤差，后面很難恢復；另外運行時計算量與圖片中的人數(shù)成正比，人越多，計算量越大。

自下而上的方法，首先要找到圖片中的所有關(guān)鍵點，比如所有頭部，左手，膝蓋等。然后把這些關(guān)鍵點組裝成一個個人。在引入深度學習方法后，Pishchulin等人[8]提出DeepCut 把分配問題建模成全連接圖（fully connected graph）中的整數(shù)線性規(guī)劃（integer linear program，ILP）問題，之后很多工作圍繞解決ILP 問題展開，Iqbal等人[9]提出可以局部地求解ILP 問題，不過還是沒有很好地解決這個問題。Insafutdinov等人[10]提出DeeperCut用更深的ResNet[11]來估計關(guān)鍵點，并使用依賴圖像的成對的項和一個增量優(yōu)化策略來提高推測效率。Levinkov等人[12]提出了兩種局部搜索算法可以單調(diào)收斂到局部最優(yōu)，為ILP問題提供了一個可行的解決方案。Varadarajan等人[13]結(jié)合人體內(nèi)在的結(jié)構(gòu)信息，提出一個貪婪的分配算法來降低ILP問題的復雜度。Cao等人[14]提出的OpenPose 把關(guān)鍵點之間的關(guān)系建模成關(guān)節(jié)引力場（part affinity field，PAF），來幫助更好、更快地分配關(guān)鍵點，其不論是準確率還是速度相較之前的方法都有了巨大的提升，第一次使多人姿態(tài)估計的速度可以達到實時的級別。接下來一些工作致力于同時學習關(guān)鍵點位置和怎么分配關(guān)鍵點，以免除復雜的分配后處理。Newell 等人[15]提出associative embedding可以在預測關(guān)鍵點的同時預測一個標記熱圖（tag heatmap），用來幫助進行關(guān)鍵點組別分配。Xia 等人[16]提出的semantic part segmentation 側(cè)重于對關(guān)鍵點部件的聚類。Papandreou 等人[17]提出的PersonLab 同時學習關(guān)鍵點和其相對位移，用來直接聚集同一個人的關(guān)鍵點。Tang 等人[18]提出一種組合模型來表示人體各部分的層次關(guān)系，可以解決底層關(guān)鍵點模糊的問題。自下而上的方法不受目標檢測的誤差影響；計算量與圖像中有多少人無關(guān)，因此效率提升較大；然而對尺度較為敏感，對小尺度的人比較難預測。上述人體姿態(tài)估計方法都是基于卷積神經(jīng)網(wǎng)絡(luò)，針對圖像的卷積運算都是在空間上進行局部卷積操作，而局部卷積操作往往因為無法參考全局信息而造成一些偏差。為了解決這個問題，通常會使用更大的卷積濾波器或有更多卷積層的深度網(wǎng)絡(luò)。雖然有改善，但是也導致了計算效率低、優(yōu)化困難的問題[11]。針對以上問題，本文提出了一種基于非局部神經(jīng)網(wǎng)絡(luò)的人體姿態(tài)估計方法，能夠從主干網(wǎng)絡(luò)的層面解決這個問題，首先設(shè)計非局部神經(jīng)網(wǎng)絡(luò)模塊，然后將該模塊與目前最優(yōu)人體姿態(tài)估計骨干網(wǎng)絡(luò)HRNet 進行融合，最后本文設(shè)計了3 種NLHR 網(wǎng)絡(luò)結(jié)構(gòu)，在MPII（MPII human pose dataset）[19]和COCO 人體關(guān)鍵點數(shù)據(jù)集[20]上驗證了相關(guān)算法的有效性。

1 相關(guān)工作

1.1 高分辨率網(wǎng)絡(luò)（HRNet）

本文提出的方法目的在于提高人體姿態(tài)估計的準確率，因此本文的骨干網(wǎng)絡(luò)選擇了高分辨率網(wǎng)絡(luò)（highresolution network，HRNet），HRNet 是由中科大和微軟亞洲研究院Sun 等人[21]在2019 年共同提出的高分辨人體姿態(tài)估計網(wǎng)絡(luò)。HRNet 與以往的串行人體姿態(tài)估計模型不同，大多數(shù)用于關(guān)鍵點熱圖估計的卷積神經(jīng)網(wǎng)絡(luò)由類似于分類網(wǎng)絡(luò)的主干網(wǎng)絡(luò)組成，主體采用分辨率由高到低、再由低到高的框架，增加多尺度融合和中繼監(jiān)督優(yōu)化，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 傳統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Traditional network structure

HRNet為并聯(lián)結(jié)構(gòu)，通過并行連接高分辨率到低分辨率卷積，可以一直保持高分辨率特征，并通過重復跨并行卷積執(zhí)行多尺度融合來增強高分辨率特征信息。從特征分辨率的角度看，HRNet網(wǎng)絡(luò)由4個并行子網(wǎng)絡(luò)組成，同一子網(wǎng)絡(luò)特征的分辨率不隨深度變化而變化，并行子網(wǎng)絡(luò)特征圖分辨率依次降低一半，同時通道數(shù)增加到兩倍。從HRNet 網(wǎng)絡(luò)的深度上看可以分成4 個階段，第1 階段由1 個子網(wǎng)絡(luò)構(gòu)成，第2 階段由2 個子網(wǎng)絡(luò)構(gòu)成，第3 階段由3 個子網(wǎng)絡(luò)構(gòu)成，第4 階段由4 個子網(wǎng)絡(luò)構(gòu)成，每個階段之間由融合模塊構(gòu)成，融合模塊將不同分辨率特征信息融合，以此增加網(wǎng)絡(luò)的特征表示，如圖2所示。不同分辨率的特征圖有不同的細粒度，關(guān)注原圖像不同尺度的區(qū)域，這些特征之間存在互補性。通過組合這些特征，可以得到更好的人體特征表示。

圖2 HRNet網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 HRNet network structure

借助HRNet 強大的特征表示能力，本文將HRNet作為NLHR網(wǎng)絡(luò)的骨干網(wǎng)絡(luò)。

1.2 卷積神經(jīng)網(wǎng)絡(luò)的局限

HRNet網(wǎng)絡(luò)是現(xiàn)階段人體姿態(tài)估計領(lǐng)域的最優(yōu)網(wǎng)絡(luò)架構(gòu)，可以兼顧準確率和網(wǎng)絡(luò)參數(shù)量，但是HRNet 和傳統(tǒng)網(wǎng)絡(luò)一樣都是使用卷積神經(jīng)網(wǎng)絡(luò)（convolution neural network，CNN）作為特征提取的方式。卷積神經(jīng)網(wǎng)絡(luò)有一定局限性，例如在5×5 卷積中，卷積濾波器有25個像素，目標像素的值參照自身和周圍的24個像素來計算，這就意味著卷積只能利用局部信息來計算目標像素，而局部卷積操作往往因為無法參考全局信息而造成一些偏差。當然有很多方法可以緩解這個問題，比如使用更大的卷積濾波器或者更多卷積層的深度網(wǎng)絡(luò)。但是這些方法往往會帶來較大參數(shù)量，而結(jié)果的改善很有限。在人體姿態(tài)估計領(lǐng)域，人體的關(guān)節(jié)點結(jié)構(gòu)性特征，利用傳統(tǒng)的卷積提取方式，無法有效地在局部就獲取到人體的全部特征，而增加了全局特征就能更好地提取到人體的全部姿態(tài)特征，從而提高人體姿態(tài)估計的準確率，為了獲取的人體姿態(tài)的全局特征，本文方法引入非局部均值的概念。

1.3 非局部均值（NL-means）

1.4 非局部網(wǎng)絡(luò)模塊

為了實現(xiàn)對每個像素的全局參考，Wang等人[23]結(jié)合上述非局部均值的特點，提出了一個泛化、簡單、可直接嵌入到當前網(wǎng)絡(luò)的非局部網(wǎng)絡(luò)模塊，非局部網(wǎng)絡(luò)模塊的描述如公式（4）所示：

2 非局部高分辨率網(wǎng)絡(luò)NLHR

本文方法融合了非局部網(wǎng)絡(luò)模塊和HRNet。首先對非局部網(wǎng)絡(luò)模塊封裝，具體定義如公式（5）所示：

結(jié)合上述公式和具體實驗參數(shù)，設(shè)計的非局部網(wǎng)絡(luò)模塊如圖3所示。

圖3 非局部網(wǎng)絡(luò)模塊Fig.3 Non-local network module

通過公式（5）可知非局部的操作可以保持輸入的參數(shù)大小，非局部網(wǎng)絡(luò)模塊是可以改變輸入值的，并且非局部網(wǎng)絡(luò)的輸入端和輸出端，參數(shù)是相同的，因此能否提高人體姿態(tài)估計的準確率取決于NLHR網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計。

HRNet在第4階段包含4個分支子網(wǎng)絡(luò)，根據(jù)文獻[21]越小的分辨率包含有越強的語義信息，底層分辨率也更豐富。因此，為了突出圖像的底層特征，在第4 個分支上融合非局部網(wǎng)絡(luò)模塊。具體NLHR 網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，此時通道數(shù)為256，分辨率為原始圖像的132。

圖4 NLHR網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 NLHR network structure

非局部網(wǎng)絡(luò)模塊的特點是保持輸入?yún)?shù)和輸出參數(shù)的一致，且不會影響原始網(wǎng)絡(luò)使用預訓練權(quán)重，為了驗證NLHR 網(wǎng)絡(luò)是否為最優(yōu)網(wǎng)絡(luò)架構(gòu)，在3.3 節(jié)消融實驗中，從分辨率和非局部網(wǎng)絡(luò)模塊數(shù)量的角度出發(fā)，設(shè)計消融實驗，確定最優(yōu)的網(wǎng)絡(luò)結(jié)構(gòu)。

3 實驗結(jié)果與分析

實驗環(huán)境為Ubuntu 16.04.6 LTS，64 位操作系統(tǒng)，Intel Xeon?CPU E5-2678v3@2.50 GHz，內(nèi)存12 GB，顯卡RTX2080Ti 以及Cuda10.0.130、Cudnn7.5、Pytorch1.4和Python3.6 的軟件平臺。網(wǎng)絡(luò)預訓練模型使用在ImageNet數(shù)據(jù)集上預訓練的參數(shù)。

數(shù)據(jù)集：MPII 數(shù)據(jù)集是從YouTube 視頻中提取，其中30 000張人體姿態(tài)圖像用于訓練，10 000張人體姿態(tài)圖像用于測試，每個人體有16個標注的關(guān)鍵點。COCO數(shù)據(jù)集由超過200 000張樣本圖片組成，包含250 000個人體目標及17個標注的關(guān)鍵點。

3.1 評價指標

PCKh評價標準[19]。通過對測試圖像中每個人進行明確的邊界限定來獲得檢測準確率。給定邊界框框內(nèi)的候選區(qū)域包含原始關(guān)鍵點坐標位置，控制相關(guān)閾值得到不同準確率來判斷預測的關(guān)鍵點是否定位合理，選擇閾值r=0.5。PCKh 用于人體軀干大小代替頭部框大小，將該尺度作為歸一化其他部件的距離，距離采用歐式距離。如果檢測關(guān)鍵點與標簽關(guān)鍵點的歐式距離在該閾值范圍內(nèi)，則該檢測結(jié)果是正確的。以第k類人體關(guān)鍵點為例，PCKh的計算方式如公式（6）所示：

OKS 評價標準[20]。基于COCO 評估指標OKS，AP是對于不同關(guān)鍵點類型和人物大小尺寸的歸一化，是關(guān)鍵點之間的平均關(guān)鍵點相似度，在[ ]0,1 之間，預測越接近原值則趨向1，反之趨向0。OKS定義如公式（7）所示：

其中，t為給定OKS 的閾值處理分別取（0.50，0.55，…，0.90，0.95），預測準確率由測試集所有圖片中人物的OKS 指標計算得到。APM表示中等大小目標的準確率，APL表示大目標的準確。

本文將人體檢測框的高度或?qū)挾葦U展到固定的長寬比：高∶寬=4∶3，然后將人體檢測框從圖像中裁切出來，并重新調(diào)整到固定大小256×192。同時本文對數(shù)據(jù)增強的操作包括隨機旋轉(zhuǎn)[-45°,45°]、隨機尺度[0.65，1.35]和翻轉(zhuǎn)。根據(jù)文獻[24]本文也包括半身的數(shù)據(jù)增強。

在優(yōu)化器的選擇上，本文使用Adam優(yōu)化器[25]，學習率的設(shè)定遵循文獻[5]，基礎(chǔ)學習率設(shè)定為10?3，在第170個epoch和第200個epoch分別降為10?4和10?5。最終訓練過程在210個epoch結(jié)束。

3.2 MPII數(shù)據(jù)集實驗結(jié)果分析

在MPII數(shù)據(jù)集上的實驗結(jié)果如表1所示，與HRNet的實驗結(jié)果基線相比，NLHR 網(wǎng)絡(luò)的準確率提升了0.2個百分點，根據(jù)文獻[21]造成這種小幅提升的原因可能為MPII數(shù)據(jù)集的準確率趨于飽和。

表1 MPII驗證集上的實驗結(jié)果（PCKh@0.5）Table 1 Experimental results on MPII validation se（tPCKh@0.5）%

3.3 消融實驗

針對MPII 數(shù)據(jù)集，以32 通道寬度作為骨架網(wǎng)絡(luò)進行消融實驗，首先，在HRNet 的第一階段增加非局部網(wǎng)絡(luò)模塊，并將該網(wǎng)絡(luò)模塊命名為NLHRv1，網(wǎng)絡(luò)的平均準確率和基線網(wǎng)絡(luò)相比沒有明顯變化為90.3%，然后，在HRNet 的最后一層，增加非局部網(wǎng)絡(luò)模塊，此時網(wǎng)絡(luò)的平均準確率相較于基線網(wǎng)絡(luò)由90.3 提升至90.4%。最后使用NLHR作為網(wǎng)絡(luò)結(jié)構(gòu)，網(wǎng)絡(luò)的平均準確率提升至90.5%。如表1 所示，可以得出非局部網(wǎng)絡(luò)模塊在低分辨率階段可以獲得更好的特征表示，而在高分辨率網(wǎng)絡(luò)階段的效果有限。

接下來，以32通道寬度的網(wǎng)絡(luò)作為骨架網(wǎng)絡(luò)，輸入圖像的大小設(shè)置為256×192，針對COCO2017 數(shù)據(jù)集，分別從非局部網(wǎng)絡(luò)模塊數(shù)量和在HRNet 不同階段增加非局部網(wǎng)絡(luò)模塊的角度上設(shè)計NLHR 網(wǎng)絡(luò)結(jié)構(gòu)并在COCOval2017上進行測試。

結(jié)合HRNet 的4 層結(jié)構(gòu)，本文設(shè)計3 組網(wǎng)絡(luò)結(jié)構(gòu)并進行消融實驗。第1 組網(wǎng)絡(luò)結(jié)構(gòu)：在HRNet 第1 個分支子網(wǎng)絡(luò)上每隔1 個融合階段增加1 個非局部網(wǎng)絡(luò)模塊。此時，網(wǎng)絡(luò)的通道數(shù)32，分辨率為原始圖像的1/4。設(shè)計NLHRv1b1、NLHRv1b2、NLHRv1b3、NLHRv1b4 網(wǎng)絡(luò)，分別有1、2、3、4個非局部網(wǎng)絡(luò)模塊。網(wǎng)絡(luò)參數(shù)量、浮點運 算 量（Giga floating-point operations per second，GFLOPs）和準確率的比較，如表2所示。

表2 COCO數(shù)據(jù)集網(wǎng)絡(luò)參數(shù)量、GFLOPs和精度對比Table 2 Comparison of network parameters，GFLOPs and accuracy of COCO datasets

在本階段的消融實驗中，隨著非局部網(wǎng)絡(luò)模塊數(shù)量的增加，模型的參數(shù)量會有明顯的增加，導致訓練難度增大，雖然會帶來準確率的提升，但是效果有限。

第2組網(wǎng)絡(luò)結(jié)構(gòu)：分別在HRNet的不同分辨率階段增加非局部網(wǎng)絡(luò)模塊。設(shè)計NLHRr1、NLHRr2、NLHRr3、NLHRr4 網(wǎng)絡(luò)，分別在原始圖像分辨率的1/4、1/8、1/16、1/32階段增加非局部網(wǎng)絡(luò)模塊。實驗結(jié)果如表3所示。

表3 COCO數(shù)據(jù)集網(wǎng)絡(luò)參數(shù)量、GFLOPs和精度對比Table 3 Comparison of network parameters，GFLOPs and accuracy of COCO datasets

在本階段的消融實驗中，網(wǎng)絡(luò)參數(shù)量和GFLOPs隨著非局部網(wǎng)絡(luò)模塊的增加而逐漸增加，在精度上相較于單個非局部網(wǎng)絡(luò)模塊幾乎沒有提升。

總結(jié)以上3組消融實驗，準確率最好且網(wǎng)絡(luò)參數(shù)量和計算復雜度相對較低的是NLHRr4 網(wǎng)絡(luò)。從網(wǎng)絡(luò)結(jié)構(gòu)的角度來看，NLHRr4 網(wǎng)絡(luò)與初始設(shè)計的NLHR 網(wǎng)絡(luò)結(jié)構(gòu)相同。

3.4 COCO數(shù)據(jù)集實驗結(jié)果分析

在本階段的消融實驗中，分別在1/4、1/8、1/16、1/32分辨率階段增加非局部網(wǎng)絡(luò)模塊，隨著分辨率的降低，網(wǎng)絡(luò)參數(shù)量略有提升，GFLOPs 幾乎沒變，網(wǎng)絡(luò)的準確率逐漸提升，一直到原始圖像1/32 分辨率的階段，準確率達到最高。

第3組網(wǎng)絡(luò)結(jié)構(gòu)：依次在HRNet的不同分辨率階段增加一個非局部網(wǎng)絡(luò)模塊。設(shè)計NLHRr1b1、NLHRr2b2、NLHRr3b3、NLHRr4b4 網(wǎng)絡(luò)，分別在1/4、1/8、1/16、1/32分辨率階段依次增加1 個非局部網(wǎng)絡(luò)模塊。實驗結(jié)果如表4所示。

表4 COCO數(shù)據(jù)集網(wǎng)絡(luò)參數(shù)量、GFLOPs和精度對比Table 4 Comparison of network parameters，GFLOPs and accuracy of COCO datasets

NLHR 網(wǎng)絡(luò)在COCO 驗證集上的結(jié)果和近年來的其他方法對比結(jié)果如表5所示，可以看出本文方法在圖像輸入大小相同的情況下準確率相較于基線方法有大幅度的提高。平均準確率比基線準確率高出2.3個百分點，在中等尺度目標和小目標上的準確率分別提高2.9和2.7個百分點。與感受野更寬且圖像輸入大小更大的HRNet-W48 相比，本文方法的準確率上依然領(lǐng)先。從網(wǎng)絡(luò)的參數(shù)量和GFLOPs的角度來看，和基線網(wǎng)絡(luò)的參數(shù)量進行對比，本文方法增加了0.6×106。在COCO 驗證集上的平均準確率AP 增加2.3 個百分點。與此前結(jié)果最優(yōu)的HRNet-W48 網(wǎng)絡(luò)相比，HRNet-W48 網(wǎng)絡(luò)的規(guī)模更大，寬度更寬，參數(shù)量達到63.6×106，遠高于本文方法，但是本文方法的平均準確率AP仍能高出0.4個百分點。綜上，NLHR 網(wǎng)絡(luò)在準確率最優(yōu)的前提下，網(wǎng)絡(luò)的參數(shù)量仍能控制在較低的水平。

表5 COCO驗證集上的實驗結(jié)果比較Table 5 Comparisons of experimental results on COCO validation set

本文對NLHR 網(wǎng)絡(luò)在COCO 驗證集上的測試結(jié)果圖做了可視化，不同視角、單人、多人、大目標和小目標的人體姿態(tài)估計結(jié)果如圖5 所示。可以看出，本文方法在不同情境下進行人體姿態(tài)估計，效果都能做到更精確。

圖5 NLHR網(wǎng)絡(luò)在COCO驗證集上的測試結(jié)果圖Fig.5 NLHR network test result images on COCO validation set

4 結(jié)論

本文以HRNet作為骨干網(wǎng)絡(luò)，結(jié)合傳統(tǒng)方法非局部均值的思想提出了NLHR 網(wǎng)絡(luò)用于人體姿態(tài)估計。該網(wǎng)絡(luò)利用非局部神經(jīng)網(wǎng)絡(luò)模塊的優(yōu)勢實現(xiàn)了對卷積神經(jīng)網(wǎng)絡(luò)固有局限的改進。在COCO和MPII數(shù)據(jù)集上的實驗結(jié)果表明，本文方法在網(wǎng)絡(luò)參數(shù)量與HRNet基線網(wǎng)絡(luò)的參數(shù)量相差很小的情況下，準確率有較大的提升，即使與更大規(guī)模的網(wǎng)絡(luò)相比，準確率仍有優(yōu)勢。在人體姿態(tài)估計中，更高的精度往往需要更復雜的網(wǎng)絡(luò)作為支撐，如何在提高精度的前提下，更好地控制網(wǎng)絡(luò)的參數(shù)量會是接下來的研究重點。