基于高分辨率網(wǎng)絡(luò)的地鐵人體姿態(tài)估計(jì)研究

劉珊珊，馮賽楠，田青，錢(qián)付余，豆飛，牛志斌

（1.北方工業(yè)大學(xué) 信息學(xué)院，北京 100144；2.交控科技股份有限公司，北京 100070；3.北京市地鐵運(yùn)營(yíng)有限公司，北京 100044）

1 概述

隨著交通行業(yè)的快速發(fā)展，我國(guó)鐵路發(fā)生了翻天覆地的變化，見(jiàn)證了從無(wú)到有、從弱到強(qiáng)，從蹣跚起步、艱難延伸到鐵路密布、高鐵飛馳的發(fā)展歷程［1］，面對(duì)新時(shí)代，為了滿(mǎn)足人民群眾高質(zhì)量出行的需要，堅(jiān)持和發(fā)展鐵路技術(shù)創(chuàng)新尤為重要。目前來(lái)說(shuō)，地鐵成為人們工作生活中主要的出行方式，也正因?yàn)槠溥^(guò)大的人流量，導(dǎo)致地鐵車(chē)站及車(chē)廂的人流量密集，傳統(tǒng)的行人檢測(cè)在密集場(chǎng)景下容易出現(xiàn)誤檢、漏檢的情況。人體姿態(tài)估計(jì)的任務(wù)是確定圖像中人體某一身體部位出現(xiàn)的位置，估計(jì)人關(guān)節(jié)點(diǎn)的坐標(biāo)，廣泛應(yīng)用于地鐵等密集場(chǎng)所下行人的動(dòng)作識(shí)別，保證出行安全。研究依靠改進(jìn)的人體姿態(tài)估計(jì)算法能夠更好地避免背景遮擋、光照變化等影響行人檢測(cè)，通過(guò)在地鐵等實(shí)際場(chǎng)景中利用人體姿態(tài)估計(jì)的方法來(lái)追蹤某段時(shí)間內(nèi)人體姿勢(shì)的變化完成動(dòng)作識(shí)別［2-4］，得到對(duì)人體姿態(tài)的實(shí)時(shí)監(jiān)測(cè)與估計(jì)。

人體姿態(tài)估計(jì)方法可以分為自頂向下和自底向上2類(lèi)［5］。其中自底向上的方法雖然在檢測(cè)效率上具有一些優(yōu)點(diǎn)，但檢測(cè)精度并不高，而自頂向下的方法可以先檢測(cè)出所有人體目標(biāo)，再分別對(duì)每個(gè)目標(biāo)的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)，因此檢測(cè)精度較高［6-8］，所以本研究采取了自頂向下的方式進(jìn)行人體姿態(tài)估計(jì)。

對(duì)于基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)主要分為基于回歸的方式和基于熱圖的方式［9-10］，前者直接預(yù)測(cè)每個(gè)關(guān)鍵點(diǎn)的位置坐標(biāo)，后者針對(duì)每個(gè)關(guān)鍵點(diǎn)預(yù)測(cè)一張熱力圖。熱圖是關(guān)鍵點(diǎn)的概率分布圖，通常建模成圍繞每個(gè)關(guān)鍵點(diǎn)的高斯分布的疊加，每個(gè)像素都給1 個(gè)值，這個(gè)值對(duì)應(yīng)像素屬于某個(gè)關(guān)鍵點(diǎn)可能性的值。當(dāng)前基于熱圖的方式檢測(cè)效果更好，因此，本研究高分辨率網(wǎng)絡(luò)采用基于熱圖的方式進(jìn)行關(guān)鍵點(diǎn)檢測(cè)［11］。

在人體姿態(tài)估計(jì)的網(wǎng)絡(luò)中，高分辨率網(wǎng)絡(luò)（High-Resolution Net，HRNet）在整個(gè)檢測(cè)過(guò)程中都保持著高分辨率的表征［12］，將多分辨率子網(wǎng)通過(guò)并行的方式進(jìn)行連接，同時(shí)進(jìn)行多次多尺度融合［13］，使該網(wǎng)絡(luò)能夠更加準(zhǔn)確地預(yù)測(cè)熱圖。因此，采用了高分辨率網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)，并在其基礎(chǔ)上做了如下改進(jìn)：首先添加了注意力機(jī)制模塊，從空間維度和通道維度獲取關(guān)鍵特征信息，增強(qiáng)特征的提取能力；其次為了更加精確地定位關(guān)鍵點(diǎn)，對(duì)損失函數(shù)進(jìn)行了改進(jìn)，使網(wǎng)絡(luò)能夠容忍背景像素上的微小誤差，獲得更好的收斂速度。

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 HRNet整體結(jié)構(gòu)

HRNet 主要是針對(duì)2D 人體姿態(tài)估計(jì)任務(wù)提出的。不同于其他網(wǎng)絡(luò)通過(guò)下采樣得到強(qiáng)語(yǔ)義信息，然后通過(guò)上采樣恢復(fù)高分辨率，在不斷地上下采樣過(guò)程中丟失大量的有效信息，HRNet 可以在整個(gè)過(guò)程中保持高分辨率表征，因此較其他網(wǎng)絡(luò)來(lái)說(shuō)會(huì)明顯提升人體姿勢(shì)識(shí)別的效果。首先將高分辨率子網(wǎng)絡(luò)作為第1 階段的開(kāi)始，逐步增加高分辨率到低分辨率的子網(wǎng)形成更多的階段，并將多分辨率子網(wǎng)并行連接，通過(guò)在并行的多分辨率子網(wǎng)絡(luò)上反復(fù)交換信息，進(jìn)行多次多尺度融合，使每個(gè)高分辨率到低分辨率的表征都從其他并行表示中反復(fù)接收信息，從而得到豐富的高分辨率表征，多次融合之后的結(jié)果會(huì)更加精確［12，14］，之后通過(guò)網(wǎng)絡(luò)輸出的高分辨率表示來(lái)估計(jì)關(guān)鍵點(diǎn)，提升預(yù)測(cè)的關(guān)鍵點(diǎn)熱圖的準(zhǔn)確性（見(jiàn)圖1）。

圖1 HRNet結(jié)構(gòu)

將HRNet 結(jié)構(gòu)分為4 個(gè)部分，每個(gè)部分均存在1 個(gè)藍(lán)色框和1個(gè)橙色框，其中藍(lán)色框代表基本結(jié)構(gòu)，橙色框代表過(guò)渡結(jié)構(gòu)。HRNet 中第1 部分藍(lán)色框使用的是BottleNeck，其他部分藍(lán)色框使用的是BasicBlock。第1 部分橙色框是1 個(gè)TransitionLayer，第2 和第3 部分橙色框是1 個(gè)FuseLayer 和1 個(gè)TransitionLayer 的疊加，第4部分橙色框是1個(gè)FuseLayer。

（1）BottleNeck 結(jié)構(gòu)能夠降低參數(shù)量，首先它利用PW（Pointwise Convolution）對(duì)數(shù)據(jù)進(jìn)行降維，再進(jìn)行常規(guī)卷積核的卷積，最后PW對(duì)數(shù)據(jù)進(jìn)行升維，它的核心思想是利用多個(gè)小卷積核替代1 個(gè)大卷積核，利用1×1 卷積核替代大的卷積核的一部分工作。BottleNeck搭建模塊見(jiàn)圖2。

圖2 BottleNeck搭建模塊

（2）BasicBlock 結(jié)構(gòu)包含1 個(gè)殘差支路和short-cut支路，它比傳統(tǒng)的卷積結(jié)構(gòu)多了1個(gè)short-cut支路，用于傳遞低層的信息使得網(wǎng)絡(luò)能夠訓(xùn)練地很深。Basic-Block搭建模塊見(jiàn)圖3。

圖3 BasicBlock搭建模塊

（3） FuseLayer 用來(lái)進(jìn)行不同分支的信息交互，TransitionLayer 用來(lái)生成1 個(gè)下采樣2 倍分支的輸入feature map。

HRNet是高分辨率的網(wǎng)絡(luò)模型，面對(duì)頻繁的下采樣會(huì)導(dǎo)致空間方向特征丟失的問(wèn)題，在進(jìn)行特征提取和特征融合時(shí)，從輸入到輸出一直保持高分辨率表征［14］，為了增強(qiáng)對(duì)輸入圖片的特征提取能力，因此在HRNet 中引入注意力機(jī)制模塊，突出圖像中尺度較小和遮擋人體關(guān)鍵點(diǎn)的特征，從而極大地提高HRNet 的性能。改進(jìn)后的HRNet結(jié)構(gòu)見(jiàn)圖4。

圖4 改進(jìn)后的HRNet結(jié)構(gòu)

2.2 注意力機(jī)制模塊

在計(jì)算機(jī)視覺(jué)中把聚焦圖像的重要特征、抑制不必要的區(qū)域響應(yīng)方法稱(chēng)作注意力機(jī)制（Attention Mechanisms），它在分類(lèi)、目標(biāo)檢測(cè)、人臉識(shí)別、動(dòng)作識(shí)別、姿態(tài)估計(jì)、3D 視覺(jué)等任務(wù)中發(fā)揮著重要作用，極大地提升了計(jì)算機(jī)網(wǎng)絡(luò)的性能。

一般來(lái)說(shuō)，注意力機(jī)制通常被分為通道注意力機(jī)制、空間注意力機(jī)制、時(shí)間注意力機(jī)制、分支注意力機(jī)制，把通道維度和空間維度組合［15］，提出Convolutional Block Attention Module （CBAM），用于前饋卷積神經(jīng)網(wǎng)絡(luò)的簡(jiǎn)單而有效的注意力模塊。相較于其他注意力機(jī)制模塊，CBAM模塊不僅保留了通道注意力，還添加了空間注意力，這使得網(wǎng)絡(luò)模型能夠注重關(guān)鍵信息的重要程度和關(guān)聯(lián)程度、提升對(duì)關(guān)鍵區(qū)域的特征表達(dá)；空間注意力使神經(jīng)網(wǎng)絡(luò)更加關(guān)注圖像中對(duì)分類(lèi)起關(guān)鍵性作用的像素區(qū)域而忽略不重要的區(qū)域，通道注意力用于處理特征圖通道的分配關(guān)系，同時(shí)使用2個(gè)維度上的注意力機(jī)制使模型性能得到更加明顯的提升；CBAM內(nèi)部使用輕量級(jí)卷積來(lái)獲取通道和空間的注意力權(quán)重，因此它是1種可以嵌入到任何主干網(wǎng)絡(luò)中以提高性能的輕量級(jí)模塊，具有通用性；引入CBAM 可以提高目標(biāo)檢測(cè)和物體分類(lèi)的精度，用到的計(jì)算量和參數(shù)都比較少，因此本研究引入CBAM 模塊提高網(wǎng)絡(luò)的檢測(cè)性能。給定1 張?zhí)卣鲌D，CBAM 模塊能夠序列化地在通道和空間2 個(gè)維度上產(chǎn)生注意力特征圖信息，然后2種特征圖信息再與之前原輸入特征圖進(jìn)行相乘進(jìn)行自適應(yīng)特征修正，產(chǎn)生最后的特征圖。

CBAM模塊主要由通道注意力模塊和空間注意力模塊組成，2個(gè)注意力模塊采用串聯(lián)的方式，首先在空間和通道上進(jìn)行注意力機(jī)制處理，沿著通道和空間2個(gè)維度推斷出注意力權(quán)重系數(shù)，然后再與feature map 相乘，CBAM結(jié)構(gòu)見(jiàn)圖5。

圖5 CBAM結(jié)構(gòu)

2.2.1 CBAM總體流程

首先輸入網(wǎng)絡(luò)主干生成的特征圖F∈RC×H×W，經(jīng)過(guò)通道注意力模塊處理后，獲得通道注意力圖MC∈R1×1×C，通過(guò)跳躍連接的方式乘以輸入特征圖F中的相應(yīng)元素，將結(jié)果F′送入空間注意力模塊中，之后利用空間注意力模塊生成帶有空間注意力權(quán)重的特征圖MS∈RH×W×1，最后乘以特征圖F′得到最終的輸出特征圖F′′。CBAM 模塊整體運(yùn)行過(guò)程可以描述為以下公式：

式中：×表示元素級(jí)相乘。

2.2.2 通道注意力機(jī)制模塊

通道注意力機(jī)制通過(guò)特征內(nèi)部之間的關(guān)系來(lái)產(chǎn)生注意力機(jī)制特征圖（見(jiàn)圖6），特征圖的每個(gè)通道可以當(dāng)作一個(gè)特征檢測(cè)器。

圖6 通道注意力機(jī)制模塊

壓縮特征圖的空間維度能夠更高效地計(jì)算通道注意力特征，平均池化方法和最大池化方法都能夠?qū)W習(xí)到物體的判別特征，同時(shí)使用這2種方法得到的效果更好，經(jīng)過(guò)池化之后產(chǎn)生了2 種不同的空間上下文信息：代表平均池化特征的和代表最大池化特征的，然后再將該特征送入到一個(gè)共享的多層感知機(jī)（MLP）網(wǎng)絡(luò)中，產(chǎn)生最終的通道注意力特征圖Mc∈RC×1×1，為了降低計(jì)算參數(shù)，在MLP 中采用了一個(gè)降維系數(shù)r，Mc∈RC/r×1×1。

通道注意力計(jì)算公式為：

2.2.3 空間注意力機(jī)制模塊

空間注意力機(jī)制通過(guò)特征圖空間內(nèi)部的關(guān)系，來(lái)產(chǎn)生空間注意力特征圖（見(jiàn)圖7）。

圖7 空間注意力機(jī)制模塊

為了計(jì)算空間注意力，首先在通道維度通過(guò)平均池化和最大池化產(chǎn)生2D 特征圖：，然后拼接起來(lái)它們產(chǎn)生的特征圖，在拼接后的特征圖上，使用卷積操作產(chǎn)生最終的空間注意力特征圖：Ms(F)∈RH，W。

空間注意力計(jì)算方式為：

2.3 損失函數(shù)的改進(jìn)

2.3.1 均方誤差損失（MSE）

均方誤差損失（MSE）存在2 個(gè)問(wèn)題：（1）MSE 損失的梯度是線性的，對(duì)微小誤差不敏感，這影響了正確定位高斯分布mode 的能力；（2）在訓(xùn)練過(guò)程中，所有的像素具有同樣的損失函數(shù)和權(quán)重［16］，但是，在熱力圖中背景像素相對(duì)于前景像素是占有絕對(duì)主導(dǎo)地位的。這2 個(gè)問(wèn)題導(dǎo)致由MSE 訓(xùn)練的模型預(yù)測(cè)出結(jié)果的前景像素是模糊和膨脹的，這樣的低質(zhì)量熱力圖可能會(huì)導(dǎo)致關(guān)鍵點(diǎn)的錯(cuò)誤估計(jì)，因此將原本的MSE 損失函數(shù)改為Adaptive wing loss。

2.3.2 Adaptive wing loss

對(duì)于熱圖回歸的理想損失函數(shù)，當(dāng)誤差很大時(shí)，損失函數(shù)具有恒定的影響，因此它將對(duì)不準(zhǔn)確的注釋和遮擋具有魯棒性。經(jīng)過(guò)不斷地訓(xùn)練后誤差減小，會(huì)出現(xiàn)以下情況［16］：

（1）對(duì)于前景像素（y=1），影響和梯度應(yīng)開(kāi)始增加，訓(xùn)練能夠更專(zhuān)注于減少他們的錯(cuò)誤，當(dāng)誤差接近于0時(shí)，影響會(huì)快速減少，此時(shí)這些已經(jīng)“足夠好”的像素不再被關(guān)注，正確估計(jì)的影響能夠幫助網(wǎng)絡(luò)保持收斂。

（2）對(duì)于背景像素（y=0），梯度應(yīng)隨著訓(xùn)練誤差的減小，梯度會(huì)減小到0，因此，當(dāng)誤差較小時(shí)影響也會(huì)相對(duì)較小，訓(xùn)練時(shí)對(duì)背景像素的關(guān)注減少，對(duì)背景像素微小誤差的敏感程度降低，能夠穩(wěn)定訓(xùn)練過(guò)程。

由于ground truth 熱圖的像素值范圍是（0，1），這個(gè)損失函數(shù)應(yīng)能夠根據(jù)不同的像素值進(jìn)行平滑的轉(zhuǎn)換，且對(duì)于強(qiáng)度接近于1的ground truth像素，應(yīng)增加小誤差的影響，對(duì)于強(qiáng)度接近于0 的ground truth 像素，損失函數(shù)應(yīng)該像MSE loss 一樣，故而可以使用Adaptive Wing （AWing） loss［16］，定義如下：

式中：y和分別為真實(shí)熱力圖和預(yù)測(cè)熱力圖的像素值；ω，θ，ε和α是正值；A=ω（1/（1+（θ/?）（α-y）））（α-y）（（θ/?）（α-y-1））（1/?），C=（θA-ωln（1+（θ/?）α-y））是為了使損失函數(shù)在|y-|=θ時(shí)保持連續(xù)和平滑，變量θ作為閾值實(shí)現(xiàn)線性和非線性部分的轉(zhuǎn)換。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集

為了對(duì)提出的方法進(jìn)行驗(yàn)證，在大型公開(kāi)COCO數(shù)據(jù)集上進(jìn)行訓(xùn)練和測(cè)試。COCO 數(shù)據(jù)集由微軟團(tuán)隊(duì)發(fā)布，目前COCO keypoint track 是人體關(guān)鍵點(diǎn)檢測(cè)的權(quán)威公開(kāi)數(shù)據(jù)集之一，包含超過(guò)20 萬(wàn)張圖像和25 萬(wàn)個(gè)標(biāo)記有17 個(gè)關(guān)鍵點(diǎn)的實(shí)例。COCO 數(shù)據(jù)集中把人體關(guān)鍵點(diǎn)表示為17 個(gè)關(guān)節(jié)，分別是鼻子、左右眼、左右耳、左右肩、左右肘、左右腕、左右臀、左右膝、左右腳踝［17-18］。

3.2 評(píng)價(jià)準(zhǔn)則

在關(guān)鍵點(diǎn)檢測(cè)任務(wù)中一般用OKS（Object Keypoint Similarity）來(lái)表示預(yù)測(cè)關(guān)鍵點(diǎn)與真實(shí)關(guān)鍵點(diǎn)的相似程度，其值域在0～1，越靠近1 表示相似度越高，OKS 越大，表示檢測(cè)關(guān)鍵點(diǎn)的空間位置越準(zhǔn)確［17］。

評(píng)價(jià)指標(biāo)：

式中：i為第i個(gè)關(guān)鍵點(diǎn)；vi為第i個(gè)關(guān)鍵點(diǎn)的可見(jiàn)性，vi=0為在圖像外無(wú)法標(biāo)注的點(diǎn)，vi=1為標(biāo)注了但是被遮擋的點(diǎn)，vi=2 為標(biāo)注了并且可見(jiàn)的點(diǎn)；對(duì)于δ(x)，當(dāng)x為T(mén)rue 時(shí)值為1，x為False 時(shí)值為0，di為檢測(cè)的關(guān)鍵點(diǎn)與數(shù)據(jù)集中標(biāo)注的關(guān)鍵點(diǎn)之間的歐氏距離；s為目標(biāo)的尺度因子，值為目標(biāo)面積的平方根，這里的面積指的是分割面積；ki為用來(lái)控制關(guān)鍵點(diǎn)類(lèi)別i的衰減常數(shù)。

一般用平均精度（Average Precision，AP）來(lái)評(píng)價(jià)實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，在COCO數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果中，主要關(guān)注AP 這個(gè)指標(biāo)，AP 的數(shù)據(jù)結(jié)果通過(guò)OKS 計(jì)算得出，對(duì)于單人姿態(tài)估計(jì)中的AP，計(jì)算方式為：

對(duì)于多人姿態(tài)估計(jì)而言，由于1張圖片中有M個(gè)目標(biāo)，假設(shè)總共預(yù)測(cè)出N個(gè)個(gè)體，那么ground truth 和預(yù)測(cè)值之間能構(gòu)成一個(gè)M×N的矩陣，然后將每一行的最大值作為該目標(biāo)的OKS，則：

式中：AP 為所有圖片的OKS 大于閾值T的百分比，T由人為給定，在本實(shí)驗(yàn)中AP 是指OKS=0.50，0.55，…，0.90，0.95時(shí)10個(gè)閾值之間所有檢測(cè)關(guān)鍵點(diǎn)準(zhǔn)確率的平均值，AP50是在OKS=0.50時(shí)的檢測(cè)關(guān)鍵點(diǎn)的準(zhǔn)確率，AP75 是在OKS=0.75 時(shí)的檢測(cè)關(guān)鍵點(diǎn)的準(zhǔn)確率；APM 為中尺寸物體檢測(cè)關(guān)鍵點(diǎn)的準(zhǔn)確率，APL 為大尺寸物體檢測(cè)關(guān)鍵點(diǎn)的準(zhǔn)確率。

3.3 實(shí)驗(yàn)結(jié)果

普通場(chǎng)景下的人體姿態(tài)估計(jì)效果見(jiàn)圖8。

圖8 普通場(chǎng)景效果圖

真實(shí)地鐵場(chǎng)景下的人體姿態(tài)估計(jì)見(jiàn)圖9。

圖9 地鐵場(chǎng)景效果圖

在真實(shí)的地鐵場(chǎng)景行人檢測(cè)實(shí)驗(yàn)中，在遮擋嚴(yán)重情況下，依然能夠得到較好的檢測(cè)效果，因此該網(wǎng)絡(luò)適用于在地鐵等人流量密集、遮擋嚴(yán)重的場(chǎng)景下進(jìn)行行人檢測(cè)任務(wù)。不同網(wǎng)絡(luò)模型在COCO數(shù)據(jù)集上的結(jié)果對(duì)比見(jiàn)表1。

表1 不同網(wǎng)絡(luò)模型在COCO數(shù)據(jù)集上的結(jié)果對(duì)比

由實(shí)驗(yàn)結(jié)果可知，本次研究提出的方法精度比原HRNet網(wǎng)絡(luò)提升了0.7%，達(dá)到了74.1%，與當(dāng)下流行的人體姿態(tài)估計(jì)網(wǎng)絡(luò)相比，如Hourglass、CPN、CPN+OHKM、Simple Baseline、Lite-HRNet、HRNet-W32，研究所使用的網(wǎng)絡(luò)在預(yù)測(cè)關(guān)鍵點(diǎn)的平均精度上分別提升了7.2、5.5、4.7、3.7、9.3、0.7個(gè)百分點(diǎn)，且對(duì)比表中所示的所有指標(biāo)，網(wǎng)絡(luò)模型平均精度均高于其他網(wǎng)絡(luò)模型的平均精度。因此，改進(jìn)后的網(wǎng)絡(luò)模型在人體姿態(tài)估計(jì)過(guò)程中，精確度更高、具有更好的魯棒性，證明本研究提出方法的有效性。

4 結(jié)束語(yǔ)

基于高分辨率網(wǎng)絡(luò)HRNet 對(duì)人體姿勢(shì)識(shí)別進(jìn)行研究，在網(wǎng)絡(luò)中添加了注意力機(jī)制模塊CBAM，該模塊將空間和通道2 個(gè)維度進(jìn)行結(jié)合，極大提高了網(wǎng)絡(luò)的性能，提升了重要特征的權(quán)重。使用Adaptive wing loss 作為損失函數(shù)，當(dāng)誤差很大時(shí)，損失函數(shù)具有恒定的影響，但當(dāng)誤差較小時(shí)，會(huì)減少在訓(xùn)練時(shí)對(duì)背景像素的關(guān)注，穩(wěn)定訓(xùn)練過(guò)程。實(shí)驗(yàn)結(jié)果證明，改進(jìn)后的網(wǎng)絡(luò)模型能夠準(zhǔn)確的檢測(cè)出尺度較小和遮擋的關(guān)鍵點(diǎn)，具有較好的檢測(cè)能力和魯棒性，因此，在地鐵實(shí)際情況中能夠更好應(yīng)對(duì)人群密集、遮擋嚴(yán)重的問(wèn)題。