融入注意力和密集連接的輕量型人體姿態估計

鄧 輝，徐 楊，2

1.貴州大學 大數據與信息工程學院，貴陽 550025

2.貴陽鋁鎂設計研究院有限公司，貴陽 550009

人體姿態估計作為計算機視覺的重要任務之一，其目標是對人體關鍵點進行定位，如肘部、手腕及膝蓋等。近年來，與人體姿態估計相關的多方面研究得到廣泛的應用，如動作識別[1]、人機交互[2]、姿態跟蹤等[3]。深度卷積神經網絡已經在該課題上取得了顯著的成效，但一些新方法往往使用更深層次的網絡來提升檢測性能，并伴隨大量的神經網絡參數和浮點運算次數（FLOPs）。盡管這些方法性能優異，但大量參數使模型對內存的要求變高，很難將性能優異的模型直接部署在資源受限的設備上，如智能手機和機器人等。因此如何在保持模型精度的情況下降低網絡參數和運算復雜度是目前人體姿態估計研究亟待解決的問題之一。

目前主要使用深度學習的方法進行人體姿態估計[4]，使用深度卷積神經網絡來檢測人體關鍵點[5]。Newell等[6]提出了堆疊沙漏網絡（stacked hourglass network，SHN），其采用分辨率由高到低和由低到高的對稱結構，通過檢測熱圖來獲取人體各關節點信息，但分辨率變化會導致丟失部分特征信息。Chen等[7]提出的級聯金字塔網絡（cascaded pyramid network，CPN）則彌補了這一缺點，通過一個并行的由低分辨率到高分辨率的網絡來恢復高分辨率表示，從而進一步提高預測準確率。Xiao等[8]提出的Simple Baseline 模型為設計簡單輕量的姿態估計網絡提供了先驗知識，它僅構造了一個基本的順序卷積網絡，其后是一些反卷積層，以此來實現更高分辨率的輸出。受Simple Baseline 設計的啟發，Zhang 等[9]提出了一種輕量級的姿態估計網絡（lightweight pose network，LPN），在模型大小、運算復雜度和預測速度方面更具優勢。

Sun等[10]提出的高分辨率網絡（high-resolution network，HRNet）使用并聯的方式將不同分辨率子網由高到低進行并行連接，并在各分辨率之間反復執行多尺度融合，整個過程始終保持高分辨率表示，從而有效利用特征信息對人體關鍵點進行預測，它在準確性上表現突出，但在模型輕量層面表現欠佳。Cheng等[11]在HRNet的基礎上提出HigherHRNet，其進一步提升了HRNet網絡末端的特征圖分辨率，從而獲得更好的預測效果，但同時增加了網絡復雜度，導致運算量上升和推理速度下降。2021 年Yu 等[12]提出了Lite-HRNet，設計了新的輕量級單元來代替pointwise（1×1）卷積，在人體姿態估計任務上實現了非常好的輕量化效果，但模型預測精度下降幅度較大。

基于上述研究與問題，本文以高分辨率網絡為基礎框架，提出一種融入密集連接和注意力的輕量型人體姿態估計網絡（lightweight densely connected attention network，LDANet）。首先，采用與GhostNet[13]相似的結構，設計了輕量全局上下文瓶頸模塊（ghost global context bottlneck，GGCneck），將其替換高分辨率網絡中的瓶頸塊，能有效降低部分網絡復雜度并提升一定預測精度。然后，將空間注意力和通道注意力采用串聯方式進行融合，并保持空間和通道維度的高分辨率，同時再結合稠密網絡[14]的結構，設計密集單元和密集連接方式，構建輕量密集注意力模塊（ghost dense attention block，GDAblock），使用GDAblock替換原網絡中的基礎模塊，從而保證一定模型精度并大幅降低網絡參數量和運算量。最后，為彌補網絡輕量化帶來的精度損失，重新設計了網絡輸出的特征融合方式，考慮了多個分辨率所包含的信息，使得網絡模型在輕量化與預測精度之間取得較好平衡。

上述LDANet 在實現人體姿態估計時的優勢主要體現為三點：

（1）GGCneck模塊采用Ghost卷積代替普通卷積，從而保證有效提取特征和減少網絡復雜度，同時添加注意力和深度卷積并構建殘差快捷連接，提升了模型性能。

（2）GDAblock 模塊使用的密集連接方式使得輸入通道被壓縮后仍保證了網絡深度與特征提取能力，且能使網絡復雜度有效下降，在通道壓縮過程采用Ghost 卷積提取特征，使網絡參數量與運算量大幅下降，同時所用注意力模塊較常規注意力能減少特征降維帶來的信息損失，保證了模型的預測準確率。

（3）網絡輸出時，充分利用低分辨率特征攜帶的信息，同時結合不同階段的高分辨率特征，將二者融合后再通過反卷積模塊進一步提高分辨率，從而能獲取更精細的特征，提高模型預測準確率。

1 相關工作

1.1 高分辨率網絡

高分辨率網絡（HRNet）作為一類用于處理計算機視覺任務的網絡，打破了傳統的串行連接方式，而使用多分辨率并行連接的結構，這樣可以一直保持網絡的高分辨率表示，同時通過反復跨并行卷積執行多尺度融合，進一步增強高分辨率的特征信息。其被大量研究者用作基礎網絡，在語義分割、目標檢測和人體姿態估計等領域均取得不錯的成績，因此本文采用HRNet作為基礎框架。

HRNet共四個階段：第一階段由一個高分辨率子網組成，從第二階段開始，每個階段增加一個分辨率分支子網，且新增的子網分辨率為上一階段最低分辨率的一半，通道數為原來的二倍，各階段之間通過多尺度特征融合來交換信息。對于不同分辨率的特征圖，可以關注到圖像中不同尺度的特征，通過融合這些存在互補的特征，能獲得更好的人體特征表示。

1.2 稠密卷積網絡

稠密卷積網絡提出了以前饋的方式將每個層與其他層進行簡單連接的方式來提取特征，與傳統的卷積網絡不同，它的某一層與之后的所有層之間都有一個直接連接，并且前面所有層的特征圖都將作為該層的輸入。對于傳遞到某一層的特征，通過維度的拼接來組合特征，這樣的密集連接模式不僅不會使得網絡變得繁重復雜，反而相較于傳統的卷積網絡所需的參數更少，因為它不需要重新學習冗余的特征圖，同時還能緩解梯度消失，加強特征傳播，使得特征得以重用[14]。

1.3 注意力機制

注意力機制通過學習卷積特征來實現對特征通道重新分配權重，主要包括擠壓（squeeze）和激勵（excitation）兩個操作。一些研究表明在稍微增加計算成本的情況下，融入注意力機制可以顯著改善輕量型網絡模型的性能[15]。其中，SE（squeeze-and-excitation）模塊[15]主要通過全局池化來建模特征通道之間的關系，但沒有考慮空間信息的重要性。卷積注意力模塊（convolutional block attention module，CBAM）[16]在此基礎上同時利用了空間和通道關系，并單獨生成注意力圖，最終與輸入特征圖相乘得到帶有注意力權重的特征圖。ECA（efficient channel attention）模塊[17]是一種捕捉局部跨通道信息交互的方法，它在不降低通道維數的情況下來進行跨通道信息交互，只增加少量的參數卻能獲得明顯的性能增益。極化自注意力（polarized self-attention，PSA）模塊[18]作為一種更加精細的雙重注意力機制，能在通道和空間維度保持較高水平，這能進一步減少降低維度所造成的信息損失。

2 本文模型

2.1 LDANet模型

本文提出的LDANet網絡模型的整體結構如圖1所示。模型主體架構與HRNet 相似，網絡分為四個階段：第一階段只包含一個最高分辨率分支網絡，從第二階段開始，每個階段依次增加一個平行分支子網絡，每個階段新增的子網絡分辨率為前一階段最低分辨率分支的一半，通道數提升為二倍。網絡整體為并行連接方式，采用四個階段使特征圖的分辨率漸進式下降，避免大幅降低分辨率導致人體姿態的細節信息迅速丟失。第一階段包含四塊GGCneck，用于提取特征圖的特征。第二、三、四階段均由GDAblock 所構成，且每階段使用的GDAblock 模塊數分別為1、3、2 塊，這使得網絡能保持一定深度，充分提取有用的特征信息。每個階段后采用多尺度融合進行信息交流，使每個分支子網反復接收其他并行分支子網的信息。在輸入通過第一階段前先采用兩個3×3卷積進行預處理，將圖像分辨率降為原來的1/4，通道數由3通道變為64通道，經過GGCneck模塊后使用卷積將最高分辨率分支通道數轉換為32，使得四個分支的通道數分別為32、64、128 和256，圖像分辨率分別為原圖的1/4、1/8、1/16和1/32。

圖1 LDANet網絡結構Fig.1 LDANet network structure

在第四階段，將來自該階段的后三個分支子網絡的特征圖依次使用雙線性上采樣再相加，同時結合前三個階段的最高分辨率特征圖，一起融合至第一分支子網絡的特征圖中，再將融合后的特征圖輸入反卷積模塊，以預測人體關鍵點，進而實現人體姿態估計。

2.2 GGCneck模塊

本文設計了如圖2所示的GGCneck模塊，用于替換HRNet網絡模型中的瓶頸模塊，其主要由兩個1×1Ghost卷積、一個3×3 深度卷積和GCBlock（global context block）[19]構成。GGCneck 模塊可以有效降低運算復雜度和部分網絡參數量，同時帶來一定的性能提升。

圖2 GGCneck模塊結構Fig.2 GGCneck module structure

未使用普通的卷積而采用Ghost卷積是因為通常一個訓練好的深度神經網絡包含很多冗余特征圖，而Ghost卷積可以有效地解決這個問題[13]。其主要思想是將原始卷積層拆分為兩部分：首先使用一個主卷積用較少的通道生成初始特征圖，然后通過已經生成的通道特征圖進行簡單的線性變換，生成更多的通道特征圖。假定為生成n個特征圖，有m個初始特征圖Y∈Rm×h×w由主卷積生成，如式（1）所示：

其中，m≤n,X∈Rc×h×w為輸入數據，*代表卷積操作，f∈Rc×k×k×m表示卷積濾波器，k×k為卷積濾波器的卷積核大小。為了得到n個特征圖，利用一些簡單的線性操作在初始特征圖Y上生成s個Ghost特征[13]，如式（2）所示。

其中，yi表示特征圖Y中由主卷積生成的第i個特征圖；Φi,j表示利用第j個線性操作將yi生成第j個Ghost 特征圖yij，也就是說yi可以有1 個或多個Ghost特征圖，而最后一個線性操作Φi,s是保持原有特征的恒等映射。根據式（2）可以得到n=m×s個特征圖Y′=[y11,y12,…,yms]作為Ghost 卷積的輸出，Ghost 卷積的結構如圖3所示。

圖3 Ghost卷積Fig.3 Ghost convolution

相較于普通卷積，使用線性操作能使計算成本大大降低。Ghost 卷積包括一個恒等映射和m×(s-1) 個線性運算，理論上使用普通卷積與Ghost 卷積的運算復雜度之比和參數量之比為：

其中，d為線性操作的內核大小，與k量級相同，且s?c，模塊中s為2。

GGCneck模塊中第一個Ghost 卷積作為擴展層，相對于輸入增加了通道數，之后是批歸一化（BN）和線性整流函數（ReLU），第二個Ghost卷積用于將通道數對齊到模塊的輸出通道，兩個Ghost 卷積中間使用一個步幅為2的3×3深度卷積組成瓶頸結構，深度卷積可以使用較少的參數生成特征。在第二個Ghost卷積的BN之后還連接了一個GCBlock模塊，它可以在計算成本增加很少的情況下捕獲長期依賴[19]，提升網絡的性能。模塊最后還結合了ResNet[20]的原理，使用殘差連接將輸入與卷積操作后的輸出結果進行求和后再輸出，從而獲得更優的特征提取效果。

2.3 GDAblock模塊

文中提出的GDAblock模塊由4層密集單元構成，每個密集單元融入了2個Ghost卷積和1個PSA模塊，同時使用3×3深度卷積為密集單元構建了殘差快捷連接，其結構如圖4所示。受稠密卷積網絡[14]的啟發，GDAblock使用密集連接在每個密集單元之間進行通道維度上的拼接，使每一層都可以接受來自前面所有層的特征信息，這使得特征得以重用并保證梯度的快速傳遞，同時參數量和運算量也得到降低。第l層的輸入可表示為式（5）：

圖4 GDAblock模塊結構Fig.4 GDAblock module structure

其中x1,…,xl-1代表前l-1 層的輸出特征圖，x0為原始輸入，[]表示拼接，Hl( )表示將第l層的輸入拼接為一張量。第l層的輸入通道數可由式（6）計算：

其中，k0為最初輸入特征圖的通道數；k為網絡的增長率，即每個密集單元的輸出通道數，文中k=12，每一層密集單元都通過對輸入降維得到該通道數，以預防大量的特征拼接導致計算量快速上升。本文還在每個分辨率子網的GDAblock 模塊后添加一個通道轉換層，確保每個分支子網的輸出通道數正確。

每個密集單元首先使用一個3×3Ghost卷積對特征進行提取，同時對輸入進行通道壓縮，壓縮通道數固定為αk,α表示壓縮系數，模塊中α取4，這能使模塊產生的參數量和運算量更少；然后將數據經批歸一化（BN）和線性整流函數（ReLU）后輸入PSA 模塊，再經第二個Ghost 卷積轉換通道數為k；最后結合3×3 深度卷積構成的殘差快捷連接得到密集單元的輸出。使用深度卷積構建殘差連接能加速模型的收斂且不會帶來過多的參數量和運算量。

由式（4）知Ghost 卷積在通道數相同時參數量僅為普通卷積的1/2，由于使用密集連接，使得密集單元在對輸入通道壓縮后依然保證了網絡的深度與特征提取能力，但通道壓縮后可使參數量大幅降低。以網絡的第二分辨率分支為例，可計算通道數為64的普通3×3卷積的參數量，其大約是該分支GDAblock 的第一層密集單元中兩個Ghost卷積的2.6倍和13倍。網絡中使用大量的GDAblock模塊用于提取特征，且輸入通道數越大，較常規卷積相比，參數量降低越明顯，因此GDAblock能大大降低模型的參數量。

相較于常規注意力模塊，PSA模塊能在空間和通道維度保持內部高分辨率，從而減少特征降維帶來的信息損失[18]，同時在維度被壓縮的分支采用Softmax 函數增強注意力的范圍，最后使用Sigmoid 函數進行動態映射。結合PSA模塊[18]的原理，將空間自注意力和通道自注意力分支采用串聯的融合方式得到圖5 所示的PSA模塊。

圖5 PSA模塊Fig.5 PSA module

空間自注意力分支的權重計算公式如式（7）所示：

式中，Wq和Wv分別表示標準的1×1 卷積，σ1、σ2、σ3代表張量重塑運算，FGP表示全局平均池化操作，FSM為Softmax 函數，×為矩陣點積運算，FSG為Sigmoid 函數。首先通過1×1卷積將輸入特征分別轉換為q和v，對于特征q，先使用全局平均池化對空間維度進行壓縮，轉換為1×1 大小，而特征v的空間維度則保持在較高水平(h×w)，由于特征q的空間維度被壓縮，采用Softmax 函數對q的特征信息進行增強，然后將q和v進行矩陣點乘運算，再將維度轉換為1×h×w，最后使用Sigmoid 函數使得輸出保持在0～1 之間，得到的空間分支輸出為Zsp=Asp(X)⊙spX，其中⊙sp表示空間分支的乘法運算符。

通道自注意力分支的權重計算公式為式（8）：

其中，Wz|θ1表示先對特征Unsqueeze 再進行1×1 卷積，其余同上。得到空間分支的輸出后，將其送入通道分支，同樣先通過卷積將特征轉換為q和v，其中特征q的通道維度被完全壓縮，而特征v的通道維度仍然使其維持在較高水平( )c/4 。因q的通道被壓縮，所以采用Softmax 函數對q的特征信息進行增強，然后將q與v進行矩陣點乘，同時對其進行Unsqueeze，使得特征維度變為c/4×1×1，最后再使用1×1 卷積將通道維度上調為c，同時使用Sigmoid函數使輸出保持在0～1 之間，通道分支的輸出表示為Zch=Ach(X)⊙chX,其中⊙ch表示通道分支的乘法運算符。

最終PSA模塊的輸出可以表示為：

使用GDAblock 替換HRNet 中的基礎模塊，實驗結果表明模型的參數量和運算量都得到大幅降低，同時保證了一定的檢測精度。

2.4 特征融合方式

本文方法在每個階段均采用反復多尺度融合，使每個子網絡重復接收來自其他并行子網的信息。即融合時相同分辨率的特征不做處理，由高分辨率到低分辨率的特征圖采用步幅為2的3×3卷積層進行下采樣，而從低分辨率到高分辨率的特征圖則采用最鄰近上采樣方法，若分辨率分支跨度超過2則進行多次上采樣或下采樣。

HRNet 使用的是第四階段的最高分辨率輸出來回歸熱圖，這沒有充分利用其他三個低分辨率子網的信息，因此本文改進最后的特征融合方法。受HigherHRNet[11]的啟發，進一步提高特征圖的分辨率有助于提取到更精細的特征。從圖1的最后特征融合部分可看到，從最低分辨率特征圖開始，通過雙線性上采樣得到高一級分辨率的特征圖，將其與該級分辨率特征圖相加后繼續上采樣，直到最高分辨率為止，同時取前三階段的最高分辨率特征圖加入融合，這樣可以得到不同階段和層次的信息。最后，將融合輸出通過一反卷積模塊，其結構如圖6所示。

圖6 反卷積模塊結構Fig.6 Deconvolution module structure

輸入特征圖先經過卷積進行通道轉換，結果再與輸入特征進行維度上的拼接，然后將結果通過一個卷積核大小為4×4的反卷積，使得特征圖的分辨率提升為原來的2 倍，再將其通過4 層融入PSA 的基本模塊進一步提取特征，最后使用卷積轉換通道數，并使網絡輸入與輸出的圖像分辨率保持一致，得到最終輸出，從而預測熱圖。這使得預測的人體關鍵點更為準確，但缺點是造成了模型參數和計算量的小幅上升?；灸K如圖7所示。

圖7 基本模塊Fig.7 Basic module

3 實驗結果及分析

3.1 數據集介紹

本文模型在兩個數據集上進行驗證，分別是MPII[21]數據集和COCO 數據集。MPII 包括24 984 張圖片，其中有4萬個不同的人體實例，每個實例都有16個標注的人體關鍵點，用大約1.2萬個人體實例作為測試，其余用作訓練。

COCO數據集中包含了20萬張以上的圖片，其中擁有標注的人體實例大約25 萬個，每個人體實例標注了17個人體關鍵點。使用包含5.7萬張圖片的訓練集進行模型訓練，在0.5萬張圖片的驗證集進行驗證，在2萬張圖片的測試集上進行測試。

3.2 評價指標

文中MPII數據集采用PCKh（head-normalized probability of correct keypoint）[21]指標評測。若預測的關鍵點坐標與真實關鍵點坐標小于al個像素，則預測正確，其中a為一閾值，l為頭部尺寸對應于真實頭部邊界框對角線長度的60%。文中采用a=0.5（PCKh@0.5）時的各關節點準確度作為評估標準，評估關鍵點分別為頭部（head）、肩部（shoulder）、肘部（elbow）、腕部（wrist）、髖部（hip）、膝部（knee）和踝部（ankle）。

COCO 數據集采用MS COCO 官方給定的目標關鍵點相似性（object keypoint similarity，OKS）[22]作為評估標準，其中包括AP（在OKS=0.50，0.55，…，0.90，0.95時10個位置預測關鍵點準確率的平均值）、AP50（OKS=0.5 時的準確率）、AP75（OKS=0.75 時的準確率）、APM（中型物體檢測準確率）、APL（大型物體檢測準確率）、AR（在OKS=0.50，0.55，…，0.90，0.95時10個位置的平均召回率）。OKS定義式如下：

其中，di表示每個真實關鍵點與預測關鍵點之間的歐氏距離，vi是真實關鍵點的可見標志位，s是目標尺度，ki為歸一化因子，δ(vi ＞0) 表示關鍵點可見性大于0。OKS在0～1 之間取值，值越接近1表明預測效果越好。

3.3 實驗環境及設置

本實驗使用的服務器系統為Ubuntu20.04LTS，CPU為i7-11700K，顯卡為GeForce RTX 3080Ti，顯存大小為12 GB，深度學習框架為PyTorch1.9.1，軟件平臺為Python3.7。訓練選用Adam優化器對模型進行優化，訓練周期設置為230，批量大小為20，初始學習率為0.001，訓練周期到190時學習率調整為0.000 1。

由于數據集中的圖片大小不一，需要對數據預處理后再進行訓練。將圖像以人體髖部為中心進行裁剪，COCO 數據集圖像尺寸大小裁剪為256×192 與384×288，MPII數據集則裁剪為256×256，便于與其他方法對比，裁剪后固定其比例為4∶3。最后采取與HRNet同樣的數據擴充策略，即使用隨機旋轉(-45°,45°) 和隨機縮放(-0.65,1.35) 對數據進行處理。

3.4 實驗驗證與分析

本文方法分別在COCO數據集和MPII數據集上進行了實驗驗證，與其他一些具有代表性的方法在準確性、參數量以及運算復雜度等方面比較，在COCO 驗證集上的實驗結果如表1 所示。結果表明本文方法相較于一些先進的人體姿態估計網絡，如Hourglass[6]、CPN[7]、CPN+OHKM[7]、SimpleBaseline[8]和HigherHRNet[11]等，LDANet的參數量和運算復雜度最少且達到較高的性能。

表1 COCO驗證集實驗結果對比Table 1 Experimental results comparison on COCO validation set

相比較于HRNet，本文模型在COCO數據集下檢測的平均準確率AP提高了0.6個百分點，在AP50處的準確率提高了3.0個百分點；但在模型參數量上，本文方法比HRNet 降低了71.5%；在運算復雜度上，本文模型的GFLOPs 比HRNet 縮小了35.2%；在模型大小上，比HRNet減少了69.6%，而其他一些性能指標與HRNet保持了基本相同的分布。與輕量化模型LPN相比，盡管本文模型參數量增加了7.0×105，GFLOPs上升了2.8，但所有的性能指標均優于LPN，平均精度還提升了3.0 個百分點。與最新的輕量型網絡模型Lite-HRNet 相比，LDANet 雖然提升了模型參數量和運算復雜度，但模型性能方面領先較多，在平均精度AP 上提升了6.8 個百分點。

表2是本文方法在COCO 測試集上與其他方法的對比實驗結果，且LDANet 沒有加載預訓練模型，而其他方法均加載了預訓練模型，從而導致檢測精度低于驗證集上的效果，但模型的參數量和運算復雜度依舊降低了71.5%和35.2%。COCO 數據集上的實驗結果表明，本文方法不僅能保持較好的預測精度，同時可以有效減少模型參數量和計算量，在模型精度和大小之間取得較好平衡。

表2 COCO測試集實驗結果對比Table 2 Experimental results comparison on COCO test set

本文模型在MPII 數據集上測試了7 個部位的準確率，為便于與其他方法對比，輸入圖片尺寸為256×256，這使得模型運算復雜度與之前存在差異，測試結果如表3所示。結果表明，相較于HRNet，本文模型在腕部、膝部和踝部的檢測效果略差，導致了總的檢測精度略低于HRNet，但在保證足夠的檢測精度條件下依然有效降低了參數和計算量，且GFLOPs 減少了35.8%。從表中還能看到，本文方法總體與其他方法在檢測精度上差別不大，但在某些部位有明顯提升，根據文獻[23]，造成這種性能差異不大的情況是因為MPII數據集的準確率趨于飽和，但模型參數與計算量下降基本超過50%以上。與輕量型網絡Lite-HRNet相比，本文模型總體性能提升了2.9%，且該網絡性能在對比模型中表現最差。通過上述實驗結果可知，本文方法在降低模型參數量和運算復雜度方面具有不錯的效果，并未因為模型輕量化后造成性能的明顯下降，在模型性能和輕量化效果之間取得較好平衡。

表3 MPII驗證集實驗結果對比Table 3 Experimental results comparison on MPII validation set

3.5 消融實驗分析

本文在COCO驗證集上進行消融實驗，分別單獨將GGCneck、GDAblock、GGCneck+GDAblock和改進的網絡輸出特征融合部分用于優化HRNet，從而驗證LDANet中各模塊以及特征融合方式對人體關鍵點預測準確率和模型復雜度的影響程度。實驗結果如表4所示。

表4 消融實驗Table 4 Ablation experiment

當使用GGCneck模塊替換HRNet中的瓶頸塊使網絡的平均準確率提升0.8 個百分點，同時運算量降低13.6%，參數量也略微減少。將HRNet 中的基本模塊全部替換為GDAblock后，模型參數量減少73.5%，同時運算量降低41.8%，但檢測的平均準確率也下降了3.1 個百分點，將兩個模塊都融入HRNet后參數量和運算量再次減少，AP 較原網絡下降2.2 個百分點，這表明在一定程度上網絡輕量化的同時不可避免會帶來精度損失。當對原網絡單獨改進特征融合部分后，AP提升2.4個百分點，但缺點是帶來了計算量和參數量的上升。綜上實驗結果，本文方法在模型精度和輕量化之間能取得較好平衡。

為進一步驗證注意力對模型的影響，分別構建了采用PSA 模塊、CBAM 模塊和不添加注意力模塊的GDAblock，將其分別加入HRNet對網絡進行改進，其實驗結果如表5所示。添加CBAM后的GDAblock較不添加注意力，模型精度提升了0.8個百分點，而模型參數和運算量僅略微增加，表明添加注意力在不影響模型復雜度的同時能有效提升模型精度。而采用PSA模塊時，雖然較使用CBAM 模塊模型參數增加1.5×105，運算復雜度上升0.14 GFLOPs，但對模型整體復雜度的影響可忽略不計，同時模型預測精度提升了1.1 個百分點。結果表明，添加PSA模塊僅增加很少的網絡復雜度便能有效提升模型預測精度。

表5 不同注意力對比Table 5 Comparison of different attentions

3.6 可視化結果

本文對LDANet 網絡在COCO 數據集上的測試結果進行了可視化操作，隨機選取帶有模糊、遮擋、大目標、小目標的單人和多人圖片，如圖8所示?？梢钥吹?，不論是單人還是多人的圖片，本文方法都能較為準確地檢測到人體關鍵點，當圖中人物存在模糊或遮擋時，也能獲得較好的預測效果。這表明本文提出的方法具有一定的魯棒性，可以保證大部分情況下較為準確地檢測到人體關鍵點，從而進行人體姿態估計。

圖8 COCO數據集測試結果可視化展示Fig.8 Visual display of test results on COCO data set

4 結束語

本文從減少網絡參數與運算復雜度的目標出發，結合注意力與密集連接的方法提出了一種輕量型人體姿態估計網絡LDANet。網絡以HRNet 為基礎架構，采用GGCneck 模塊和GDAblock 模塊作為瓶頸模塊和基礎模塊，使網絡輕量的同時保證對特征的提取能力，并優化網絡的特征融合方式，使得最終預測精度能與現有的優秀模型相媲美。在公開數據集MPII和COCO上的實驗結果表明，本文方法可以有效改善網絡的運算復雜度和參數量與模型預測準確性之間的矛盾。就網絡模型而言，如何在保持高估計精度的前提下，進一步降低模型參數量和運算復雜度，并將其應用于實際生活中是接下來需要致力研究的內容。