基于關鍵點注意力的輕量級坐姿識別

余承健 洪洲 劉沛賢

摘? 要： 提出了基于關鍵點注意力的輕量級坐姿識別算法。該算法從網絡結構輕量化進行設計，融入了空洞卷積和殘差注意力模塊，并設計了關鍵點注意力模塊，利用空間信息增強上下肢之間對應關鍵點的特征關聯。本文結合關鍵點空間距離規則，提出了一種坐姿評價規則對不同坐姿進行評分。實驗結果表明，本文算法mAP達到了73.2%，參數量縮小76%，能夠對不同坐姿給予正確的評分。

關鍵詞： 姿態估計； 空洞卷積； 殘差網絡； 坐姿評價； 關鍵點注意力

中圖分類號：TP391? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2023）05-72-05

Lightweight sitting posture recognition algorithm based on key point attention

Yu Chengjian1， Hong Zhou2， Liu Peixian3

（1. Guangzhou City Polytechnic， Academic Affairs Office， Guangzhou， Guangdong 510408， China;

2. School of Information Engineering， Guangdong Polytechnic College; 3.Guangdong Jinritoutiao Network Technology Co.， Ltd）

Abstract： In this paper， a lightweight sitting posture recognition algorithm based on key point attention is proposed. The algorithm is designed from the lightweight network structure， the atrous convolution and residual attention module are incorporated， and the key point attention module is designed， which uses the spatial information to enhance the feature association of the corresponding key points between the upper and lower limbs. Combined with the key point space distance rule， a sitting posture evaluation rule is proposed to score different sitting posture. The experimental results show that the mAP of the proposed algorithm reaches 73.2%， the number of parameters is reduced by 76%， and it can give correct scores for different sitting postures.

Key words： posture estimation; atrous convolution; residual network; sitting posture evaluation; key point attention

0 引言

青少年的坐姿習慣在其成長過程中應引起重視。長期不正確的坐姿會對身體造成一定的傷害[1]，例如眼睛離桌子過近會對眼球造成過度負擔，易導致近視；彎腰伏桌會改變原有的頸椎弧度，造成椎骨不必要的受力而誘發肩膀痛；長期趴桌子導致肋骨架空間被壓縮，氧氣吸入量減少等等。目前，市場上出現了一些青少年坐姿矯正設備[2]，但無法從根本上解決問題，應當從糾正坐姿習慣為切入點進行預防。

坐姿識別方法可以分為基于傳感器的坐姿識別方法和基于圖像的坐姿識別方法[3-4]。基于傳感器的坐姿識別方法，需要借助陀螺儀、磁力針、氣壓計等硬件設備，存在外置設備穿戴步驟較為繁瑣的缺點。基于圖像的坐姿識別方法的原理為對輸入圖像中的目標對象進行姿態估計，主要有基于傳統的姿態估計方法與基于深度學習的姿態估計方法。本文聚焦于自底向上的姿態估計算法研究。OpenPose算法[5]是自底向上方法的主要代表之一，該算法包含多個階段，每個階段都通過生成關鍵點位置熱力圖進行定位，并使用關鍵點之間的關系向量圖來對位置點配對分組。該算法為了保持高精度估計，存在運算量過大的缺點，本文將對此進行輕量化設計。此外，本文基于二維空間關鍵點的距離關系設計坐姿評分方法，對評分過低的坐姿予以提醒。

1 輕量級坐姿識別算法

本文利用二維圖像姿態識別和坐姿評分方法進行坐姿識別算法的設計，其中姿態識別算法使用OpenPose模型進行自底向上的關鍵點預測及歸類。

1.1 原生OpenPose模型

OpenPose模型包含多個遞進的推導階段，各個階段的結構相同，前一個階段為后一個階段提供輸入，使得后期推導階段的準確率逐步增加。每個階段都包含關鍵點檢測和局部親和力表示兩個分支，其中局部親和力表示將關鍵點進行關聯分組。不同階段的結構如圖1所示。單個階段的前饋傳播方案為雙分支結構，其中一個分支用于生成二維的身體部位熱力圖，另外一個分支用于生成一組身體部位親和力的二維向量場。此處定義[S]和[L]兩個集合，分別表示兩個分支生成的熱力圖和二維向量場，公式如下：

[S=（S1，S2，…，SJ）]? ⑴

[L=（L1，L2，…，LC）]? ⑵

其中，集合[S]是關鍵點檢測的熱力圖，[J]和[C]分別表示熱力圖和二維向量場個數，[Sj∈Rw×h]，[j∈{1…J}]。OpenPose模型包含多個階段，分別記第一個階段的關鍵點檢測和局部親和力表示分支結果為[S1=ρ1（F）]和[L1=?1（F）]，其中[ρ1]和[?1]分別表示第一階段的推導，[F]為特征圖輸入。從第二個階段開始，階段[t]的分支生成結果為：

[St=ρtF，St-1，Lt-1，? ??t≥2]? ⑶

[Lt=?tF，St-1，Lt-1，? ??t≥2]? ⑷

1.2 改進的OpenPose算法

本文對雙分支結構進行改進，降低參數量和計算量，從而提升模型的推理效率。為了生成關鍵點熱力圖和二維向量場，原有模型使用了兩個預測分支進行推導，造成了特征提取的冗余計算。因此，本文將兩個分支的前半部分進行合并，在單個階段內的前期特征提取過程中使用相同的共享參數。不同階段前饋傳播結構如圖2所示，改進后的階段[t]仍以階段[t-1]的輸出進行深層特征的迭代學習，但每個階段中使用合并分支作為雙分支的前置結構，減少網絡深度及單次卷積的覆蓋范圍，以減少計算量。其中[ρt]和[?t]的計算量與圖1相比大幅減少，部分頭部結構由[ωt]進行權重共享，且在[ωt]中引入空間卷積和殘差模塊提高感受野和特征復用能力。為減少輕量級姿態估計模型與原生模型相比帶來的特征采樣范圍缺失，本文使用空洞卷積代替傳統卷積[6]，以縮小兩者特征信息利用范圍之間的差異。該類卷積用擴張率來表示增加孔洞多寡，過程可以表示為：

[y[i]=k=1Kxi+r×k×w[k]]? ⑸

其中，[y[i]]表示位置[i]的特征輸出，擴張率為[r]，[w[k]]表示濾波器，[K]為濾波器尺寸，[x[i]]為原始輸入。修改后的第一階段的關鍵點熱力圖和局部親和力表示分支結果分別為[S1=ρ1（ω1（F））]和[L1=ρ1（ω1（F））]，其中[ω1]表示主分支的共享參數過程。后續階段[t]（[t≥2]）的特征提取過程為：

[St=ρtωt（F，St-1，Lt-1），? ??t≥2]? ⑹

[Lt=?tωt（F，St-1，Lt-1），? ??t≥2]? ⑺

其中，[ωt]表示后續階段[t]（[t≥2]）主分支的共享參數過程。為了將最大限度地計算非局部特征，本文在主分支使用多個連續空洞卷積擴大感受野，將連續疊加后的特征提取范圍與原始輸入的分辨率保持一致，從而將全局信息作為后續細化分支的參考。雖然空洞卷積能夠大幅提高感受野，但長距離間隔采樣的做法在移動滑動窗口的過程中會漏掉某些關鍵點，造成特征信息參考的缺失。因此本文將對關鍵點檢測分支和二維向量場分支提供了殘差模塊[7]，該計算過程可表示為：

[y=Fx，Wi+x]? ⑻

其中，函數[Fx，Wi]表示要學習的殘差映射，[y]和[x]分別表示特征輸出和輸入。

1.3 關鍵點注意力模塊

對于關鍵點檢測分支的監督條件，需要將標注關鍵點進行二維高斯建模生成置信度圖，每個置信度圖代表某個特定身體部位的像素位置。若圖像中出現多個個體，則對于個體[k]的置信度圖標簽，記其關鍵點[j]的置信度圖為[S*j，k]，則置信度圖上的任一位置p的值表示為：

[S*j，k（p）=exp-||p-xj，k||22σ2]? ⑼

其中，[xj，k∈R2]表示身體部位的標簽位置，[σ]用于控制高斯建模的峰值。模型要預測身體部位的置信度標簽是多個個體集合的最大值，如下式所示。

[S*j（p）=maxkS*j，k（p）]? ⑽

對于多峰的高斯混合模型，[S*j（p）]取每個峰的最大值而非平均值，以此保留顯著性。本文關注于單人坐姿判斷，上下肢之間對應的關鍵點應有更強的特征關聯。因此本文設計了關鍵點注意力模塊以提取非局部特征，并融合到關鍵點分支[St（t≥1）]的末端輸出，對手臂、手腕、眼睛、肩膀等部位的權重予以增強。上半身關鍵點的區分依賴于下半身關鍵點的空間信息，例如左手臂與左腿在同一側，眼睛通常位于左右身體兩側的中間。關鍵點注意力模塊如圖3所示，本文通過卷積層生成雙通道特征圖，并進行寬、高兩個維度的排序，得到關鍵點選取坐標。圖中[g1]和[g2]表示按下標進行特征點索引分配的函數，綠色特征圖為單通道特征，通過排序算法輸入歸一化后的特征圖以獲得不同維度的索引。關鍵點注意力模塊的關鍵在于位置下標信息的學習，該過程表示為：

[y[i]=g2（h2，g1（h1，x[i]））]? ⑾

其中，[h1]和[h2]分別表示排序后的信息下標，[g1]和[g2]表示兩個維度上的索引分配函數。由于第二個維度的信息分配是在第一個維度的特征點移動結果上進行，因此每個特征點都可以移動到任意區域。通過信息下標學習，原有位置上的特征點可以與卷積學習生成的其他特征點進行關聯，從而獲得空間上的注意力信息。

在模型推理過程中，關鍵點檢測分支使用非極大值抑制生成多個候選部位。每個階段的關鍵點檢測分支都使用L2范式度量預測值與標簽值之間的差異，并進行反向傳播，如下式所示。其中[W]是一個二進制掩碼，且關鍵點部位的標簽缺失時有[Wp=0]，避免預測過程中對正向的預測做出錯誤懲罰。

[ftS=j=1JpWp·||Stj（p）-S*j（p）||22]? ⑿

2 評價規則

本文根據同一個體不同關鍵點的二維位置，從單側距離評價及雙側對稱損失的角度出發，對坐姿評分規則進行設計。分別記[El]、[Wr]、[S]和[Ey]為手肘、手腕、肩膀和眼睛關鍵點位置，設關鍵點位置集合[P={El，Wr，S，Ey}]，對[|El-Wr|]以及未檢測出的關鍵點進行懲罰，對[|Wr-S|]、[|El-S|]、[|Ey-S|]給予獎勵，將各個部位關鍵點的水平高度對齊，這一過程可表示為：

[gPH=β1gdstPH-β2i=1Igper（Pi）]? ⒀

其中，[H={L，R}]表示為身體對側，總評分為兩側分數相加，[β1]和[β2]為可調節系數，[I]為關鍵點個數。[gdst（PH）]表示身體部位的獎勵及懲罰項，表示為：

[gdstPH=α1（||WrH-SH||2+ElH-SH2]

[+EyH-SH2）-α2||ElH-WrH||2]? ⒁

其中，[α1]和[α2]是調節系數。[gper（Pi）]表示為對齊懲罰和關鍵點缺失懲罰，如下式所示，其中[γ]表示調節參數。當且僅當關鍵點缺失的時候，有[Wp=0]。

[gperPi=Wp·Pi+γ||PRi-PLi||2]? ⒂

3 實驗分析

3.1 MSCOCO數據集上的性能對比

為了驗證基于關鍵點注意力的輕量級坐姿識別算法的有效性，本文在MSCOCO數據集上進行對比實驗，將所提算法與ArtTrack[8]、原生OpenPose模型[5]在準確率和耗時上進行對比。本文使用的CPU為Intel i7-9700K，GPU型號為NVIDIA GeForce RTX 2080 Ti。性能對比結果如表1所示。在計算量（Params）和推理速度（FPS）上相比，本文算法與ArtTrack[8]及原生OpenPose模型[5]具有明顯優勢。而在準確率上，本文算法合并分支的做法雖然減少了對圖像特征細節的提取能力，但借助于空洞卷積的感受野提升以及殘差結構的特征復用，姿態估計的精度仍維持在高水準。

3.2 本文算法的消融實驗對比

為了驗證空洞卷積及殘差注意力能夠在增加感受野的同時引入低層特征信息，本文設計了相應的消融實驗，結果如表2所示。其中實驗組1僅使用合并分支結構而未引入額外的注意力方法。組2和組3的結果優于組1，說明額外方法可以提升特征提取能力，將更多的特征納入考慮范疇。組2的結果略優于組3，說明空洞卷積感受野的提升有利于更大范圍的信息采樣，長距離特征可以使網路考慮當前維度的不同信息。組4優于組2和組3，說明殘差注意力能夠與空洞卷積組合，一定程度上消除間隔采樣導致的部分信息缺失，提高整體準確率。

3.3 坐姿評價可視化實驗

本文選取了托腮、身體前傾、側身、雙手離開桌面等多個不同坐姿圖像進行評分測試，以此驗證評價規則的有效性。實驗結果如圖4所示。圖（a）和圖（b）等正確坐姿獲得了較高的評分，說明本文所提評價規則能夠對正確姿態做出正面評價。圖（c）、圖（d）和圖（e）亦獲得了不錯的評分，說明評價規則對于青少年學習過程中可能出現的撓頭思考、適當前傾等行為具備一定的兼容性。此外，評價規則對于圖（f）、圖（g）和圖（h）等包含駝背、過度前傾、向前側傾等不良坐姿給出了較低的評分，驗證了該規則對負樣本評價的有效性。

4 結束語

針對青少年不良坐姿問題，本文提出了基于關鍵點注意力的輕量級坐姿識別算法。該算法通過合并關鍵點提取分支降低了推理耗時，同時引入空洞卷積提高感受野，最大限度地計算非局部特征，并利用殘差結構進行特征復用。此外，本文在關鍵點分支中設計了卷積層生成關鍵點的注意力模塊，讓網絡關注于特定部位。最后，本文在姿態估計結果的基礎上提出了一種坐姿評價規則。實驗結果表明，本文所提算法及評價規則能夠高效地對提取圖像特征及姿態估計，對不同坐姿的評分結果也驗證了所提規則的有效性。

參考文獻（References）：

[1] 陳廣智.要重視體育在青少年發育時期的重要作用[J].內蒙古科技與經濟，2002（9）：136

[2] 吳沛雯，張暢.可糾正青少年坐姿的平衡椅設計研究[J].家具，2018，39（4）：58-61

[3] 姚俊豪.基于薄膜壓力傳感器組的人體坐姿識別方法研究[D].碩士，沈陽大學，2021

[4] 曾星.基于深度圖像的坐姿識別技術及應用研究[D].碩士，國防科技大學，2017

[5] Qiao S， Wang Y， Li J. Real-time human gesture gradingbased on OpenPose[C]//2017 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）.IEEE，2017：1-6

[6] Yu F， Koltun V. Multi-scale context aggregation by dilatedconvolutions[J]. arXiv preprint arXiv：1511.07122，2015

[7] He K， Zhang X， Ren S， et al. Deep residual learning forimage recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：770-778

[8] Insafutdinov E， Andriluka M， Pishchulin L， et al. Arttrack：Articulated multi-person tracking in the wild[C]//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：6457-6465