基于全局上下文的特定舞蹈動作識別方法研究

畢雪超

摘要：為了提升機器視覺中特定舞蹈動作識別的性能，設計了基于全局上下文的特定舞蹈動作識別方法。該方法基于Hourglass結構，通過連接高低分辨率的特征圖，將具備全局信息的深層特征圖上采樣與淺層特征融合，使得每一個階段的高分辨率特征圖均具有低分辨率的特征圖表示，從而得到信息更豐富的高分辨率特征圖表示，最終回歸人體姿態熱力圖。在Balletto舞蹈視頻數據庫中的測試結果表明，相比基于CPN和基于Hourglass的算法，所提算法的AP值提高2.4%，AR提升了1.6%。

關鍵詞：Hourglass;殘差模塊;向上連接;全局上下文信息;多尺度特征融合

中圖分類號：TP391.9

文獻標志碼：A

ASpecificDanceActionRecognitionMethodBasedonGlobalContext

BIXuechao

（YouthLeagueCommittee，XianVocationalandTechnicalCollegeof

AeronauticsandAstronautics，Xian710089，China）

Abstract：Toimprovetheperformanceofspecificdanceactionrecognitioninmachinevision，aspecificdanceactionrecognitionmethodbasedonglobalcontextisdesigned.ThismethodisbasedonHourglassstructure.Byconnectingthehighresolutionandlowresolutionfeaturemaps，thedeepfeaturemapwithglobalinformationissampledandfusedwiththeshallowfeaturemap，sothatthehighresolutionfeaturemapofeachstagehasthelowresolutionfeaturemaprepresentation，soastoobtainthehighresolutionfeaturemaprepresentationwithmoreinformation，andfinallyreturntothehumanposturethermalmap.ThetestresultsinBallettodatasetshowthatcomparedwiththealgorithmsbasedonCPNorHourglass，theAPscoreandARscoreoftheproposedalgorithmareincreasedby2.4%and1.6%，respectively.

Keywords：Hourglass;residualmodule;upwardconnection;globalcontextinformation;multiscalefeaturefusion

0引言

特定舞蹈動作識別是人體姿態估計技術的一個重要應用領域[13]，通過舞蹈動作識別技術可以幫助舞蹈演員糾正錯誤姿勢，有助于智能化舞蹈輔助訓練[4]。PfisterT等人[5]將人體姿態估計視為檢測問題，通過回歸人體姿態關鍵點的熱力圖來進行人體姿態估計。之后，采用人體各部件響應圖來表達各部件之間空間約束的人體姿態估計方法被提出[6]。NewellA等人[7]提出了基于Hourglass的人體姿態估計算法，該算法可以獲取多尺度特征同時具有更加簡潔的結構。Openpose[8]實時檢測多人2D姿態方法的主要原理是通過部分親和域去學習將身體部位和對應個體關聯。為了提升算法對于復雜關鍵點的檢測性能，文獻[9]采用一個全局網絡檢測簡單關鍵點，然后通過RefineNet檢測復雜關鍵點進行姿態估計，這種網絡結構被稱為CPN。本文基于Hourglass結構[10]，設計了基于全局上下文信息的舞蹈動作識別算法，用于學習特定的復雜舞蹈動作識別。……