基于深度殘差網絡的人體行為識別算法研究

馮 宇，席志紅

(哈爾濱工程大學 信息與通信工程學院，哈爾濱 150001)

0 引言

近年來隨著對于計算機視覺領域研究的不斷深入，越來越多的技術成果在不斷滿足人們生產生活的需求，人體行為識別技術也隨之受到越來越多的關注，應用場景也變得越來越豐富，例如虛擬現實技術、視頻監控領域和醫療健康等方面，目前研究人體行為識別技術的方法主要有基于深度學習的方法和傳統的基于手工提取特征的方法。

基于手工提取特征的方法實際上就是對特定的視頻圖像采用傳統的機器學習算法先提取其中的人體行為目標局部或者全局特征，然后對提取的特征采取編碼以及規范化的形式，最后通過訓練構建好的模型來得到預測分類結果。目前在傳統方法中采用局部特征提取的方法應用較為廣泛，其中Laptev等[1]通過將Harris特征角點檢測方法擴展到三維時空中，提出了時空興趣點(STIPs，spatio- temporal interest points)。之后通過不斷對時空特征的研究發現可以將STIPs與方向梯度直方圖(HOG，histogram of oriented gradient)[2]等局部描述子結合，采用聚類降維以及詞袋模型和分類器相結合的方法進行姿態識別。Richardson等[3]提出了馬爾科夫邏輯網絡(Markov Logic Networks)，該網絡對動作之間的時空關系進行描述，改善了復雜人體姿態情況的識別效果。Wang等采用光流軌跡對視頻幀間的時序關系進行模仿，提出密集軌跡(DT，dense trajectory)算法[4]用于人體行為識別，為去除由于相機運動而對特征提取造成的影響，則對光流圖像進行優化，進一步提出改進的密集軌跡(iDT，improved dense trajectory)算法[5]用于人體行為識別。雖然基于手工提取特征的方法相對較為成功，但是該類方法是針對固定視頻設計提取特征，無法滿足輸入視頻的通用性，并且計算速度非常慢，很難滿足現實世界中實時性的要求。

基于深度學習的行為識別方法主要是先通過設計好的神經網絡對輸入視頻進行自動行為特征提取并不斷訓練模型，之后將訓練好的模型用于分類識別。目前基于深度學習的行為識別算法主要通過三維卷積神經網絡、雙流網絡、循環卷積神經網絡和注意力網絡進行構建。早在2013年Ji等[6]通過詳細的實驗提出了使用三維卷積神經網絡提取視頻的時空特征來對人體行為進行有效識別。隨后Simonyan等[7]利用視頻的圖像幀和光流幀分別輸入空間流網絡和時間流網絡來提取時空信息，提出用于行為識別的雙流卷積架構。Tran等[8]通過系統的實驗研究找到了最適合行為識別的三維卷積核尺寸，并提出C3D網絡用于直接提取時空特征進行行為識別。Donahue等[9]利用循環卷積神經網絡(RNN)能夠針對時間序列很好建模的優勢，提出長時循環卷積網絡(LRCNN)用于視頻的行為識別。Li等[10]提出帶有視覺注意力機制的深度視覺注意模型用于行為識別。Liu等[11]通過將視頻幀內空間信息的稀疏性引入到空間維度上，提出一種輕量級的組幀網絡(GFNet)用于行為識別。Yang等[12]提出一種即插即用的特征級時間金字塔網絡(TPN)用于行為識別。

雖然基于深度學習的人體行為識別方法較手工提取特征的方法快捷、方便，并且時效性好，但是在實際應用中也很容易受到光線、背景雜亂、攝像視角等復雜環境因素影響，所以還需要在模型抗干擾方面繼續優化深度神經網絡模型。

本文基于C3D網絡[8]，提出一種基于C3D注意力殘差網絡模型用于人體行為識別。本文算法在C3D原始網絡基礎上通過三維卷積核的合并與拆分以及全局平均池化來大量減少網絡參數，達到壓縮網絡的效果，并且使用軟池化(SoftPool)代替原有的最大池化(Maxpool)操作，以最大程度減小池化的信息損失，之后采用分組歸一化(GN，group normalization)對網絡進行正則化處理，為進一步提取深度特征采用全預激活形式的殘差結構來增加三維卷積層，最后為能更好的關注視頻的關鍵幀，在網絡中引入時空通道注意力模型來提高網絡模型的識別能力和抗干擾性能。

1 C3D神經網絡

在本文中提出一種基于C3D注意力殘差網絡的行為識別模型來改善原始C3D網絡的不足。將在本節中簡要介紹原始C3D網絡，并在下一節介紹基于殘差網絡和注意力網絡的人體行為識別算法。

C3D神經網絡是非常經典的通過三維卷積直接提取時空特征并用于視頻人體行為識別的卷積神經網絡。該三維卷積網絡證明了比二維卷積網絡更適合時空特征的學習，不需要復雜的提取視頻光流幀圖象。該網絡還通過采用多種卷積核尺寸大小進行實驗，驗證了采用大小為(3×3×3)的卷積核性能最好。C3D網絡是一個總共具有10層的深度卷積神經網絡，其中具有8層的三維卷積層，2層的全連接層。該網絡是以圖像尺寸調整為(112×112)的3通道16幀視頻圖像作為輸入，并且網絡中為了能夠更好的提取特征，則將特征提取與池化功能分開，即網絡中所有三維卷積層只進行提取時空特征，使得經過卷積層的輸入與輸出尺寸相同，池化功能則全部采用三維最大池化層來完成。為了使得時間信息不被過早地丟失，因此僅第1個三維池化內核的尺寸為(1×2×2)，而后續的三維池化內核均為(2×2×2)。最后將提取到的特征輸入到后面的2層全連接層中進行特征分類，并最終通過Softmax分類器將視頻中各個人體動作類別的分類概率進行輸出。C3D神經網絡的整體結構如圖1所示。

圖1 C3D網絡結構

2 人體行為識別算法

2.1 基于殘差網絡的人體行為識別算法

殘差網絡最早由He等[13]為解決更深層網絡更難訓練的問題而提出的一種能夠優化網絡訓練的結構，其中的跳轉連接也正是該結構能夠優化訓練網絡的關鍵。由于殘差網絡的誕生，避免了為提取深度特征而增加卷積層所引起的網絡退化問題，同時也進一步發展了人體行為識別領域。Tran等[14]通過將三維卷積核應用到二維殘差網絡中提出了新型的Res3D網絡架構。Qiu等[15]采用偽三維塊(P3D)替代原始二維殘差網絡的二維殘差單元，提出一種偽三維殘差網絡(P3D ResNet)。Tran等[16]通過將時空卷積殘差塊分解為空間卷積塊和時間卷積塊，提出一種殘差塊為(2+1)D卷積塊的新型殘差網絡。

2.2 基于注意力的人體行為識別算法

卷積神經網絡在提取特征時會將視頻中的每一幀圖像和圖像中的每一個像素都視為同等重要，這將導致計算資源的浪費以及針對特定任務的識別性能下降等問題。Sharma等[17]通過利用在時間和空間都具有深層序列的長短時記憶(LSTM)單元構建深層遞歸神經網絡(RNNs)來提取時空特征，并結合帶有雙重隨機懲罰項和注意力正則化項的交叉熵損失函數，提出一種基于軟注意力的視頻人體行為識別模型。Liu等[18]采用帶有LSTM單元的遞歸神經網絡(RNNs)來不斷地調整特征注意力權值，從而提出時間注意力模型，該模型能夠對輸入的特征序列進行時域掃描，然后再利用RNN的不斷迭代來判別當前幀的重要性，并對所關注的特征進行加權，以此通過選擇性地關注視頻幀進行高效人體行為識別。Dai等[19]通過構建時域特征流和時空特征流的LSTM雙流網絡來進行人體行為識別，其中時域特征流是將光流圖像輸入到時間注意力模塊中來自動確定每個光流圖像中的主要區域，并將這些關鍵信息圖像的特征表示進行聚合，從而以特征向量形式來呈現光流圖像的主要特征，時空特征流則是在池化層之后建立LSTM網絡，用以學習空間深度特征之間內在的時域關系，并引入時空注意力模塊來對不同層次的深層特征賦予不同程度的權重。Zhao等[20]采用基于光流分析的自適應關鍵幀提取策略將視頻中的關鍵幀預先提取，之后將提取好的視頻關鍵幀作為輸入序列，利用C3D神經網絡對該關鍵幀序列進行特征提取，最后將提取好的視頻關鍵幀特征輸入到訓練好的支持向量機中進行人體行為識別。

3 實現方法

3.1 非對稱式三維卷積層

由于原始C3D卷積網絡參數量較大，所以為減少網絡參數量并同時增加特征提取能力，使整體網絡結構輕量化，則本文采用卷積核的合并與拆分操作實現能夠大量減少網絡參數以及加強特征提取效果的非對稱式三維卷積層，并且將全連接層使用全局平均池化(GAP，Global Average Pooling)操作進行替換。Inception- v3網絡[21]中提到可以將任何一個(n×n)卷積采用(1×n)和(n×1)卷積進行替代，n越大這種非對稱分解方式越能體現資源的節省，并且還提到本質上可以采用兩層(3×3)卷積替換一層(5×5)卷積。

基于以上思想將其擴展到時空領域，本文先增加三維卷積層(3×3×3)，使原始C3D網絡除開始的第一個三維卷積層外每一個卷積層部分都是3個具有卷積核為(3×3×3)的三維卷積層。之后將這3個卷積層合并成卷積核為(3×7×7)的一個三維卷積層。這樣變換可以比原始C3D網絡具有更大的空間感受野，增強了特征提取能力，并且使得帶有卷積核為(3×7×7)的一個三維卷積層就與卷積核為(3×3×3)的3個三維卷積層在空間域上具有相同的感受野，同時還起到了大量減少網絡參數以及計算量的效果，其在空間域上的合并等效原理如圖2所示。為進一步減少網絡參數、增加空間特征的多樣性以及加速網絡訓練，將帶有卷積核為(3×7×7)的三維卷積層進行非對稱式拆分成卷積核為(3×1×7)和(3×7×1)的兩個三維卷積層，即得到兩個非對稱式三維卷積層，非對稱式拆分原理如圖3所示。

圖2 7×7合并等效原理圖

圖3 7×7非對稱式拆分原理圖

全連接層往往是網絡參數量最大的層，并且往往因巨大的網絡參數量非常容易引起網絡的過擬合現象，所以一種可以將全連接層替代的全局平均池化[22]方法被提出來，如圖4所示。由于全局平均池化操作是對輸入特征直接池化而不包含神經元，所以可以節省大量網絡參數。由全局平均池化操作輸出的圖像尺寸為(1×1×1)，所以可以避免由于輸入網絡原始圖像尺寸的不同而后期造成網絡維度不匹配的問題。

圖4 全局平均池化示意圖

3.2 引入全預激活式殘差結構

獲取更深層次的網絡特征往往需要加深網絡，但網絡層數的增加很容易造成過擬合和網絡退化現象，所以為避免以上問題本文采用了殘差式網絡結構。

本文沒有采用傳統形式的殘差網絡結構[13]，而是采用全預激活式殘差網絡結構[23]并將其擴展到時空領域。因為原始形式的殘差連接在網絡干路上存在激活函數，結構如圖5所示，其只是在殘差塊中形成恒等映射，而沒有在由殘差塊組成的網絡中形成真正的恒等映射，所以會阻礙信息的傳遞，可能還會導致網絡最終達不到最優化結果。

圖5 原始殘差結構圖

全預激活式殘差連接由正則化和激活函數組成信息進入卷積權重層前的預激活操作，結構如圖6所示。這種預激活操作不僅可以優化網絡最終結果，還可以對網絡模型起到正則化效果。全預激活式殘差網絡結構在整個網絡中可以形成一個直接通路，信息可以在任意兩個殘差塊之間直接傳遞，這樣更有利于信息的流通和加速網絡訓練，并且這種網絡結構還可以對所有將要進入卷積權重層的輸入進行正則化，有利于改善模型最終識別結果。

圖6 全預激活式殘差結構圖

3.3 軟池化替代最大池化操作

在卷積神經網絡中為了增加感受野和減少卷積過程中的計算需求，所以采用池化操作減小激活特征圖的尺寸。以往的網絡模型常采用最大池化或平均池化，但是最大池化是對池化區域內取最大激活值，這樣非常容易造成大量的信息損失，屬于一種暴力池化，平均池化則是對池化區域的所有激活值取平均，這樣會降低池化區域中所有激活值對特征圖的影響，屬于一種抑制性池化。為了能夠平衡最大池化和平均池化的消極影響，同時利用兩者的池化優勢，所以本文網絡采用介于兩者之間的軟池化(SoftPool)[24]來替代原始C3D網絡中的最大池化。

SoftPool是一種快速有效的基于指數加權和的池化方法，該方法首先通過基于Softmax指數歸一化的方式得到應用于激活特征圖的每個激活值的權重，之后通過對池化核區域內的每個激活值進行權重加權求和來得到最終的SoftPool輸出。該權重定義如式(1)所示：

(1)

式中,R為池化核區域，ai和aj表示為激活特征圖池化核內的激活值，Wi為分配給池化核內每個激活值的權重，i和j表示為池化核區域的索引號。最終的SoftPool輸出如式(2)所示：

(2)

3.4 分組歸一化

為改善網絡訓練過程中輸入數據的分布情況，使得各三維卷積層接收的輸入數據分布一致以及減輕過擬合現象發生，本文引入分組歸一化(GN，group normalization)[25]對網絡進行正則化操作。

目前大多數網絡使用的正則化操作有批歸一化(BN,batch normalization)[26]、Dropout[27]等。但是Dropout正則化大多數用于全連接層后面，本網絡由于去掉了全連接層所以沒有采用Dropout正則化。BN正則化通過在Batch內計算輸入數據的均值和方差進行歸一化特征操作，雖然該操作可以起到很好的網絡正則化效果，并且能夠簡化深層網絡的優化，但是該方法卻嚴重依賴Batch的大小，Batch大小的不同不僅會嚴重影響最終分類識別的結果，還會對內存的占用產生巨大影響，并且會導致訓練好的網絡模型難以遷移到小型設備中。

基于以上，本文采用GN操作對各三維卷積層進行正則化，GN正則化方法是通過將通道分組，然后在分好的組內計算用于歸一化特征的均值和方差，原理如圖7所示。假設要歸一化的輸入數據為x=[x1,x2,…,xd]，那么其中的第k個輸入xk的分組歸一化結果yk如式(3)所示：

圖7 GN原理圖

(3)

式中,μ和δ2分別是輸入x的均值和方差，ε是一個防止分母為零的小量，γ和β是GN在分組中每個通道的可學習參數用以增強網絡表達能力。其中用來計算x的均值和方差的像素集合Si在GN中定義如式(4)所示：

(4)

3.5 時空通道注意力模塊

人體行為識別需要將視頻片段首先處理成時間序列的視頻幀，然后再送入網絡進行分類識別，然而一個視頻片段中能夠精準識別動作的關鍵幀往往包含在大量冗余幀中，所以網絡中需要能夠產生關鍵幀信息的注意力模塊。

本文采用基于卷積塊注意力模型(CBAM)[28]改進的改進型卷積塊注意力模型(iCBAM)[29]來產生用于精準分類識別的注意力特征圖。CBAM能夠沿著通道和空間兩個不同維度產生最終的注意力特征圖，而iCBAM在其基礎上加入了時間維度，將其擴展到了時空領域，成為能夠對通道、空間、時間3個方面進行充分關注的注意力模塊。對于人體行為識別任務來說通道注意力集中在對給定的輸入圖像需要關注的是“什么”，空間注意力則集中在“哪里”是信息豐富的部分，時間注意力則是找到“哪些”是關鍵幀。iCBAM會依次沿著通道、空間、時間3個維度來產生注意力特征圖，并在這個過程中會將通過每一個維度而輸出的特征與該維度的輸入特征相乘來進行自適應的特征細化以產生最終的注意力特征圖，原理如圖8所示。

圖8 iCBAM結構圖

首先獲得一個經過三維卷積提取的特征圖為F∈RC×M×H×W作為iCBAM的輸入，式中R為網絡中的時空域，C為網絡通道數，M為視頻幀數，H為視頻幀圖象的高度，W為視頻幀圖像的寬度。該特征圖先通過通道注意力模塊，獲得1D通道注意力特征圖即TC(F)，其中TC∈RC×1×1×1為通道注意力模塊，之后與原始特征圖F逐元素相乘得到經過自適應特征細化的通道注意力特征圖F′如式(5)所示：

F′=TC(F)?F

(5)

式中,?為逐元素相乘。該新得到的特征圖再通過空間注意力模塊，獲得2D空間注意力特征圖即TS(F′)，其中TS∈R1×1×H×W為空間注意力模塊，隨后再與特征圖F′逐元素相乘得到新的自適應特征細化后的特征圖F″如式(6)所示：

F″=TS(F′)?F′

(6)

經過特征細化后的特征圖為進一步從視頻幀中找出關鍵幀，所以再通過一個時間注意力模塊即TM∈R1×M×1×1來區別出關鍵視頻幀，最終原始特征圖F經過自適應特征細化后得到的時空通道注意力特征圖F?如式(7)所示：

F?=TM(F″)?F″

(7)

基于C3D注意力殘差網絡的人體行為識別算法整體結構如圖9所示。

圖9 C3D注意力殘差網絡結構圖

4 實驗

4.1 實驗環境和相關設置

本文實驗采用的硬件設備配置為Inter Core i7- 8700 CPU，3.2 GHz，16 GB RAM，1T SSD，Nvidia Tesla T4(16 GB) GPU，平臺操作系統為Ubuntu16.04，編程語言為Python3.7，深度學習框架采用PyTorch1.6.0版本。

網絡中的迭代周期(Epoch)設為50次，初始學習率設為0.000 1，并且每經過10次迭代周期后將以0.1進行衰減，訓練采用的批量大小為8，分組歸一化中采用的分組數為32，實驗采用GELU激活函數[30]，并且使用Adam優化算法來優化網絡。

4.2 視頻行為識別數據集和評價標準

本文使用人體行為識別公共基準數據集HMDB51和自建的43類別體育運動數據集進行實驗。HMDB51數據集共有6 766段視頻剪輯，包含51個人體行為類別，并且每個類別的視頻數量都不少于101個，幀率為30 fps，視頻的分辨率為320×240，該數據集動作主要可分為5類，分別為常見的單獨面部動作如微笑等、操縱物體并伴有面部動作如喝水等、一般身體動作如跳水等、與物體互動的身體動作如騎車等、人際互動的身體動作如握手等。該數據集中的視頻大部分涉及攝像機的抖動、遮擋、不同拍攝角度以及低質量幀的問題，所以該視頻數據集在人體行為識別任務中具有一定挑戰性。由于HMDB51數據集廣泛包含人體的各種運動，所以無法展現本文網絡結構在具體領域的應用性，為了體現本文提出的算法具有一定的應用性，則對能夠產生復雜人體行為的體育運動進行識別，但是沒有現成的類別數目較大的體育運動數據集，所以本文從UCF101數據集[31]和kinetic400數據集[32]中選出在比賽中常見的體育運動進行混合，則自建了具有43個類別的體育運動數據集。該數據集一共有5 302個視頻片段，每個類別至少包含108個剪輯片段，視頻中的分辨率最小為140×256，幀率最小為25 fps，數據集內存大小為3.61 GB。該數據集主要涉及體操、球類、游泳、跳水、田徑、滑冰、滑雪、舉重等8類體育運動。

為評估基于C3D注意力殘差網絡模型的性能，本文采用模型行為識別準確率ACC(Accuracy)、模型ROC(Receiver Operating Characteristic)曲線下的面積AUC(Area Under Curve)以及對模型PR(Precision Recall)曲線下的面積AP(Average Precision)值取類別總數平均得到的平均精度(mAP,mean Average Precision)在HMDB51數據集和體育運動數據集上對模型進行性能評價，并且為衡量模型輕量化，則采用模型參數量(Params)和浮點運算次數(FLOPs)來分別對模型的空間和時間復雜度進行評價。其中AUC的值能夠量化地反映基于ROC曲線衡量出的模型性能，通常AUC取值區間為[0.5,1]，并且取值越大模型的分類效果越好，同樣每個類別PR曲線下的面積AP，則反映了當前模型對該類別的分類性能，而mAP值則是對總體類別的AP取類別總數的平均來量化當前數據集下模型總體分類的性能，mAP取值為[0,1]，取值越大模型分類效果越好。由于ROC曲線不易受到數據樣本分布的影響，而當數據樣本分布相差很大時PR曲線更能反映分類器性能，所以為能更好的衡量模型性能，本文同時采用這兩種指標對模型評價。

4.3 數據預處理

在對視頻中的人體行為進行識別時需要先對視頻數據進行預處理操作。首先將視頻數據集按照6:2:2的比例形式分為訓練集、驗證集和測試集。之后按照原始C3D網絡中的視頻預處理方式將其以每隔4幀截取一幀的方式，使每個視頻片段變成至少為16幀的連續視頻幀圖像，若視頻幀數較少而無法滿足間隔4幀的截取方式，則自動降低采樣間隔以滿足要求。得到視頻幀后將視頻幀圖像尺寸統一調整為171×128，再對調整后的視頻幀采用隨機裁剪為112×112、以概率為0.5的水平翻轉和去均值等數據增強操作，則最終網絡的輸入尺寸為(3×16×112×112)。

5 實驗結果與分析

5.1 HMDB51實驗結果分析

本實驗由于受到計算機顯存限制，無法使用大型數據集進行預訓練，所以為進行公平比較，實驗中所有網絡模型均在相同實驗設備中從頭開始訓練，均沒有使用任何經過大數據集訓練后的預訓練模型。

本文算法通過在HMDB51數據集上進行訓練，總訓練時長約為20 h，本文算法與目前流行人體行為識別算法C3D[8]和Res3D[14]在HMDB51上進行性能比較，3種模型的訓練和測試過程如圖10所示。

圖10 HMDB51準確率曲線

3種模型在HMDB51數據集上的測試結果以及各種性能指標結果如表1所示。

表1 HMDB51數據集測試結果對比

由表1中的實驗結果可知在沒有經過任何預訓練的情況下，本文算法在HMDB51上的識別準確率為41.04%，該結果比Res3D高了4.92%，而且比C3D的結果高了9.88%，所以可知本文算法的識別效果較好，同時說明了該算法若要和Res3D以及C3D在相同大型數據集下進行預訓練，則本文算法在HMDB51上的實驗結果仍然會比這兩種算法的實驗結果好很多，并且會進一步提高該數據集上的識別率，所以本文從頭訓練模型的實驗結果是有意義的。為進一步比較模型在該數據集下的識別性能，則考慮表1中模型的AUC值和mAP值，由于3個模型的AUC值相差不大，無法準確比較各模型性能，所以可由mAP值進行判斷，由表1中模型的AP值大小可知，本文算法的mAP值為0.36，比其余兩個模型mAP值大，所以可知本文算法的模型性能好于其余兩種模型算法。由表1中各模型參數和FLOPs可知，本文算法的參數量為47.95 M，則本文算法比C3D模型的參數量降低了38.68%，然而FLOPs較其余模型卻有所增加，那是因為模型逐漸復雜化而造成的消極影響，但是綜合考慮本文算法實現了模型輕量化，并進一步改善了模型識別效果。

5.2 體育運動數據集實驗結果分析

本文為進一步展現所提出的網絡結構具有一定的應用性，所以將其應用到具有43個類別的體育運動數據集來展示本文算法在體育運動識別方面的性能，并在該數據集中與C3D和Res3D進行比較，本文算法總訓練時長約為18.5 h，3種模型的訓練和測試過程如圖11所示。

圖11 體育運動準確率曲線

3種模型在體育運動數據集上的測試結果以及各種性能指標結果如表2所示。

表2 體育運動數據集測試結果對比

由表2的實驗結果可知在沒有經過任何預訓練的情況下，將本文算法應用到體育運動數據集中的識別結果為73.05%，該結果比Res3D高了11.14%，而且比C3D的結果高了21.61%，所以可知本文算法在體育運動識別方面具有較好的識別性能。根據表2中模型性能的評價指標結果所示，本文算法的AUC值和mAP值分別高達0.97和0.68，所以進一步說明本文網絡結構性能較好，并且在體育運動識別方面具有一定的應用性。

6 結束語

本文針對C3D網絡參數量較大以及缺少關注關鍵幀信息而導致識別效果不理想的問題，提出一種具有應用性的基于改進型C3D的注意力殘差網絡模型用于人體行為識別。在模型中引入非對稱式三維卷積層和全局平均池化對模型進行輕量化，采用全預激活式殘差結構和iCBAM注意力模塊來提高模型的識別能力，并使用GN正則化和SoftPool進一步改善網絡識別性能并加速網絡訓練。本文網絡結構與目前流行算法在HMDB51數據集上進行結果對比，驗證了本文方法的有效性，同時采用自建的43類別體育運動數據集對本文方法在實際中的應用性進行驗證，結果表明本文方法同樣具有良好的應用性。在未來的工作中，可以引入一些傳統的特征提取方法與深度學習相結合來更好的對行為細粒度特征進行提取，以進一步增強模型的人體行為識別性能。