基于時空雙流卷積與LSTM的人體動作識別

毛志強，馬翠紅*，崔金龍，王 毅

?

基于時空雙流卷積與LSTM的人體動作識別

毛志強1，馬翠紅1*，崔金龍2，王 毅1

（1. 華北理工大學 電氣工程學院，河北 唐山 063210；2. 北京交通大學海濱學院，河北 滄州 061100）

針對公共區域等特定場合下人體動作識別準確率不高，時間維度信息不能充分利用等問題，提出了一種基于時空雙流卷積與長短時記憶（LSTM）網絡的人體動作識別模型。該模型首先采用時空雙流卷積神經網絡分別提取動作視頻序列中的時間和空間特征；然后融合雙流卷積結構提取到的全連接層的時空特征；最后將時空融合特征輸入到LSTM網絡遞歸學習時間維度長時運動特征并結合線性SVM分類器實現人體動作的分類與識別。在動作視頻數據集KTH上的實驗結果表明，該模型能夠充分利用時間維度信息，且識別準確率可達97.5%，優于其他行為識別算法。

人體動作識別；時空模型；卷積神經網絡（CNN）；長短時記憶（LSTM）

0 引言

人體動作識別(Human action recognition，HAR)已經成為計算機視覺領域的研究熱點和難點[1-3]。基于視頻的人體動作識別可以看作是隨時間變化的圖片分類問題，因此在圖片識別領域的深度學習方法也被大量應用在視頻序列中人體動作識別的研究中[4]。深度卷積神經網絡(Convolutional Neural Network，CNN)在動作識別領域得到廣泛的應用，Alexnet[5]，GoogLeNet[6]，VGGnet[7]等經典CNN架構不僅在圖像處理任務上取得突破性進展，在視頻處理任務也取得顯著成效[8]。2014年，Karpathy等[9]第一次將深度卷積神經網絡用于視頻中的行為識別，以連續的RGB視頻幀為直接輸入進行識別；2015年，Cheron等[10]利用3D卷積神經網絡提取時間維度信息，是人體行為識別領域經典的模型；Simonyan等[11]構建雙流CNN模型用于行為識別，分別以單幀RGB圖像和堆疊光流圖作為空域網絡和時域網絡的輸入，提取視頻的表觀和運動信息，在一定程度上利用了視頻的時間信息，但是識別準確率并不是很高。Jeff等[12]提出融合卷積層和長時遞歸層的長時遞歸卷積網絡（Long-term Recurrent Convolutional，LRCN），LRCN 利用CNN網絡提取特征，然后送入LSTM網絡獲得識別結果。

基于以上分析，本文結合各個網絡模型優點，構建了一種基于時空雙流卷積網絡與LSTM網絡的人體動作識別模型。該模型針對公共區域等特定場所下的動作識別，首先利用時空雙流卷積網絡提取動作視頻中的外觀特征和動作特征，并融合雙流結構提取的全連接層特征作為長短時記憶（Long Short- Term Memory，LSTM）網絡的輸入；然后遞歸學習時間維度運動信息結合線性SVM，從而實現人體動作識別。

1 模型結構設計

本文提出的Spatiotemporal-LSTM網絡結構如圖1所示。該網絡主要包含四個模塊：時空特征的提取、時空特征融合、基于LSTM網絡遞歸學習長時運動特征、線性SVM實現動作識別。首先，分別訓練兩個2D卷積神經網絡，用來分別提取空間特征和時間特征；然后將時空特征進行融合，作為LSTM網絡結構的輸入特征遞歸學習時間維度長時運動特征；最后利用線性SVM實現人體動作識別。

圖1 Spatiotemporal-LSTM總體結構

1.1 空間流卷積神經網絡

視頻序列中的表觀特征對于某些人體動作識別具有重要的作用，本文通過構建空間流卷積神經網絡來提取表觀特征。空間流卷積神經網絡實質上是一種圖片分類結構，以連續的單個視頻幀作為輸入，提取靜態圖片中外觀信息來完成人體動作表征。本文構建的空間流卷積網絡采用的是牛津大學視覺幾何組（Visual Geometry Group，VGG）開發的VGG-M- 2048模型，如圖2所示。

圖2 空間流卷積神經網絡結構

1.2 時間流卷積神經網絡

本時間流卷積神經網絡結構如圖3所示，同樣采用的是VCC-M-2048模型。與空間流的輸入不同，時間流卷積神經網絡輸入是連續的光流圖。光流圖可以理解為空間運動物體在連續視頻幀之間的像素點運動的“瞬時速度”，能夠更加直觀清晰的表征人體運動信息，有效地提取了視頻序列的時間特征，提高了視頻人體動作的識別準確率。

圖3 時間流卷積神經網絡

對于光流幀的提取采用的是OpenCV視覺庫中提供的稠密光流幀提取方法，分別獲取視頻中水平方向和垂直方向的光流幀，然后將20個光流圖構成一個光流組（flow_x和flow_y）作為時間流卷積神經網絡的輸入。

1.3 時空特征融合

時空網絡的融合在于使用視頻的空間特征與時間特征的關聯性判斷人體的動作。比如對于揮拳和散步兩個動作，空間流卷積神經網絡識別出靜態圖片中手和腳的位置，時間流卷積神經網絡識別出了在一定的空間位置手部和腳部的周期性動作，結合這兩個網絡可以識別出揮拳和散步這兩個動作。

圖4 時空特征融合

相比于卷積層特征，全連接層特征具有更高層次的抽象和更好地語義信息，更適合作為LSTM網絡的輸入，在實驗部分，本文設計了幾種不同的卷積層特征融合和全連接層特征融合方案，證明了空間流卷積神經網絡的full6層和時間流卷積神經網絡的full7層進行特征融合具有更好的識別效果。如圖4所示。

1.4 LSTM網絡

長短時記憶（LSTM）網絡是由遞歸神經網絡（RNN）演變而來，對復雜的時間維度信息更加敏感，能夠有效地解決RNN在訓練過程中出現的梯度爆炸或梯度彌散的問題，從而有利于學習到長時動態信息。其LSTM網絡結構單元如圖5所示。

圖5 LSTM網絡單元

該結構單元在隱層中加入了先驗知識——輸入門、遺忘門、輸出門和輸入調制門，通過以上門結構能夠將各層間信號和某一時刻的輸入信號處理的更加透明。如下式（1）所示：

記憶單元c是LSTM的核心部分，其作用是選擇有用信息去除無用信息，如式（2）所示：

式中c包括兩部分，一部分是由上一時刻記憶單元c1和遺忘門f相乘而得，另一部分由輸入門i和輸入調制門g相乘而得。

The comparative studies were assessed by the Newcastle-Ottawa Quality Assessment Scale (NOS)[21].Twelve of 14 studies had 6 or more star points on the NOS scale.

LSTM的輸出h是由輸出門o控制是否激活記憶單元c。如下式（3）所示：

2 實驗結果與分析

2.1 實驗環境

本文實驗環境選擇深度學習框架Caffe平臺實現，網絡訓練采用小批量隨機梯度下降法。時空雙流卷積神經網絡采用VGG-M-2048模型提取時空特征，以16幀為一組的連續RGB視頻幀為空間流輸入，輸入大小為224*224，時間流卷積神經網絡輸入大小為224*224*2在原光流圖像上隨機位置裁剪的連續光流幀。根據文獻[10]的結論，將光流在時間域上的長度設置為=10效果會更好。在訓練過程中，批次大小設置為96，將權值衰減率設置為0.85，初始學習率為0.01，在第30000次迭代后每20000次迭代學習率縮小為原來的1/10，直至迭代80000次后停止訓練。

本次實驗數據集采用KTH數據集，該數據集包括了4種場景下25個不同行人的6中行為視頻：正常行走（Walk）、慢跑（Jog）、跑（Run）、揮拳（Box）、雙手揮手（Wave）、鼓掌（Clap）。如圖（6）所示。實驗過程中，為了增加識別準確率可信度，本文將KTH數據集隨機劃分成3組，取其3組測試平均準確率作為評估模型效果的指標。

圖6 KTH樣本數據集

2.2 實驗結果分析

通過時空雙流VGG-M-2048模型提取連續RGB視頻幀與連續光流圖的時空特征，對于在不同位置融合時空網絡層特征的識別準確率如表1所示。

表1 時空特征不同融合位置的識別準確率比較（%）

Tab.1 Comparison of recognition accuracy of different fusion locations of space-time features (%)

從表1中可以發現，隨著融合位置層次的加深，識別準確率也在不斷提高，而且全連接層特征融合明顯高于卷積層特征融合，說明全連接層比卷積層具有更好的語義信息。但是當采用空間流的fc7層和時間流的fc6層進行融合時，識別準確率有所下降，而采用空間流的fc6層與時間流的fc7層識別效果是最好的。

表2 本文算法與其他方法識別準確率的比較（%）

Tab.2 Comparison of the accuracy of the algorithm and other methods in this paper (%)

3 結論

本文提出了一種基于時空雙流卷積網絡與LSTM的人體動作識別方法。該方法首先利用時空雙流網絡提取視頻序列中的時空特征，再將全連接層的輸出特征進行融合作為LSTM模型的輸入遞歸學習長時運動特征。在KTH數據集上的結果表明：選擇S-fc6和T-fc7層進行特征融合會有更好的識別效果；LSTM網絡遞歸學習的長時運動特征有利于人體動作識別；本文提出的算法優于其他方法，識別效果更好。

[1] Herath S, Harandi M, Porikli F. Going deeper into action recognition: A survey[J]. Image & Vision Computing, 2017, 60(4): 4-21.

[2] 馬淼, 李貽斌. 基于多級圖像序列和卷積神經網絡的人體行為識別[J]. 吉林大學學報(工), 2017, 47(4): 1244-1252.

[3] 張震, 張雷. 基于CCN的CDN視頻內容分發技術研究[J]. 軟件, 2015, 36(1): 67-71.

[4] 周楓, 薛熒熒, 李千目. 視頻監控與編碼技術的研究綜述[J]. 軟件, 2015, 36(4): 84-92.

[5] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]// International Conference on Neural Information Processing Systems. Curran Associates Inc. 2012: 1097-1105.

[6] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2015: 1-9.

[7] Simonyan K, Zisserman A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J]. Computer Science, 2014.

[8] 張明軍, 俞文靜, 袁志, 等. 視頻中目標檢測算法研究[J]. 軟件, 2016, 37(4): 40-45.

[9] Karpathy A, Toderici G, Shetty S, et al. Large-Scale Video Classification with Convolutional Neural Networks[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014: 1725-1732.

[10] Chéron G, Laptev I, Schmid C. P-CNN: Pose-Based CNN Features for Action Recognition[C]// IEEE International Conference on Computer Vision. IEEE Computer Society, 2015: 3218-3226.

[11] Simonyan K, Zisserman A. Two-stream convolutional networks for action recognition in videos[J]. 2014, 1(4): 568-576.

[12] Donahue J, Hendricks L A, Rohrbach M, et al. Long-term Recurrent Convolutional Networks for Visual Recognition and Description[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(4): 677-691.

Human Action Recognition Model Based on Spatio-temporal Two-stream Convolution and LSTM

MAO Zhi-qiang1, MA Cui-hong1*, CUI Jin-long2, WANG Yi1

(1. College of Electrical Engineering, North China University of Science and Technology, Tangshan 063210, China;2. Beijing Jiaotong University Haibin College, Cangzhou 061100, China)

Aiming at the problem that the accuracy of human action recognition is not high and the time dimension information cannot be fully utilized in specific occasions such as public areas, a human action recognition model based on spatio-temporal two-stream convolution and Long Short-Term Memory (LSTM) network is proposed. The model first uses spatio-temporal two-stream convolutional neural networks to extract temporal and spatial features in action video sequences. Then merging the spatiotemporal features of the fully connected layer extracted by the two stream convolution structure; Finally, the spatio-temporal fusion feature is input into the recursive learning time dimension long-term motion feature of the LSTM network and combined with the linear SVM classifier to realize the classification and recognition of human motion. The experimental results on the action video dataset KTH show that the model can make full use of the time dimension information, and the recognition accuracy is up to 97.5%, which is superior to other behavior recognition algorithms.

Human action recognition; Spatio-temporal model; Convolutional neural network (CNN); Long Short-Term Memory (LSTM)

TP391

A

10.3969/j.issn.1003-6970.2018.09.002

國家自然科學基金項目(61171058)

毛志強(1991-)，男，碩士研究生，研究方向：計算機視覺、目標檢測與人體行為識別；崔金龍(1989-)，男，碩士，助教，研究方向：鋼成分測量；王毅(1994-)，男，碩士研究生，研究方向：計算機視覺、目標檢測與視頻分析。

馬翠紅(1960-)，女，教授，研究方向：復雜工業系統的建模與控制。

本文著錄格式：毛志強，馬翠紅，崔金龍，等. 基于時空雙流卷積與LSTM的人體動作識別[J]. 軟件，2018，39（9）：09-12