基于循環神經網絡的人體行為識別

宿通通，孫華志，馬春梅，姜麗芬

（天津師范大學計算機與信息工程學院，天津300387）

人體行為識別是指通過各種傳感器感知人體行為數據，并利用計算機自動檢測技術分析和理解人體各類運動和行為的過程，其在很多領域有著廣泛的應用前景[1].如：在安全監控領域，智能視頻監控對異常行為的檢測可及時發現不正當行為[2]；在智能家居領域，通過處理和分析內置傳感器獲取的數據，能夠檢測跌倒事件[3].

隨著普適計算的發展，各式各樣的傳感器植入了智能手機，如加速度計、陀螺儀、磁力計、氣壓計等，因此智能手機成為新的傳感設備，具備感知和計算能力，且智能手機對人群具有天然的覆蓋性，使其能夠成為用于活動識別的有力平臺.智能手機可以通過內置傳感器感知用戶情景的上下文，識別用戶活動類型，從而為用戶提供合適的服務，也便于設計更多實用的現實增強應用.然而，智能手機內置的傳感器類型不完全相同，其采集的數據具有不同的粒度和質量，從而，同一時刻來自多傳感器的數據構成了異構數據集；此外，傳感器采集的數據具有時間維度特性.因此，不同類型傳感器采集的人體行為數據具有異構時間序列特性.

活動的識別精度直接影響現實增強應用的可使用性.早期一些學者提出使用傳感器數據融合方法進行活動識別[5-8]，而這種方法需要調整感知設備坐標使數據能夠反映物體運動特性.此外，多維數據一般需要分階段處理，不能直接表達異構數據且不能體現數據時間序列特點.隨著深度學習在圖像和語音識別中表現出的優越性能[9-10]，基于深度學習的序列數據處理用于活動識別的方法被相繼提出[11-13].文獻[14]采用深度學習中卷積神經網絡算法進行特征學習，結合決策樹算法實現人體行為的分類識別.文獻[15]利用多個傳感器的組合表示群體環境中的不變特征，提出一種新的具有時間標簽的異構數據表示學習方法，并通過深度學習提取典型特征.文獻[16]設計了時空域深度卷積神經網絡，此網絡可以同時學習運動信息和靜態圖像內容信息.但是，智能手機內置的多種傳感器，使用于活動識別采集的數據具有異構特性，且活動識別是一個典型的時間序列分類問題，感知的數據具有連續時間序列的活動特征.對于長時時序信息，需要處理單元具有記憶能力，在處理的過程中保存內部狀態信息，并利用這些信息來計算當前狀態.現有工作忽視了活動的連續性.針對上述方法的不足，本文選擇用于語音處理的4種不同類型的循環神經網絡模型（RNN、GRU、LSTM、BLSTM），將其應用于異構時間序列數據[17]處理.針對4種模型，分別構建自動特征提取方法，在公開數據集上進行了活動識別測試實驗，并對結果進行了對比分析.實驗結果表明，利用BLSTM處理時序數據可以有效地用于活動識別.

1 人體行為識別模型

1.1 數據表示

通過智能設備采集的傳感器數據是時間標記的.在時刻t0，采樣窗口長度為τ的數據序列為{xi，y(i)，i=1，2，…，N}（t0+τ（i-1）），其中：xi為采樣的數據，是同一時刻來自不同傳感器的數據組合，其維度為傳感器類型數；y(i)為xi相對應的類別標簽.對于有m個特征傳感器的系統，在n個時間點下，采樣數據可以表示為X=[xi]m×n.對于人體活動識別，xi可以由序列標簽ti時間標記.

1.2 人體行為識別系統

針對人體活動時間序列數據的特點，本文提出的人體行為識別系統架構如圖1所示.

采集日常生活中最常見的6種行為（步行、上樓、下樓、坐、站、躺）的傳感器數據，應用不同類型的循環神經網絡模型對其進行識別.首先將智能設備中傳感器獲取的原始數據輸入到各個模型，利用模型的隱藏層對時序數據進行特征提取，不同模型的隱藏層處理單元是不同的，最后用Softmax函數對人體行為進行識別.數據集分成2個子集，一個用于構建分類器，該數據集稱為訓練集，另一個用于評估分類器，該數據集稱為測試集.首先利用訓練集建立模型，然后在測試集上進行驗證，評估模型對未知樣本進行預測的泛化能力，得出各個模型的行為分類結果.

圖1 人體行為識別系統架構Fig.1 Architecture of human behavior recognition system

2 人體行為識別的神經網絡模型

2.1 循環神經網絡（RNN）

傳統的神經網絡模型層與層之間是全連接的，每層之間的節點是無連接的，而RNN[18]隱藏層之間的節點是有連接的，并且隱藏層的輸入不僅包括輸入層的輸出還包括上一時刻隱藏層的輸出.具體的表現形式為網絡會對前面的信息進行記憶并應用于當前輸出的計算中.

2.2 長短期時間記憶網絡（LSTM）

LSTM是一種特殊的循環神經網絡，它使用門控機制以更好地構建數據中的長期依賴關系，該模型的一個細胞中被放置了3扇門[19]，分別稱為輸入門、遺忘門和輸出門.

2.3 門限循環單元（GRU）

GRU是LSTM的簡化版本，保留了LSTM模型的長期記憶能力，GRU的主要變動是將LSTM細胞的輸入門、遺忘門、輸出門替換為更新門和重置門，并將細胞狀態和輸出2個向量合二為一[20].

2.4 雙向長短期時間記憶網絡（BLSTM）

BLSTM[21]是LSTM的增強版本，用于訓練序列數據的前向層和后向層分別對應2個LSTM，而且這2個LSTM都連接著一個輸出層，此結構為輸出層輸入序列的每一個點提供完整的上下文信息.在實際應用中，BLSTM與LSTM模型具有很強的可比性.

2.5 特征提取

循環神經網絡模型特征的創建過程見圖2.

對于帶標簽的數據集，其中的每個示例都是不同數量幀的序列，并且所有幀具有相同固定數量的特征.用x表示數據集中的一個序列，l表示序列x中的幀數，k表示數據集示例中每個幀的特征數量，所以x的大小是k×l.模型將窗口逐幀地輸送到隱藏層來提取特征，然后使用隱藏層的輸出來計算提取的特征窗口，最后，對提取的特征進行取平均計算.

圖2 隱藏層從時間窗口中提取特征的過程Fig.2 Features extraction process from time window for hidden layer

3 實驗與性能分析

3.1 數據集

人體行為識別結果的優劣與采用的數據集緊密相關，本文使用UCI HAR[22]數據集.實驗數據由30名年齡在19～48歲的用戶在腰上佩戴智能手機進行采集.采集的行為信息分為6種，包括3種靜態動作（站、坐、躺）和3種動態動作（走路、上樓、下樓）.在采集數據的過程中，每個用戶針對每種行為采集2次運動過程中的加速度信息，第1次手機放在左側的皮帶上，第2次對手機位置不做要求.使用嵌入式加速度計和陀螺儀，以50 Hz的恒定速率捕獲3軸線性加速度和3軸角速度，滑動窗口大小設置為128.實驗共計10 929個樣本，經過預處理后，輸入數據的維度為9，時間步長為128.

3.2 實驗環境及參數設置

采用深度學習框架TensorFlow，集成開發環境為Pycharm.本文將實驗收集的活動數據樣本分為2部分，其中訓練樣本占70%，測試樣本占30%.首先，將訓練數據輸入到模型中進行計算，將得到的結果與樣本標簽對比來調整模型的參數.其次，利用訓練數據對模型進行參數訓練，并以最終確定的參數構建模型進行特征提取.最后，利用Softmax函數進行行為分類，得到行為標簽.在深度學習系統中，調整模型參數是一個手動過程，為了實現最優模型，本文調整了相應的模型參數（包括隱藏層的神經元個數、隱藏層的個數等），并探索了這些參數的多種不同的配置.

（1）隱藏層個數的確定

理論上講，增加隱藏層個數可以降低網絡誤差，獲得更全面的信息，提高精度.在使用不同模型進行活動識別的過程中，需要對隱藏層的個數進行實驗驗證，本文取10次實驗的平均準確率，結果見表1.由表1可見，模型的分類準確率隨著隱藏層個數的增加而變化，呈現出先升后降的趨勢.這是由于提高模型隱藏層個數會產生以下影響：訓練更多的隱藏層需要更高的培訓成本；較高級別的模型由較低級別的隱藏層收縮數據.因此，為了保證模型的質量，需要大量原始數據來訓練一個高層模型.根據實驗結果，為使模型具有較高的準確率，且能保持良好的性能，確定對RNN算法使用3級隱藏層，對GRU和LSTM算法使用2級隱藏層，而對BLSTM算法使用1級隱藏層.

表1 模型不同隱藏層個數的準確率結果對比Tab.1 Comparison of accuracies of different hidden layers of models

（2）隱藏層神經元個數的確定

隱藏層的節點數是深層神經網絡提取數據特征能力大小的重要參數.隱藏層節點數增多，可使網絡的系統誤差減小，提高活動識別的準確性；隱藏層節點數太少，網絡可能根本不能訓練或網絡性能很差.考察了每個模型不同隱藏層節點數的網絡損失，結果見圖3.由圖3可見，隨著隱藏層節點數H的增加，網絡損失逐漸減小，但在H=32之后，模型GRU和RNN的損失開始增加，這是由于隱藏層節點數過多使網絡訓練時間延長，給模型訓練帶來額外的成本.綜合各個模型的情況，選擇隱藏層節點數為32.

（3）模型學習率的確定

學習率決定控制參數更新的幅度.幅度過大可能導致參數在最優值的兩側來回取值，幅度過小雖然能保證收斂性，但會大大降低優化速度.在上面參數確定的情況下，圖4給出了相同參數下不同的學習率各個模型的網絡損失.由圖4可見，隨著學習率的增加，各個模型的損失逐漸趨向穩定.綜合各個模型的情況，選定學習率η=0.002 5訓練模型.

圖3 不同隱藏層節點數的網絡損失對比Fig.3 Comparisons of loss of different hidden layer cells

圖4 不同學習率的網絡損失對比Fig.4 Comparisons of loss of different learning rates

3.3 實驗結果分析

本文中模型的性能用準確率（Accuracy）和F1-measure指標來衡量.F1-measure考慮了精確度（Precision）和召回能力（Recall），是Precision和Recall的加權調和平均.各模型的輸入是128個長度為9的向量，各模型的學習率均設置為0.002 5，優化器均為Adam[23]，損失函數均采用交叉熵損失函數，最終取10次實驗的平均準確率和F1值，結果見表2.

表2 不同模型的性能Tab.2 Performance of different models

使用反向傳播算法對模型進行訓練，全部時間幀的輸出用于預測結果，利用交叉熵代價函數將實驗結果和原始數據進行成本計算，同時使用η為0.002 5的Adam優化器進行優化，得到4種模型在訓練集和測試集上的準確率，分別見圖5和圖6.

圖5 各模型訓練過程中的識別準確率Fig.5 Recognition accuracy for each model during training process

圖6 各模型測試過程中的識別準確率Fig.6 Recognition accuracy for each model during testing process

由圖5和圖6可見，隨著迭代次數的增加，各模型的準確率均呈現出上升的趨勢，BLSTM模型在訓練集的準確率上升速度不但最快，而且迭代20次以后準確率波動較小.LSTM模型在測試集的準確率提升速度比BLSTM要快，但隨著迭代次數的增加，準確率比BLSTM低，迭代40次以后，這2種模型的準確率均波動較小.GRU模型在迭代過程中準確率提升速度較慢，在訓練過程中其準確率最終和BLSTM保持平衡，但在測試集中準確率低于BLSTM模型.RNN模型無論是在測試過程還是在訓練過程中準確率波動均較大，且準確率最差.

為了進一步驗證BLSTM模型的有效性，本文將其與現有的活動識別模型（傳統神經網絡和卷積神經網絡CNN）的準確率進行了對比分析，各種模型準確率見表3.由表3可知，BLSTM模型的準確率遠高于傳統神經網絡，且比之前常用的CNN模型提高了3.7%.因此，BLSTM模型更適合進行異構時間序列數據的處理，能更好地捕捉連續數據的特征.

表3 3種模型在測試集上的識別準確率Tab.3 Accuracies on test set of 3 models

綜上，BLSTM模型對序列數據的識別準確率和F1值分別可以達到95.7%和94.9%，這對于人體行為識別是足夠的，因此是一種有效的行為識別方法.

4 結論

本文針對6種日常行為，以智能手機傳感器采集的三軸信號為原始信號，將用于語音處理的4種不同的循環神經網絡模型用于異構時間序列數據的處理，用模型的記憶功能對時間標記的傳感數據提取典型特征，這樣可以更好地捕捉連續數據的特性，充分利用時間標簽處理信息.使用真實的公開數據集UCI HAR對4種模型進行了實現，并將實驗結果進行了對比分析，結果表明，BLSTM模型在公開數據集的識別準確率最高，為95.7%，可以實現高度準確的活動分類，是一種有效的人體行為識別方法，且該模型對類似問題具有普適性.將BLSTM與常用的CNN模型進行對比，結果顯示BLSTM的性能優于CNN.本文方法不需要將原始數據轉換為圖片，而是直接將手機加速度計、陀螺儀等傳感器采集的原始數據輸入模型進行特征提取，解決了以往在對視頻圖像數據進行特征提取的過程中帶來的精度損失問題，且本文方法對手機放置方向沒有要求.在未來的工作中，可以使用更多的傳感器，提高數據維度，從而進一步提升識別準確率.