基于卷積長短時記憶網絡的人體行為識別研究

孫彥璽，趙婉婉，武東輝，陳繼斌，仇 森

（1.鄭州輕工業大學 建筑環境工程學院，鄭州 450002；2.大連理工大學 控制科學與工程學院，遼寧 大連 116024）

0 概述

人們的日常活動是構成社會生產、生活的重要組成部分，人體行為識別在日常生活中起著重要的作用，被廣泛應用在醫療康復、智能看護、運動監測、人機交互等領域［1-2］。根據數據來源不同，人體行為識別分為基于視頻圖像的人體行為識別和基于可穿戴傳感器的人體行為識別［3］。基于視頻圖像的人體行為識別是利用圖像、視頻處理等相關技術，通過對攝像設備獲取的人體運動圖像集合或視頻片段進行分析，從而實現對人體行為識別和特定目標檢測［4-5］。基于可穿戴傳感器的人體行為識別能夠從低級別的原始傳感器數據中尋求關于人體行為中所蘊含的深層次知識，傳感器數據主要由加速度計、陀螺儀、磁力計等傳感器采集得到［6］。隨著微電子機械系統和無線通信技術的飛速發展，這些傳感器可以被集成在可穿戴設備、智能手機或智能手表中，極大地方便了人們日常攜帶，且在實際使用時不受場所和周圍環境的限制，也不會給用戶帶來侵犯個人隱私的威脅［7］，促進了基于可穿戴傳感器的人體行為識別在人們日常生活中的應用。

人體行為識別屬于典型的模式識別問題，傳統模式識別主要采用人工神經網絡、支持向量機、決策樹、樸素貝葉斯、K 最近鄰、隱馬爾科夫模型等機器學習算法［8-9］。過去十幾年，這些機器學習算法在人體行為識別的問題上取得了巨大的進步，但也存在一些不可回避的缺點。例如，利用傳統機器學習算法進行人體行為識別時，需要提前手工提取人體行為數據特征，而手工特征提取受特定領域知識和人們已有知識與經驗的限制［10］。一些淺層次特征（如均值、方差、頻率等統計信息）只能用于識別人體行為的低級活動（如站立、行走、跑步等），很難識別出更為復雜和高級的人體行為（如洗盤子、使用吸塵器等），尤其是在當前多模態和高維傳感器數據涌現的情況下，這些特征無法有效處理復雜的活動和實現對人體活動的準確分類［11］。

為進一步提高人體行為識別分類性能，同時又不依賴手工特征提取，本文提出基于空時特征融合的深度學習模型（CLT-net）的人體行為識別方法。CLT-net 模型通過卷積神經網絡（Convolutional Neural Network，CNN）自動提取數據特征，采用長短期記憶（Long Short-Term Memory，LSTM）網絡學習時序數據的相關性優點并利用softmax 分類器實現人體行為分類。

1 相關工作

近年來，深度學習技術得到蓬勃發展，在圖像識別［12］、目標檢測［13］、視頻動作識別［14-15］、自然語言處理［16］、時間序列預測［17］等領域取得了良好的效果。與傳統機器學習算法不同，深度學習網絡在很大程度上減輕了研究人員手工提取特征的工作量，模型通過更深層次的網絡訓練，可以自動提取到更高級別、更有意義的數據特征，使其在面對復雜的人體行為識別時更顯優勢［18］。CNN 和LSTM 是現階段最常用于人體行為識別的兩種深度學習網絡。文獻［19］提出一種基于一維CNN 方法來進行人體行為識別，該方法對基于智能手機加速度傳感器走路、跑步、靜止3 種人體行為的識別準確率達到了92.71%。文獻［20］提出一種基于二維和三維的CNN 模型學習人體行為數據特征，并結合手工提取特征用于人體行為識別，在UCI 數據集上的實驗結果表明，該方法的準確率達到了96.95%。文獻［21］設計一種長短時記憶遞歸神經網絡（LSTM-RNN）來進行人體行為識別，該方法實現特征自動提取和融合，分類效果較好。文獻［22］提出一種基于雙向長短期記憶（BiLSTM）循環神經網絡模型，并采用主成分分析（Principal Component Analysis，PCA）來降低數據集的維度，在mHealth 數據集上的實驗結果表明，PCABiLSTM 模型的準確率達到了97.64%。

2 人體行為識別模型

2.1 CNN 模型

雖然深度學習網絡在圖像分類、人臉識別、自然語言處理等領域已經取得較好的效果，但是在序列信號分類應用上還沒有得到一種公認的結構。因此，本文在LeNet-5基礎上設計了CNN模型用于人體行為識別。相比LeNet-5，本文CNN模型輸入層數據格式為24×410序列，并且在每個最大池化層之后加入批歸一化層（Batch Normalization）、激活層（Leaky Relu）。CNN 結構如圖1 所示，主要包括序列輸入層、折疊層、CNN 特征提取層（Convolution Maxpooling Batch Normalization Leaky Relu）、解折疊層、flatten 層、全連接層、softmax 分類層。從圖1 可以看出，CNN 模型共包含3 個CNN 特征提取層。每個特征提取層的卷積層可以提取人體行為數據特征，是CNN 模型的關鍵一層；最大池化層具有壓縮數據、降低維度的作用；批歸一化層對提取出的特征進行歸一化處理；非線性激活層（Leaky Relu）可以促進批歸一化之后特征的映射。全連接層可以減少提取特征的信息損失。Softmax 分類層最終實現對人體行為的分類。

圖1 CNN 模型結構Fig.1 Structure of CNN model

谷歌于2015 年提出批歸一化技術，其應用于深度神經網絡訓練不僅可以加快模型的收斂速度，而且一定程度緩解了深層網絡中“梯度彌散”的問題，使訓練的深度學習模型更穩定。Leaky Relu 激活函數是為解決Relu 輸入值為負時，輸出始終為0，同時一階導數也始終為0，導致神經元參數不更新，神經元不學習的情況下出現的，定義如式（1）所示：

其中：s為一個不小于1 的非負數，當s取0 時，Leaky Relu 激活函數退化為Relu 函數。softmax 分類層如式（2）所示：

其中：xi為提取得到的人體行為數據的特征序列；K為人體行為類別數。softmax 函數的分類結果代表輸入樣本被劃分為每個類別時的所屬概率，且所屬概率和為1。

由于CNN 能自動提取人體行為數據的深層特征，可以避免手工特征提取帶來的諸多問題，因此本文將CNN 特征提取層作為所提CLT-net 網絡模型的特征提取單元引入。CNN 特征提取層實現特征提取的具體過程是3 個卷積層的卷積核個數依次設為32、128、32，卷積核大小分別設為（1，11），（1，9），（1，7），步長為（1，2），即垂直方向步長為1，水平方向步長為2，同時模型采用same 方式進行“padding”；3 個最大池化層的池化核大小均為（1，3），步長為（1，2）。當單個樣本的輸入數據規模為24×410×1 時，經過3 個CNN 特征提取層得到的人體行為特征序列規模分別為24×102@32、24×25@128、24×6@32。

2.2 LSTM 模型

LSTM是循環神經網絡（Recurrent Neural Network，RNN）的改進，由HOCHREITER 和SCHMIDHUBER 于1997 年提出［23］。LSTM 網絡的核心部分是序列輸入層和LSTM 層，序列輸入層可以將序列或時間序列數據輸入網絡，LSTM 層可以學習序列數據時間步長之間的長期依賴關系，很好地解決RNN 梯度消失問題［24］。由于LSTM 是一種強大的時序信號處理和預測方法，人體行為傳感器數據又屬于時間序列上的信號，因此本文將LSTM 層作為所提CLT-net 網絡模型的特征篩選單元引入。LSTM 模型結構如圖2 所示，主要包括序列輸入層、flatten 層、LSTM 層、全連接層、softmax 分類層。

圖2 LSTM 模型結構Fig.2 Structure of LSTM model

從圖2可以看出，序列輸入層樣本大小為24×410×1，經過flatten 層將多維數據一維化后作為LSTM 層輸入，LSTM 層隱藏單元數量設置為50，全連接層隱藏節點設置為13，最終由softmax 分類層實現對不同人體行為分類。

LSTM 層的細胞（cell）為輸入數據提供時間依賴性，賦予了數據時間特征，LSTM 網絡通過細胞實現長期控制，進而用于時序信號的分類預測。細胞功能主要是通過遺忘門、輸入門和輸出門實現。LSTM 層細胞內部結構如圖3 所示。

圖3 LSTM 細胞內部結構Fig.3 The internal structure of LSTM cell

LSTM 層可學習權值為輸入權重W、遞歸權重R和偏差b。矩陣W、R和b分別是輸入權重、遞歸權重和每個分量偏差的串聯，如式（3）所示：

t時刻細胞狀態輸出和隱藏狀態輸出如式（4）、式（5）所示：

其中：⊙為Hadamard 乘積（向量的元素相乘）；σc為雙曲正切函數（tanh）狀態激活函數。

圖3 中t時刻遺忘激活ft、輸入激活it、輸出激活ot、候選單元輸入gt如式（6）～式（9）所示：

其中：ht-1為上一時刻隱藏狀態的輸出信息；xt為當前時刻的輸入信息。將ht-1與xt共同作為當前時間步的輸入信息參與網絡訓練。這些信息經過門激活函數σg后，最終得到輸出介于［0，1］的值。

遺忘激活ft越大，代表遺忘上一時刻細胞狀態輸出ct-1越少；輸入激活it越大，代表候選輸入gt被寫進當前時刻的信息越多，即遺忘激活ft和輸入激活it共同決定了當前時刻細胞狀態輸出ct對不同輸入信息的接收程度；輸出激活ot則確定了當前時刻隱藏狀態的輸出ht，以上控制策略便實現了人體行為數據在時間步長序列上的長期依賴性。

2.3 CLT-net 人體行為識別模型

由于慣性傳感器采集的人體行為數據可以看作是時間序列信號，以及當前機器學習算法嚴重依賴手工設計的特征，可能會導致信息利用不充分，無法有效實現對復雜人體活動識別等問題。本文提出了基于空時特征融合的深度學習模型（CLT-Net）用于人體行為識別。CLT-Net模型充分結合CNN 自動提取數據深層特征和LSTM 學習時序數據之間相關性的優點，采用與上述CNN 模型相同的網絡結構，同時使用LSTM 層替換CNN 模型的第一個全連接層。CLT-Net網絡模型各項參數設置和規范函數選擇與對應結構的CNN 模塊和LSTM 模塊一致，其結構如圖4 所示，主要包括序列輸入層、折疊層、CNN 特征提取層（Convolution Maxpooling Batch Normalization Leaky Relu）、解折疊層、flatten 層、LSTM 層、全連接層、softmax 分類層。

圖4 CLT-net 模型結構Fig.4 Structure of CLT-net model

基于CLT-net 模型的人體行為識別方法分類過程為：首先將輸入的人體行為數據序列經過CNN 模塊進行二維空間上的特征提取，將得到的二維數據特征經過flatten 層展開成一維后輸入LSTM 層進行時間序列上的特征篩選；然后再經過全連接層將篩選后得到的人體行為特征通過權重矩陣映射至樣本標記空間；最終通過softmax 層進行分類計算，并選擇具有最大預測概率的類別作為輸入數據樣本的預測類別。模型在訓練時會根據前向傳播得到的預測類別與真實樣本標簽之間的誤差，并依據模型采用的損失函數和優化器進行反向傳播，以不斷修正網絡中的權值和偏置項，最終實現模型訓練并得到較優模型。

3 實驗

3.1 實驗數據集

本文基于可穿戴傳感器數據進行人體行為識別研究，實驗采用公開的DaLiAc（Daily Life Activities）數據集［25］。該數據集的數據采集過程由分別放置在受試者右臀部、胸部、右手腕和左腳踝4 個6 軸慣性傳感器節點完成，每個傳感器節點由一個三軸加速度計和一個三軸陀螺儀組成。加速度計的量程為±6 g，手腕、胸部、臀部傳感器節點的陀螺儀范圍為±500（°）/s，踝關節傳感器節點的陀螺儀范圍為±2 000（°）/s，數據的采樣頻率為204.8 Hz。數據采集實驗共有19名健康受試者參與（女性8名，男性11名，年齡26±8 歲，身高177±11 cm，體重75.2±14.2 kg，偏差mean±std），共采集了13 項活動。活動及對應標簽如表1 所示。

表1 活動及對應標簽Table 1 Activities and corresponding labels

3.2 實驗運行環境

本文所有模型均在配置為Core i5-6500U CPU@3.20 GHz，16 GB 內存的計算機上進行訓練和測試，該計算機系統為Windows 10 專業版64 位，并且所有模型使用Matlab2020b Deep Learning Toolbox 框架實現。

3.3 實驗參數

首先對人體行為數據進行樣本劃分，取滑動窗口長度為410（2 倍的采樣頻率取整），且相鄰窗口之間存在50%的數據重疊，因此單個樣本序列大小為24×410（4 個6 軸傳感器）。將經過數據分割后的樣本打亂順序，取前90%的樣本作為訓練集，剩下10%作為測試集。實驗參數設置如表2 所示，仿真實驗時所有模型的初始化參數都使用相同配置，目的是使所有模型都在相對公平的條件進行對比，從而更利于準確反映CNN 模型、LSTM 模型和CLT-net 模型的真實性能。

表2 實驗參數設置Table 2 Experimental parameters setting

CNN 層和全連接層的權系數初始化采用Kaiming 法，該方法有利于加快模型的收斂速度，采用正交方法作為LSTM 層的權系數初始化方法。所有模型的優化器都使用自適應矩估計優化算法（Adam 算法）［26］，該方法具有更快的收斂速度和更低的內存消耗需求，并且在模型訓練過程中可以不使用驗證集。

3.4 實驗結果與分析

3.4.1 模型收斂速度

LSTM 模型、CNN 模型和CLT-net 模型是在訓練集上進行訓練的，模型訓練過程的準確率對比如圖5所示。從圖5 可以看出，3 種模型訓練過程的準確率隨著迭代次數的增加逐漸趨近于100%，說明模型對不同人體行為的分類結果越來越好。

圖5 訓練過程中LSTM、CNN 和CLT-net 模型準確率對比Fig.5 Accuracy comparison between LSTM，CNN and CLT-net models in training process

訓練過程中LSTM、CNN 和CLT-net模型損失函數曲線如圖6 所示。從圖6 可以看出，3 種模型訓練過程的損失函數曲線隨著迭代次數的增加逐漸趨近于0，說明模型各項參數的修正更新逐漸向較優值靠近。

圖6 訓練過程中LSTM、CNN和CLT-net模型損失函數值對比Fig.6 Loss function value comparison between LSTM，CNN and CLT-net models in training process

CLT-net模型具有最快的收斂速度，使得訓練集的分類準確率和損失函數值接近穩定狀態。隨著迭代次數的增加CLT-net模型的分類準確率逐漸達到最高，損失值逐漸降低至最小，而CNN 模型和LSTM 模型次之，CLT-net 模型在人體行為識別中具有高效性。

3.4.2 模型準確性

對應訓練好的LSTM 模型、CNN 模型和CLT-net模型在測試集上的預測分類混淆矩陣如圖7～圖9 所示。作為對比建立的BP 神經網絡模型在測試集上的預測分類混淆矩陣如圖10 所示。4 個混淆矩陣分別為14 行14 列。底側數字1～13 代表待分類的13 種人體行為，左側數字1～13 代表預測分類出的13 種人體行為。最后一行格子（右下角格子除外）上面和下面的百分比分別表示模型對某一人體行為做出正確或錯誤分類的準確率（召回率）和錯誤率。最后一列格子（右下角格子除外）上面和下面的百分比分別表示模型預測分類為某一人體行為的準確率（精確率）和錯誤率。右下角格子上面的百分比代表模型對13 種人體行為做出正確分類的總體平均分類準確率，下面的百分比為總體平均分類錯誤率。其他格子下面百分比則表示該分類樣本數占全部測試集樣本數的比例。

圖7 測試集上LSTM 模型的預測分類混淆矩陣Fig.7 Prediction classification confusion matrix of LSTM model on test set

圖8 測試集上CNN 模型的預測分類混淆矩陣Fig.8 Prediction classification confusion matrix of CNN model on test set

圖9 測試集上CLT-net 模型的預測分類混淆矩陣Fig.9 Prediction classification confusion matrix of CLT-net model on test set

圖10 測試集上BP 模型的預測分類混淆矩陣Fig.10 Prediction classification confusion matrix of BP model on test set

從4 個混淆矩陣中可以看出，BP、LSTM 和CNN模型的總體平均分類準確率分別為61.7%、77.6%和96.4%，本文提出CLT-net 模型達到了97.6%，分別提高了35.9、20.0 和1.2 個百分點。CNN 模型能夠提取人體行為數據的特征，這些特征最大限度代表了原始人體行為數據，用這些特征進行人體行為識別分類具有較好的表現。相比LSTM 模型，CNN 模型具有更高的識別率。LSTM 模型只用于時序數據建模以學習數據間的相關性，并不能實現特征提取，這也說明了特征提取是進行分類識別的關鍵，CNN 特征提取模塊是CLT-net 模型最重要的組成部分。

3.4.3 模型分類結果可視化

t 分布隨機近鄰嵌入（t-Distribution Stochastic Neighbour Embedding，t-SNE）是一種適合高維數據可視化的降維算法［27-28］。t-SNE 將高維點嵌入低維點，同時尊重點之間的相似性，高維空間中的附近點對應于附近嵌入的低維點，高維空間中的遠處點對應于遠處嵌入的低維點，通過可視化低維點以查看原始高維數據中的自然簇。本文利用t-SNE高維數據可視化方法，將人體行為的分類結果通過可視化手段直觀呈現出來。LSTM 模型、CNN模型和CLT-net在測試集上的人體行為分類結果如圖11～圖13所示（彩色效果見《計算機工程》官網HTML版）。

圖11 LSTM 模型的人體行為分類可視化結果Fig.11 Visualization results of human activity classification based on LSTM model

圖12 CNN 模型的人體行為分類可視化結果Fig.12 Visualization results of human activity classification based on CNN model

圖13 CLT-net 模型的人體行為分類可視化結果Fig.13 Visualization results of human activity classification based on CLT-net model

從3 個模型的t-SNE 可視化圖形中可以看出，基于CLT-net 模型的t-SNE 數據可視化將13 種人體行為很好分類（13 種人體行為分別被聚成一簇），說明CLT-net 模型具有優越的人體行為分類識別性能。CNN 模型和LSTM 模型次之。

3.4.4 模型評價指標

為更好說明CLT-net 模型的泛化能力，進一步統計了LSTM、CNN、CLT-net 和傳統BP 模型在測試集上測試結果的宏查準率（macro precision）、宏查全率（macro recall）和宏F1 值（macro F1-score），即對13 種人體行為類別中每類行為的精確率、召回率和F1-score 進行求和再取平均值［29］，4 種模型的評價指標對比如表3 所示。

表3 BP、LSTM、CNN、CLT-net 模型的評價指標對比Table 3 Evaluation indexes comparison between BP，LSTM，CNN，CLT-net models

精確率評價指標是衡量正確預測出的正樣本數占實際預測出正樣本數的比例；召回率評價指標是衡量正確預測出的正樣本數占總正樣本數的比例；F1-score 評價指標作為精確率和召回率指標的調和平均值。從表3 可以看出，CLT-net 模型的精確率、召回率和F1-score 評價指標均最高，而BP 模型的所有指標均最低，表明CLT-net 模型對不同人體行為的識別分類結果具有良好的穩定性與可靠性。

4 結束語

本文提出基于空時特征融合技術的深度學習模型CLT-net。該模型結合CNN 可以自動提取數據特征和LSTM 能夠學習時序數據之間的相關性優點，并利用softmax 分類器對人體行為進行分類。在DaLiAc 數據集上的實驗結果表明，相比LSTM、CNN、BP 模型，CLT-net 模型收斂速度更快且人體行為識別分類性能更優。后續將通過構建輕量級的深度學習模型，對基于傳感器的人體行為識別方法進行優化，進一步提高特征識別準確率。