一種改進的GRU-InFCN人體行為識別模型

武 一 田小森 張朝旭

(河北工業大學電子信息工程學院 天津 300400)

0 引 言

人體行為識別是人工智能與模式識別領域內一個熱門研究方向，在智能家居、智慧醫療和體育競技等領域都有著廣泛應用[1-2]。人體行為識別主要分為基于視頻的人體行為識別和基于傳感器的人體行為識別兩個方向[3-4]。相對于視頻攝像頭，移動或可穿戴傳感器具有普遍、不顯眼、廉價、易用等諸多優點，因此，基于傳感器數據的行為識別擁有更加廣泛的應用場景[3]。

在深度學習興起之前，人體行為識別主要采用的是傳統機器學習的方法，包括決策樹[5]、支持向量機[6]、貝葉斯[7]、隱馬爾可夫[8]等算法，這種方法需要通過人工選取時域特征或頻域特征來進行行為分類。然而人工特征提取對研究者的經驗要求比較高，模型通用性較差，在復雜的行為中，依靠人工提取特征將會是件很困難的事情。

隨著深度學習的快速發展,越來越多的深度學習算法被運用到基于傳感器的行為識別領域。文獻[9]使用卷積神經網絡(Convolution Neural Network，CNN)來對傳感器數據進行卷積特征提取分析，該方法能夠從傳感器數據中提取平移不變性的局部特征，但不能夠捕捉原始傳感器數據中的時間依賴關系；文獻[10]采用長短時記憶網絡(Long short Term Memory，LSTM)對傳感器時序信號進行特征提取，能夠對傳感器信號進行有效的時序特征提取，但網絡訓練參數過多，在提升網絡擬合能力時增加網絡層數，將會導致網絡性能降低[11]；文獻[12]將卷積神經網絡和長短時記憶網絡進行串行連接，能夠提取復雜活動的細節特征，具有較強的擬合能力，但前層卷積操作使得長短時記憶網絡不能充分發揮對原始數據時序特征提取的作用；文獻[13]將卷積神經網絡和長短時記憶網絡進行并行連接，提出了全卷積循環神經網絡(Long short Term Memory Fully Convolution Network, LSTM-FCN)，卷積操作能夠很好地提取局部特征，同時長短時記憶網絡能夠很好地發揮整體時序特征提取的功能，但在卷積局部特征提取過程中，由于卷積核尺寸固定，導致不能充分提取局部特征。

本文對LSTM-FCN算法進行改進，并提出新的算法模型GRU-InFCN，改進后的模型在時序信號分類問題上有著高的準確率和高的魯棒性，并成功地在開源的行為識別數據集(HAR)上進行驗證。

1 算法設計

深度學習算法近年來才成長起來的，其中卷積神經網絡和循環神經網絡是深度學習算法中的兩種主流算法，本文提出的算法模型主要是基于兩種算法的改進與融合。

1.1 卷積神經網絡

卷積神經網絡是一種前饋神經網絡，本質在于構建多個能夠提取數據特征的濾波器。其中卷積層是卷積神經網絡的核心，卷積層的輸入為前一層的特征圖，通過卷積核來對部分區域加權求和，求和后的值通過非直線激勵函數映射得到每個神經節點的特征值,如式(1)所示：

(1)

1.2 門控遞歸單元

圖1 GRU計算單元結構圖

整個計算公式如下：

rt=σ(Wr·[ht-1,xt]+br)

(2)

zt=σ(Wz·[ht-1,xt]+bz)

(3)

(4)

(5)

yt=σ(Wo·ht)

(6)

式中:rt和zt分別表示重置門和更新門的輸出;ht為GRU單元的輸出;σ表示非線性函數;xt表示GRU單元的輸入;W表示GRU內部計算單元間的權重參數;b表示偏置。

1.3 Inception結構

Inception是GoogLeNet中多尺度特征融合模塊，該模塊創新性在于通過多尺度的卷積核對同一個輸入進行卷積計算，再將計算結果進行拼接。整個Inception結構如圖2所示，針對同一個輸入，依次進行1×1的卷積、1×1和3×3的串聯卷積、1×1和5×5的串聯卷積層、3×3的池化串聯1×1的卷積，隨后將上述四個部分的計算結果通過維度拼接，作為整個Inception模塊的輸出。

圖2 GoogleNet的Inception模塊

在GoogleNet之前的VGG16模型提出采用多層小尺寸卷積層的串聯來代替大尺寸的卷積層，能夠減少模型參數，提高模型中的非線性因子，提高模型的擬合能力。GoogleNet中的Inception也采用了小尺度卷積層的串聯結構，同時Inception多種尺度的卷積通過不同的感受野去提取同一輸入的特征，能夠更充分地提取圖像特征。

2 GRU-InFCN模型結構

2.1 算法模型

本文提出的GRU-InFCN深度模型是在文獻[13]中LSTM-FCN模型的基礎上引入改進的Inception模塊，算法模型結構如圖3所示。

圖3 GRU-InFCN結構圖

GRU-InFCN由GRU模塊和引入Inception結構的全卷積神經網絡模塊InFCN并行連接而成。在數據輸入后，分別進入GRU模塊和InFCN模塊，GRU模塊是由兩個GRU層連接而成，InFCN模塊是由兩個Inception模塊后面連接一個全局池化層。Concat操作是指將兩個數組進行連接，兩個模型的輸出特征矩陣在Concat結構中進行維度拼接，再使用Softmax分類器對拼接后的特征進行分類。其中InFCN模塊中的全局池化層，能夠很好地消除由噪聲擾動帶來的誤判，同時全局池化層的使用使得特征圖到特征向量的轉換更加簡單，避免了使用全連接層帶來的大量參數導致模型過擬合的問題。

2.2 整體時序特征提取

在傳感器數據時序特征提取上，本文采用的是雙層GRU網絡結構，GRU網絡通過引入更少參數的門控單元，減小了LSTM的計算復雜度。在文獻[14]中對LSTM和GRU進行對比分析，指出GRU和LSTM均能克服傳統RNN梯度消失的問題，且在處理長序列依賴問題上效果均優于傳統RNN算法。除此之外，GRU在時間效率上表現優于LSTM，本文通過算法驗證，結果符合文獻[15]中的結論，所以本文設計的模型中選用雙層GRU結構來替代LSTM-FCN中的LSTM網絡，作為整體時序特征提取的循環神經網絡，該網絡有利于提升整個模型的訓練和預測時間性能。

2.3 局部特征提取

傳感器數據是由多個一維時序數據并行排列而成，一維卷積能夠很好地實現傳感器數據局部特征提取[15]，本文將GoogLeNet的Inception模塊進行擴展到一維卷積增強對傳感器數據的特征提取，擴展的Inception模塊結構如圖4所示。每個擴展后的Inception模塊由長度為1的一維卷積層、長度為1的一維卷積層串聯長度為3的一維卷積層、長度為1的一維卷積層串聯長度為5的一維卷積層、長度為3的一維卷積層串聯長度為1的一維卷積層等四個部分并聯而成。

圖4 本文擴展的Inception模塊

整個結構中采用不同長度的卷積核對特征圖進行卷積計算，提取了不同尺度的特征信息，同時長度為1的一維卷積并聯連接還能起到殘存連接的效果，緩解了因網絡層數增加造成梯度消失和網絡退化等問題。Inception模塊中的Convld子模塊均采用了Batch Normalization和ReLU激活函數。Inception模塊的輸出是四個子模塊的輸出在向量維度上的拼接。

3 實驗設計與結果分析

為了驗證基于GRU-InFCN的人體行為識別算法的性能，在Intel Core i7-7700HQ CPU，NVIDIA GTX 1080 GPU的電腦硬件基礎上，使用Ubuntu16.04作為操作環境，使用Keras2.0、Tensorflow搭建學習網絡，編程語言為Python3.6，使用主要庫函數包括numpy、sklearn、matplotlib等。

3.1 HAR數據集

本文使用的傳感器數據來自加州大學的開源的HAR數據集，該數據是通過Samsung Galaxy SII智能收集內置的傳感器采集的，包括30個19～48歲志愿者完成六項人類日常活動過程中采集到的數據，采樣頻率為50 Hz，滑動窗口長度為128，共計采集10 929個樣本。傳感器包括三軸加速度計和三軸陀螺儀，動作包括常見的步行、上樓、下樓、坐、站立和躺下6類。按照樣本比例將數據集劃分為訓練集、驗證集和測試集，分別為5 514、2 018和2 947個樣本，各動作樣本分布情況如表1所示。

表1 HAR數據集樣本分布情況表

3.2 對比實驗設計

對本文提出的GRU-InFCN模型評估主要從三個方面進行，對比其他文獻中的識別準確率來進行模型識別效果分析、分析該模型結構設計的必要性和分析該模型的適應性。針對以上三個方面的評估方法設計了以下實驗：

(1) GRU-InFCN模型人體行為識別評估實驗。本文提出的網絡模型結構為表2中的GRU-InFCN模型，表中GRU-FCN和GRU-InFCN是并行連接網絡，且每一行的結構表示并行網絡中的一個分支，表中w-n表示卷積核尺寸為w和數量為n。對網絡模型進行訓練，對訓練過程中模型的擬合程度進行分析，然后在測試集上對模型行為識別效果進行分析。

表2 不同的網絡模型結構

續表2

(2) GRU-InFCN模型結構設計必要性驗證實驗。通過對該模型子結構中的單結構模型或組合結構模型進行模型訓練與測試，各種網絡結構模型如表2所示。設計對比的網絡中有：單結構模型，如CNN、InFCN、雙層GRU；組合結構模型，如CN-GRU、InFCN-GRU、并行LSTM-FCN和并行GRU-InFCN網絡(本文模型)。得到各模型行為識別準確率，分析對比不同模型在測試集上的識別準確率。

(3) GRU-InFCN模型適應性驗證實驗，使用不同的傳感器數據集來訓練該模型，通過測試訓練后的模型來對該模型的適應性做出評估。

3.3 結果分析

為了消除模型優化方法和超參數對模型結果帶來的干擾，3.2節設計的實驗中，各模型目標函數均采用交叉熵損失，目標函數優化器均為adam，分類器均采用Softmax，初始學習率均是從0.01開始，每3 000次迭代衰減一次，每次衰減為衰減前的，dropout為0.5，最大遍歷次數為1 000。

(1) GRU-InFCN模型人體行為識別評估實驗結果分析，圖5是模型訓練過程中訓練集、驗證集的損失曲線與準確率曲線，驗證集的損失曲線和訓練集的損失曲線相差較小，驗證集的準確率曲線和訓練集的準確率曲線基本重合，說明該模型不存在明顯的過擬合現象，很好地擬合了人體行為識別的復雜函數。

圖5 訓練損失曲線和正確率曲線

表3是由測試數據生成的混淆矩陣，其中各動作識別準確率都在94%以上，步行、下樓、上樓、躺下四類動作準確率均在99%以上，且平均準確率達到了97.76%，步行和躺下兩種動作召回率達到了100%，這兩種動作特征與其他動作特征差距明顯，模型有效地提取出這些特征，并實現有效特征分類。坐和站立兩種動作的識別準確率和召回率均低于其他四類動作，其主要原因在于兩種靜止狀態的動作特征差異小，傳感器捕捉的信息不足以對兩種動作進行精確的分類。

表3 HAR數據集人體行為識別混淆矩陣

上述實驗結果與其他文獻中方法在HAR數據集上的結果進行對比，表4是文獻方法和本文實驗2中各模型準確率對比，可以看出，本文提出的算法模型有著較高的優越性。

表4 不同方法的平均準確率

GRU-InFCN模型人體行為識別評估實驗結果說明，該模型在HAR數據集上能夠充分提取人體行為特征，并實現有效的人體行為識別。該模型避免了人為特征選取的復雜工作，自動完成復雜特征提取，且能達到高的識別正確率。

(2) GRU-InFCN模型結構設計必要性驗證實驗，按照表2中各算法進行模型搭建，將模型結果與本文提出的模型進行平均準確率對比。表4給出了各模型的準確率。首先對比CNN、雙層GRU、InFCN等結構，表4中的大部分混合模型優于單算法模型,混合算法對傳感器時間序列特征提取更充分；再對比文獻[13]中提出的GRU-FCN算法，可以看出引入Inception模塊后的GRU-InFCN取得了更好的行為分類效果，Inception模塊能夠用多個卷積尺度對時間序列進行局部特征提取，使得特征提取更充分；對比串行InFCN-GRU算法，并行的GRU-InFCN結構在HAR數據集上能夠達到更好的識別效果，前層卷積神經網絡使得GRU不能從原始傳感器序列中充分提取整體時間序列特征。結合文獻[13]中并行LSTM-FCN算法的實驗驗證，可以看出并行結構在時間序列分類上能夠取得很好的分類效果。

GRU-InFCN模型設計中各模塊的必要性驗證實驗結果說明，通過CNN和GRU混合模型的算法可以一定程度上提升模型的性能，將Inception結構擴展到一維卷積處理也能起到提升網絡特征提取的能力，此外并行結構在時間序列分類中能夠取得很好的分類效果。

(3) GRU-InFCN模型的適應性驗證實驗分析，選取數據格式相近的無線傳感器人體行為識別數據集(Wireless Sensor Data Ming, WISDM)，WISDW數據集是由三種不同手機中內置的傳感器采集36個志愿者的日常行為數據，總計10 981個數據樣本，按照樣本比例劃分訓練集、驗證集、測試集，分別有6 176、2 059、2 746個樣本。使用WISDM數據集對GRU-InFCN模型進行訓練、測試，測試得到的混淆矩陣見表5，平均準確率達到了99.09%，說明本文提出的GRU-InFCN模型在基于傳感器數據的行為識別問題上具有良好的適應性。

表5 WISDM數據集人體行為識別混淆矩陣

4 結 語

本文提出了一種并行的GRU-InFCN模型，并成功將該模型運用到人體行為識別問題中。該模型將具有整體時間序列特征提取能力的GRU網絡和具有局部時間序列特征提取的一維卷積神經網絡并行連接，并在一維卷積模塊引入基于一維擴展的Inception結構。設計實驗對該網絡提取傳感器時間序列特征的能力進行驗證，實驗結果證明該模型對時間序列的特征提取能力優于卷積神經網絡、循環神經網絡以及這兩種網絡的其他組合模型。該模型避免了復雜的特征工程，并在HAR數據集上獲得了更高的識別準確率97.76%，同時通過實驗證明，該模型在其他類似的傳感器信號數據集上也有著很好的分類能力。在傳感器行為識別問題上，該模型具有很好的分類準確性和適應性。