可穿戴傳感步態模式深度學習融合判別模型①

談巧玲,吳建寧

(福建師范大學 數學與信息學院,福州 350117)

近年來,基于戶外環境獲取步態數據構建泛化性能優越的機器學習步態分類模型在步態模式識別研究領域受到廣泛關注,對于預防老年人跌倒、老年神經性功能疾病診療和康復評價、人體身份鑒別等具有重要意義,已成為目前步態模式識別相關研究領域一個新的研究探索熱點[1,2].近年來,隨著先進數據采集技術快速發展,一些先進的數據采集技術(諸如,計算機視頻、無線雷達、可穿戴傳感器等)相繼被用來采集戶外環境中步態模式數據.諸如,一些學者基于計算機視頻采集的步態圖像數據,探討了不同視角環境下的戶外人體步態模式識別相關研究[3];另外一些研究學者基于無線雷達裝置獲取的步態數據,探討了蘊含微多普勒特征信息的戶外環境步態模式識別研究[4];還有一些學者基于可穿戴傳感器(加速度計、陀螺儀、磁力計等)的步態數據,探討了戶外環境下的步態模式識別研究[5].研究發現,便宜、便攜的可穿戴傳感器步態采集技術具有適應不同戶外應用場景、蘊含較豐富步態特征信息量等優點,可較好避免計算機視頻技術因戶外環境、人體穿戴衣物遮擋丟失有價值步態特征信息、無線雷達裝置因外界環境干擾丟失無線步態探測信號等局限,有助于提升步態模式識別效能,在近年來相關研究應用較為廣泛.

基于可穿戴傳感器數據應用機器學習算法探尋泛化性能優越的步態模式識別模型受到相關研究持續高度關注,其基本思想:能夠充分利用機器學習算法優越的數據學習性能從可穿戴傳感器步態數據中獲得更具代表性的步態特征信息,提高步態模式識別性能.早期,一些研究探討了基于傳統機器學習算法(諸如,決策樹、多層感知神經網絡、支持向量機、K-近鄰等)量化分析可穿戴傳感器數據,嘗試構建泛化性能優越的步態模式識別性能[6,7].諸如,Bao 等[8]探討了基于三軸加速度計步態數據,構建ID3 決策樹步態模式識別模型鑒別正常行走、慢跑、爬樓梯等3 種步態模式,平均識別率僅為79%.Tahafchi 等探討了應用KNN 分類算法從帕金森受試者可穿戴傳感數據(包含三軸加速度數據、陀螺儀數據、磁力計數據以及雙通道的非侵入型的肌電掃描儀數據)中獲取與帕金森凍結步態密切相關的步態特征信息,步態模式識別率根據參與者對象分別達到91.9%、87.1%、80.9%以及79.9%[9];此外,Nickel 等學者基于可穿戴傳感器加速度步態數據,分別探討了基于支持向量機、隱形馬爾可夫模型、KNN 分類算法構建步態模式識別模型相關研究,其中支持向量機以及隱形馬爾可夫模型的平均錯誤率(Equal Error Rate,EER)分別是10.00%和12.63%,KNN 分類算法的一半總錯誤率(Half Total Error Rate,HTER)可達到8.24%[10,11];研究發現,傳統機器學習算法在處理可穿戴傳感器步態數據識別步態模式中具有較低計算復雜度等優點,但因其內在線性計算模型架構難以獲取隱含于可穿戴傳感器步態數據內在結構中更具代表性的步態特征信息,難以支撐構建泛化性能優越的步態模式識別模型.近年來,隨著深度學習等新興機器學習理論的快速發展以及在圖像處理等領域成功應用,一些學者嘗試探討基于可穿戴傳感器步態數據構建深度學習步態模式識別模型,其基本思路旨在充分利用深度學習算法卓越的數據學習性能從高維可穿戴傳感步態數據中獲取更具代表性步態特征信息,提高步態模式識別性能.諸如,Zou 等[12]基于可穿戴智能手機采集的加速度數據和陀螺儀數據,探討了構建卷積神經網絡和循環神經網絡相融合步態模式識別模型,嘗試獲取可穿戴傳感步態數據內在時空相關性特征信息,提高步態模式識別性能,研究結果發現該方法在行人識別和身份認證中準確率分別高于93.5%和93.7%.此外,Ding 等[13]研究學者提出了一種基于可穿戴步態數據(在小腿上佩戴慣性測量單元收集角速度數據)的長短時記憶算法LSTM的步態模式識別模型,旨在通過長短時記憶算法獲取隱含于可穿戴步態數據的時間相關性步態特征信息探測步態相位,并利用相位標記數據對其進行訓練,實驗結果表明識別準確率可達91.4%.近年來的基于深度學習的步態模式識別相關研究雖取得了較好的成果和積極進展,但仍缺乏準確獲取隱含于可穿戴步態數據中更具代表性的時-空相關性步態特征信息的技術手段,嚴重制約著步態模式識別性能.相關醫學研究表明,步態是人體行走的姿態,與人體神經系統、運動系統、心理認知系統等生理因素密切相關,是一個各生理因素相互作用、相互影響的長期記憶過程,而目前研究所采用自循環神經網絡模型僅具短時記憶性能,難以獲得步態過程中長期時間相關性特征信息.急需探索新的獲取隱含于可穿戴步態數據中更具代表性的時-空相關性步態特征信息的深度學習模型.

為此,基于可穿戴傳感器步態數據,本文提出一種將卷積神經網絡模型和長短期記憶神經網絡模型相融合的步態模式深度學習判別新模型,旨在充分利用卷積神經網絡模型優越的獲取數據局部空間最具代表性特征信息特性和長短期記憶神經網絡模型優越的獲取數據內在長期時間相關性特征信息特性,準確獲取隱含于可穿戴步態數據中更具代表性的時-空相關性步態特征信息,提高步態模式識別性能.此外,本文選取公開的加州大學歐文分校UCI 數據庫中的HAR 數據[14],并與傳統機器學習算法、深度學習算法模型比較,驗證本文所提模型算法有效性.

1 CNN-LSTM 深度融合學習步態模式判別模型

本文所提CNN-LSTM 深度融合學習模型旨在充分利用CNN、LSTM 模型分別獲取數據結構內在空間、時間相關性特征信息的優異特性,將二者深度融合從可穿戴傳感步態數據(諸如,加速度、陀螺儀等步態數據)獲取更多蘊含與步態變化密切相關的時-空相關性特征信息,提高步態模式識別性能.也就是,假設需識別步態模式為數據集V={v1,v2,···,vl},其中,l表示待識別的步態模式數.假設可穿戴傳感步態時間序列數據為:

為了準確識別步態模式,我們需構建一個模型Γ 從每一數據段hi中獲取蘊含步態特征信息的向量Yi,也就是,Yi=Γ(D,hi)然后,基于一個推理方法Ψ 計算與每個步態模式vi相 對應的置信度值集P:P(vi/Yi,β)=Ψ(Yi,β),其中,β表示為一個基于模型Γ的訓練參數集.那么,通過計算下列最大得分值:v*i=argmaxP(v/Yi,β),即可準確獲得步態模式v*i,實現每個步態模式vi識別.研究中,我們構建CNN-LSTM 深度融合學習模型作為模型 Γ,首先采用CNN 深度學習模型從每一數據段hi中獲取蘊含與步態模式變化密切相關的局部空間特征信息,在此基礎上,基于LSTM 深度學習模型獲取步態數據局部空間特征的時間相關性,獲得更多與步態模式變化相關的時-空特征信息,最大概率獲得到步態模式v*i,準確識別步態模式vi.

本文所提基于CNN-LSTM 融合深度學習步態模式判別模型框架如圖1所示,由步態數據輸入層、CNNLSTM 融合深度學習、全連接層3 部分組成.

圖1 CNN-LSTM 網絡框架

如圖1,鑒于可穿戴步態傳感數據的時-空相關特性,CNN 由3 個卷積層(CL1、CL2、CL3),一個池化層(MP1),兩個dropout 層組成,準確獲取步態數據內在最具代表性的局部空間特征;為準確獲得步態數據內在最具代表性局部空間特征的時間相關性,LSTM模型由32 個cell 組成,為準確獲得步態數據內在最具代表性局部空間特征的時間相關性,全連接層由6 個cell 組成,最大概率識別步態模式.

(1)基于CNN 提取步態數據內在最具代表性局部空間特征

為有效獲取步態特征信息,可穿戴傳感步態時間序列在t時刻的數據定義為:

其中,BA-XYZ 表示三維人體運動加速度數據,GAXYZ 表示三維重力加速度數據,Gy-XYZ 表示三軸陀螺儀數據.便于分析,選取t∈{1,···,128},其傳感步態數據輸入序列定義為:

假設用于獲取最具代表性步態局部空間特征的CNN 模型共有L卷積層,每層卷積核定義為:Ml×Nl,第l∈{1,···,L}卷 積層提取步態局部空間特征F(l),其定義為:

其中,f(·)表示激活函數,〈·〉 表示內積,b(l)為偏置項;w(l)為一維卷積核向量;φ為w(l)的長度.

鑒于式(3)所定義的可穿戴傳感步態數據所具高維性、非線性、隨機性等特點和低算法復雜度,本文構建三層一維卷積層,每個卷積層均有32 個卷積核,其大小定義為3×3,步長定義為1,采用良好非線性特性ReLU 函數[15,16]作為激活函數.根據式(3),可穿戴傳感步態輸入數據大小定義為128×9,可分別獲得第一層、第二層以及第三層卷積層輸出的步態局部特征數據:126×32、124×32和122×32.為有效保持較好學習性能避免過擬合,構建一個Dropout 層.為有效保持卷積層所獲得步態特征內在特性,降低其冗余性信息,利用池化層降低特征維數且增加其空間不變性[17],定義最大池化技術的池化層獲取蘊含更多最具步態變化信息的局部空間特征Pj,定義為:

其中,R表示池化窗口大小.

為此,基于式(5)可從可穿戴傳感步態時間序列數據中得到最具步態變化信息的局部空間特征,為后續獲取其時間相關性特征奠定基礎.我們將此局部步態特征作為LSTM的輸入提取步態數據長時期的依賴特性.

(2)基于LSTM 層提取步態數據局部特征的時間相關性

一個步態活動可考慮為一個長序列的時間序列,通過建立自回歸模型RNN 可有效提取局部特征的長期時間相關依賴特性.本文鑒于長短期記憶網絡(LSTM)所具良好動態學習時間序列數據內在時間相關性的自回歸網絡架構特性[18],構建LSTM 單元cell,包括1 個記憶單元C和3 個門函數(輸入it,遺忘ft,輸出ot),實時提取步態數據的內在長期時間相關特性信息,具體實現如下.

假設用pt表示步態數據樣本在t時刻通過CNN 模型處理過的一維特征圖作為LSTM 神經元的輸入項,經過LSTM的cell 時首先由遺忘門丟棄無用的提取數據信息,其輸出為:

其中,σ表示激活函數Sigmoid,Wf為權值,bf表示偏置值.接著由輸入門it和候選記憶單元C~t來確定更新的數據信息:

其中,Wi和Wc指的是權值,bi和bc指的是偏置值.之后由記憶單元Ct表示該LSTM的cell 更新狀態:

最后確定LSTM 單元的輸出數據信息ht為:

其中,ot是輸出門;ht是當前神經元在時間的輸出.具體的推導公式可參考文獻[19].通過上述記憶單元Ct保留經歷過遺忘和輸入的信息實現了LSTM 單元有效傳遞時間間隔較遠的歷史信息從而獲取數據內在時間相關性特征.本文所提LSTM 層由32 個cell 組成處理時序信號表示為一維特征向量如式(12)所示.

特征向量s進入由6 個cell 組成的全連接層處理,其輸出為:

其中,W為全連接層的權值矩陣;ε是偏置項向量.我們將全連接層的激活函數設置為Softmax 函數,則最終輸出為:

通過式(14)最大概率識別步態模式vi.

從上述分析可知,本文所提CNN-LSTM 模型充分融合CNN和LSTM 兩者獲取步態時間序列數據內在最具代表性的時間、空間步態特征的優異特性,降低其學習網絡結構復雜性和模型較大訓練開銷,增強融合深度學習算法非線性擬合性能,有助于提升本文所提模型步態分類的精確度和準確度.

本文所提神經網絡模型采用分類交叉熵損失函數最小化訓練樣本的分類錯誤率,其定義為:

其中,D表示訓練集,W表示權值矩陣,B表示偏置值;N表示訓練樣本的數量,y(i)表示的是第i個樣本的標簽,表示預測的標簽以及〈·〉表示內積.

2 實驗與結果分析

2.1 實驗數據獲取

本文采用的是加州大學歐文分校(University of California Irvine)提出的用于機器學習的UCI 數據庫中的HAR 數據集.該數據集收集了30 名年齡在19至48 歲的志愿者的6 種步態模式:站立、坐著、躺下、行走、在樓上和樓下行走.每個受試者執行兩次實驗方案:第一次實驗將智能手機(內置加速度計和陀螺儀)佩戴于腰部左側;第二次實驗,受驗者隨意放置智能手機.要求受驗者在實驗室環境下以自己舒適的步速完成不同步態行走,便于獲得較真實行走步態數據集.采樣頻率設置為50 Hz 采集三軸加速度和角速度步態行走數據.

2.2 數據預處理

為有效消除噪聲干擾獲取蘊含更多有用步態數據,本文采用中值濾波器和三階低通Butter-worth 濾波器(截止頻率設置為0.3 Hz)對人體加速度信號和重力加速度信號消噪處理.設置窗口寬度為2.56 s 進行滑窗采用數據,窗口重疊設置為50%,即每個窗口有:2.56 s×50 Hz=128 周期,采用快速傅里葉變換獲取17 個步態數據時域、頻域步態特征.為此,文中采用了17 個度量標準評估時域和頻域的特征向量,即總共提取了561 個特征來描述每個活動窗口(樣本點),每個樣本點看作為一種步態模式,其度量標準如表1所示.

表1 計算特征向量的度量表

2.3 步態分類性能評價標準選取

為客觀、準確評價本文所提步態分類模型的泛化性能,本研究選取步態分類相關研究常用的分類準確率、步態精確率、召回率作為步態分類性能客觀評價指標.

(1)準確率(Accuracy):用于客觀評價本文所提步態深度學習分類模型的精確度,其定義為:

其中,TP表示正確識別步態模式的樣本數;FP表示錯誤識別步態模式的樣本數;TN表示正確步態模式錯誤識別為其他步態模式的樣本數;FN表示步態模式錯誤識別為正確步態模式的樣本數.

(2)步態精確率(Precision):用于客觀評價本文所提步態深度學習分類模型“真正”鑒別步態模式的性能,其定義為

(3)召回率(Recall):用于客觀評價本文所提步態深度學習分類模型步態模式正確識別的性能,其定義為

2.4 實驗結果

本文實驗是基于谷歌開源的深度學習框架Tensorflow 實現,具體的實驗平臺為CPU(i5),Python3.7,Keras2.3,Tensorflow2.1.選取樣本數10 299,隨機選取70%為訓練集、30%為測試集,實驗數據分批送入模型訓練,批處理塊大小為32 個數據樣本.模型的訓練回合數設置為30 且采用了自適應學習率優化算法Adam且學習率設置為0.001.

(1)步態深度學習分類模型最優結構參數選取

為準確優化設計本文所提步態深度學習分類模型結構,提高其性能,本文首先量化評估所提模型優化選取卷積神經網絡部分的卷積層數和長短期記憶網絡中神經元數量.卷積神經網絡卷積層數選取結果如圖2所示,從圖2可以看到,當卷積層數從1 增長到3 時,模型的準確率逐步增大,當卷積層數為3 時,分類準確率最大,可達92.1%,但卷積層數增至4和5 時,分類準確率顯著下降,結果表明,當卷積層數為3 時,本文所提步態融合深度學習分類模型可從可穿戴傳感加速度和陀螺儀步態數據中獲得蘊含更多與步態模式變化密切相關的步態特征信息,有效提升模型的分類性能,而卷積層數增至4和5 時,難以從可穿戴傳感步態數據中獲得一些代表性特征信息,可能丟失一些有用步態特征信息,降低模型的分類性能.

選取最優LSTM 模型的神經元數的結果如圖3所示,從圖3可以看到,當神經元數從16 增至256 過程中,選取不同神經元數影響模型步態模式分類性能.當神經元數為32 時,分類準確率最大,可達92.3%,當神經元數從32 增至256 時,分類準確率顯著下降.結果表明,神經元數選取32 時,本文所提模型可從可穿戴傳感步態數據空間局部特征獲得更多與步態變化密切相關的時間相關特征信息,顯著提升本文所提模型步態分類性能.

圖2 卷積層數對分類準確率的影響

圖3 LSTM 神經元數量對分類準確率的影響

(2)CNN-LSTM 模型步態分類性能評估結果

本文所提CNN-LSTM 步態深度融合學習模型基于所取最優參數的分類性能評價結果如表2所示,從表2可以看到,本文所提模型能以較好分類性能鑒別6 種不同步態模式,平均準確率可達91.45%、平均召回率可達91.53%;比較而言,“躺”步態模式具有最高準確率,可達99%,表明本文所提深度融合學習模型能夠有效從可穿戴傳感加速度、陀螺儀步態數據獲取與“躺”步態模式密切相關的時-空步態特征信息,有效提高其模式鑒別性能.然而,“站立”步態模式準確率最低,僅為80.94%,“坐”步態模式召回率最低,僅為81.06%,這些結果表明,本文所提模型難以從可穿戴傳感加速度、陀螺儀步態數據獲取與“坐”、“站立”步態模式密切相關的時-空步態相關特征信息,這可能由于本文所取步態數據采集過程可穿戴單傳感步態采集器佩戴人體解剖部位難以捕獲“坐、站立”步態模式相關信息.

另外,基于相同的步態數據,本文選取基于傳統機器學習算法(諸如決策樹、KNN、支持向量機等)構建的步態分類模型,進一步評價本文所提模型的優越性能,其比較分類性能如表3所示,從表3可以看到,本文所提步態深度融合學習模型的準確率、精確率、召回率最高,均可達91.5%;其次,KNN 步態分類模型準確率、精確率、召回率均約為90%;支持向量機準確率、精確率、召回率均低于90%,而決策樹步態分類模型準確率、精確率、召回率最低,僅為86%,上述結果表明,本文所提CNN-LSTM 步態深度融合學習模型分類性能明顯優于傳統機器學習步態分類模型性能,其根本原因在于本文所提模型能夠充分利用CNN、LSTM 深度融合學習算法所具獲取數據最具代表性特征的優異特性,有效從可穿戴傳感加速度、陀螺儀步態數據獲取最具代表性的時-空相關性步態特征,顯著提升步態分類性能,而傳統機器學習步態分類模型基于線性模型僅可獲取局部空間、時間步態特征,難以從可穿戴傳感加速度、陀螺儀時序步態數據獲取最具代表性的時-空相關性步態特征,影響其分類性能.

表2 6 種步態模式分類結果

表3 與傳統機器學習算法步態分類比較結果(%)

此外,為進一步評價本文所提模型的有效性,基于上述相同步態數據,將本文所提模型與其他傳統深度學習模型(諸如CNN、RNN[20]、LSTM、GRU[21]等模型)進行比較,其比較結果如表4所示.從表4可以看出,本文所提CNN-LSTM 模型步態分類性能明顯優于其他傳統深度學習步態分類性能.就比較而言,RNN網絡模型步態分類性能較差,其準確率、精確率、召回率僅均約為70%,其原因在于RNN 網絡學習模型難以獲取步態時間序列內在最具空間、時間相關性步態特征信息;CNN、GRU和LSTM 三個學習模型的準確率、精確率、召回率均約為88%,其步態分類性能雖優于RNN 網絡學習模型步態分類性能,但明顯低于本文所提CNN-LSTM 融合學習模型的步態分類性能,其根本原因在于:基于傳統CNN 深度學習的步態分類模型僅能獲取步態時間序列數據內在最具代表性的局部空間步態特征信息;基于傳統LSTM、GRU 深度學習的步態分類模型僅能獲取可穿戴步態時間序列數據內在最具代表性的時間相關性步態特征信息,上述兩種傳統深度學習步態分類模型局限在于難以獲取可穿戴步態時間序列數據內在最具代表性的時間-空間相關性步態特征信息,而本文所提CNN-LSTM 融合深度學習步態分類模型可充分融合CNN、LSTM 各具獲取步態時間序列內在空間、時間相關性特征信息優異特性,有效獲取可穿戴步態時間序列數據內在最具代表性的時間-空間相關性步態特征信息,彌補傳統CNN、LSTM深度學習模型獲取步態時間序列數據內在最具代表性步態特征信息的局限,有效提升基于可穿戴步態傳感數據的步態分類性能.

表4 與同類深度學習算法步態分類比較結果(%)

3 結論

本文提出了一種基于可穿戴傳感數據的步態模式深度學習融合判別新模型,該模型能夠充分融合卷積神經網絡和長短時記憶神經網絡深度學習模型所具獲取數據最具時空代表性特征的優異特性,有效從可穿戴傳感加速度、陀螺儀步態數據獲取最具代表性的時-空相關性步態特征,顯著提升可穿戴步態模式分類性能,為進一步深入開展可穿戴多傳感步態模式深度學習分類相關研究提供可靠借鑒.