基于Tsfresh-RF特征提取的人體步態識別算法①

張曉東,陳 煒,孫玉超,魏麗璞

1(天津理工大學 機械工程學院 天津市先進機電一體化系統設計與智能控制重點實驗室,天津 300384)

2(天津理工大學 機械工程學院 機電工程國家級實驗教學示范中心,天津 300384)

3(天津理工大學 中環信息學院,天津 300350)

4(軍事科學院系統工程研究院 衛勤保障技術研究所,天津 300161)

近年來,越來越多的下肢外骨骼機器人被應用在醫療、軍事、工業等領域[1].在這些設備的控制中,準確的步態數據檢測和識別顯得尤為重要.通過深入研究,下肢外骨骼已朝著更智能的人機協作方向發展,許多研究者通過檢測穿戴者的運動意圖來提高步態識別能力,從而增強人機協調能力[2,3].

以往對不同步態數據檢測的研究主要通過肌電(EMG)傳感器[4]、慣性(IMU)傳感器[5]、足壓傳感器[6]和電容傳感器[7]等實現.例如Kuang 等[8]利用膠水將足底壓力傳感器粘貼在鞋墊上,將肌電傳感器直接粘貼在受試者的小腿皮膚上來采集人體步態數據.但由于粘貼不牢靠和肌肉的特殊性,這些信號是不穩定的,對受試者產生了很大不便.慣性傳感器和電容傳感器都需要綁帶綁在人體身上采集數據,不同的是電容傳感器受到了皮膚狀況和汗液的影響[9,10].采集到的數據需要特征提取和分類器識別.Li 等[11]使用絕對值和方差積分特征提取,支持向量機作為分類器來識別五種步態,最終證明個體差異和樣本大小都會影響步態分類的準確性.Wu 等[12]提出了一種基于簡化支持向量機的下肢運動識別多分類算法,成功識別站立、行走和上下樓梯的運動.Antwi-Afari 等[13]研究建筑工人失衡步態檢測的最佳分類方法,發現隨機森林、K 近鄰、支持向量機比其他分類器表現更好.

上述工作主要通過不同傳感器采集人體數據、提取特征和選擇分類器來提高步態識別準確率.盡管這些方法在一定程度可以有效提高步態識別準確率,但這一領域的研究范圍和深度仍不夠.Lee 等[14]證明,由于可變環境因素的影響,無法保證步態識別的性能,最常見的可變因素有人體負重、行走速度、傳感器的選擇等;此外,不同傳感器位置和動作幅度也是兩個不容忽視的因素.有學者基于肌電圖研究了不同傳感器位置步態識別的影響.例如Huang 等[15]研究表面肌電在左右大腿、左右小腿對8 種步態識別的影響,結果平均準確率達到92.23%.盡管有這些出色的結果,但這并不意味著基于IMU 的步態識別在不同傳感器位置肯定存在同樣的結論,基于IMU 的不同轉彎角度對步態識別的影響鮮有報道.此外針對時間序列特征提取是一個非常耗時的過程,因為科學家和工程師必須考慮各種信號處理和時間序列分析的算法,來識別和提取有意義的時間特征序列.Chinimilli 等[16]提出包括加速度、角速度在內的平均值、標準差、平均絕對差、平均合成加速度、峰值之間的時間等86 個特征提取算法,但特征提取的過程較為復雜,應用范圍局限.

為了提升人體步態識別準確率和實用性,我們采用一種基于Tsfresh 工具和監督機器學習隨機森林算法(RF)來完成步態模式獲取.Tsfresh 工具用于自動提取過濾步態時間序列特征,監督機器學習隨機森林算法(RF)用于判定步態模式.實驗環節我們招募4 名健康的志愿者進行實驗,兩個IMU 傳感器分別綁定在受試者的左大腿前面和右小腿后面,讓受試者模擬九種步態事件(如站立、坐立、平地行走、上樓梯、下樓梯、轉彎30 度、轉彎60 度、轉彎90 度和轉彎180 度)來收集加速度、角速度、角度等數據.然后將采集的步態數據通過無線藍牙5.0 傳到計算機.結果表明:在人體不同傳感器位置和不同轉彎角度步態下,基于Tsfresh-RF 的算法模型魯棒性較好,是一種有效的、準確的步態識別方法.

本文的其余部分組織如下.第1 節描述了識別算法包括特征提取和分類算法.第2 節詳細介紹了實驗的過程和方法.第3 節是實驗結果與分析數據,包括不同傳感器位置對步態識別影響、3 種算法的比較結果以及轉彎角度的變化對算法識別準確率的影響.第4 節得出結論.

1 Tsfresh-RF 算法

本文提出一種基于Tsfresh 時間序列特征提取和RF 的人體步態識別算法模型.步態數據獲取采用一種無線多通道傳感器裝置,通過藍牙5.0與計算機連接.具體步態識別流程如圖1所示.

圖1 基于Tsfresh-RF 算法的步態識別流程

1.1 Tsfresh 特征提取

采集人體下肢步態信息時,兩個傳感器采集到的數據通過藍牙同時上傳到計算機,所以首先需要分割IMU1和IMU2 的數據,其次需要特征提取,特征提取的主要目的是對原始加速度、角速度、角度等信號進行降維,降低模式識別和分類的復雜性,進而提高步態識別和分類的效率[17].因此,提取范圍廣、復雜度低、效率高的特征至關重要[18].本文提取的原始數據為時間序列,時間序列是在時間上連續進行的觀測序列[19].本文采用一種Python 包Tsfresh 工具來提取特征,與傳統特征提取方法相比,該算法效率高和范圍廣,且能自動地計算出大量的時間序列特征[20].時間序列通常包含噪聲、冗余或無關信息.為了避免提取不相關的特性,Tsfresh 有一個內置的過濾過程.具體流程如圖2所示.

圖2 Tsfresh 特征提取基本流程

本文初步提取13 734 個特征,然后將空值和無效值去掉,最后利用Tsfresh 的特征選擇功能進一步過濾掉對識別結果影響不明顯的特征,得到6993 個特征數量.

1.2 RF 分類算法

隨機森林分類器是一種用于分類的集成學習技術,由多個決策樹組成.該方法有助于減少模型方差和最小化訓練數據集的過擬合[21].由于RF 分類器中的每個節點被分割成有限數量的隨機預測變量,因此相對于SVM和ANN 等其他分類器,它被認為是更強大的分類器[22].其算法如算法1.

算法1.RF 分類器T={(xi,yi)■■■xi∈Rd,yi ∈Y} 1≤i≤n輸入:訓練集,Rd;隨機森林的規模l,隨機抽取的屬性子集的大小m,測試樣例x;y∈Y輸出:測試樣例x 的類別標簽;1.for(;;)i=1i≤1i++2.從訓練集T 中按一定比例有放回地隨機抽取一個子集;3.end for i=1i≤1i++Ti 4.for(;;)5.從d 個屬性中,隨機地抽取m 個屬性;6.用決策樹樹算法在包含m 個列的樣例集 上構建決策樹;7.end for RF={DT1,DT2,···,DTl}TiDTi 8.采用投票機制,用決策森林 對測試用樣例x 進行分類;9.輸出x 的類別y.

為了識別不同類型的步態,機器學習分類器需要從IMU 提取的數據特征學習獨特的信號模式.Antwi-Afari 等[13]研究了基于足底壓力的建筑工人失衡步態檢測的最佳分類方法,發現隨機森林、K 近鄰、支持向量機比其他分類器表現更好.然而,由于分類器的性能取決于數據類型和特征類型,大多數研究表明,不存在單一的最佳分類器[23].因此有必要測試不同的分類器.本研究還將支持向量機和樸素貝葉斯分類器作為對比.

支持向量機(SVM)是一種基于統計學的機器學習方法.支持向量機通常在許多二分類問題或多分類問題中表現出出色性能.它是在各類之間尋找最優的分離決策超平面,并使每個類的模式[24]之間的距離最大.通過使用核函數將數據集映射到內積空間,從而創建一個非線性結構,它可以受益于轉換特征空間中的最大邊緣超平面[25].

樸素貝葉斯,它是一種簡單但極為強大的預測建模算法.它的基本思想是根據給定的待分類數據,分別求解在該數據屬于各個目標類別的概率,概率最大的類別即為最終的類別,如式(1)所示.

其中,y是類別,x是待分類項.

在樸素貝葉斯中,特征屬性之間相互獨立的,因此p(yi|x)可以通過式(2)進行求解.

其中,α是x的各項特征屬性.

1.3 算法評估

為了消除指標之間的量綱和取值范圍差異的影響,需要進行標準化處理,將數據按照比例進行縮放,使之落入一個特定的區域,便于進行綜合分析.我們采用零-均值規范化即標準差標準化,經過處理的數據的均值為0,標準差為1.公式為:

其中,x為原始數據的均值,σ為原始數據的標準差.

同時為了得到可靠穩定的分類模型,我們利用五五折交叉驗證法評估識別準確率.將所選數據隨機分成5 份,每一次將其中一份作為測試數據,其余四分作為訓練數據,這個過程共進行5 次.

整體識別準確率(RA)的計算方法為:

其中,Ncorr為正確識別測試數據的個數,Ntotal為測試數據的總數.

由于某些步態更容易被錯誤地識別為其他步態,因此建立混淆矩陣C來量化誤差,公式如下:

每個元素計算如下:

其中,nij表示為第i種模式下的測試數據量被識別為第j種模式,ni為模式i中測試的總量.當cij(i≠j)值較大時,表示模態i很容易被誤歸為模態j.

2 實驗

2.1 數據采集

本系統選用了基于ICM42605 的九軸姿態傳感器來實現對人體運動狀態的測量與跟蹤.WT52HB是一種USB 適配器模塊,內置nRf52832 藍牙芯片.該藍牙適配器傳輸穩定,最遠距離可達50 米.在識別系統開始時,同步采集兩個IMU 傳感器數據信號.每個IMU生成9 個通道數據,包括角度3 個通道(偏轉、橫搖、俯仰),加速度3 個通道(AccX、AccY、AccZ),角速度3 個通道(GryoX、GryoY、GryoZ).考慮到傳輸效率和信息質量,我們將采樣頻率設為50 Hz,與其他研究者[26]相同.傳感器采集到的信號通過藍牙模塊傳輸到電腦端進行濾波、分割、特征提取和歸一化等數據處理.然后將處理好的數據輸送給3 個分類器訓練分類器模型.最后,從分類器的輸出結果評價不同傳感器位置和不同步態對識別結果的影響.

在研究中,我們招募了4 名身體健全的男性志愿者.年齡范圍:25–26 歲;身高范圍:163.0–177.0 cm;體重范圍:57–71 kg.實驗在溫度、濕度和通風條件適宜的環境下進行.這項實驗是根據《赫爾辛基宣言》的原則進行的.

為最大限度獲得有效人體運動信息,傳感器節點的位置應慎重選擇.根據人體下肢運動生物力學[27],我們選擇人體下肢左大腿和右腳踝靠上部位放置姿態傳感器.如圖3所示.

圖3 IMU1 模塊在左大腿(左);IMU2 模塊在右腳踝靠上部位(右上);藍牙模塊和傳感器綁帶(右下)

2.2 具體步驟

實驗前,被試者需滿足以下要求:首先,熟悉相關實驗設備,如IMU、PC、秒表、綁帶等;其次,不允許進行體育鍛煉,以避免疲勞所引起的并發癥;最后,穿輕薄長褲,以有效固定姿態傳感器,從而更有效的采集步態數據.

實驗研究了站立(ST)、坐立(SI)、上樓梯 (SA)、下樓梯 (SD)、平地正常行走(NW)、轉彎30 度(T30)、轉彎60 度(T60)、轉彎90 度(T90)、轉彎180 度(T180) 9 種運動模式.每種步態測試8 次.

在每次試驗中,當受試者準備好,他們會向工作人員發送指令來收集信號.實驗開始時,受試者要求先直立站5 s 使傳感器數據平穩.在站立實驗中受試者被要求在每次試驗中保持靜止5 s;在坐立實驗中,受試者被安排坐在42 cm 高的椅子上坐立5 s.在一個寬75 cm,深30 cm,高15.6 cm 的臺階上進行上下樓梯實驗,每次實驗為3 個步態周期即8 步.平地正常行走要求受試者按照自己習慣速度在平地向前行走18 步.在轉彎步態研究中,我們提前設計好30 度、60 度、90 度、180 度的左轉彎測試角,受試者從轉彎開始到結束約3 個步態周期即9 步.

每次實驗結束后,要求受試者休息5 分鐘,以消除因運動引起的疲勞,避免對下次實驗產生負面影響.

3 結果與討論

3.1 傳感器位置對識別算法影響

從表1可以看出,9 種(ST、SI、NW、SA、SD、T30、T60、T90、T180)步態的測試平均識別準確率差異顯著,最高為0.91,最低為0.65.ST、SD 的步態子階段識別表現最好,在所有子階段都取得了相對較高的準確率.T180 表現最差,步態識別準確率都在0.74以下.步態T30 出現了0.30、0.25 的特殊情況,這可能和識別分類器有關.

表1 9 種步態識別準確率

為了驗證Tsfresh-RF 算法模型識別性能,我們分別使用SVM和NB 算法來對比分析.結果如圖4所示,RF 算法性能明顯高于其它兩個算法,不僅準確率相對較高,而且步態識別穩定性較強.另外兩個IMU 同時識別能夠有效提高識別準確率.IMU1和IMU2 相比較IMU2 對識別結果影響顯著.由此說明傳感器位置的放置對步態識別有重要影響.當步態訓練數據來自更多位置傳感器時,步態識別更加準確.

圖4 不同傳感器位置平均識別率

圖5進一步說明了隨機森林算法在每種步態識別中的優越性.其中針對SI、T30 兩種步態支持向量機也表現出一定的分類能力.樸素貝葉斯分類器表現相對較差,只有在SA 步態識別時3 個分類器識別率相同.

圖5 不同分類器在每種步態下識別率

3.2 轉彎角度對識別算法影響

此外,為了進一步研究轉彎角度對步態識別的影響,實驗分別測試了志愿者在轉彎30 度、60 度、90 度和180 度情況下的步態.如圖6顯示了不同轉彎角度的識別率.發現RF 表現出較高的準確率,T60、T90 兩種步態普遍比T30、T180 兩種步態識別率高.從轉彎幅度分析4 種步態準確率從大到小分別是T180、T30、T60、T90.即步態轉彎幅度越大步態識別率越低.

圖6 不同轉彎角度識別準確率

3.3 混淆矩陣

9種步態被3 種分類器訓練和測試,總體結果如圖7所示.在矩陣中,橫坐標表示真實值、縱坐標表示預測值.藍色越深意味著越高的步態識別精度.主對角線顯示的數據是真實值和預測值相同的數據.非主對角線的數據顯示的是真實值和預測值不一樣的數據.從每個分類器的混淆矩陣中可以看出,不同分類器對步態識別結果有很大影響且RF 準確性更高一些.用于訓練和預測的數據來自不同步態的情況下,結果差異明顯.這說明不同步態識別對結果具有很大影響.例如NB 用T30 訓練和用T30、T60、T90、T180 預測的結果(分別為0.25、0.35、0.10、0.30).在其他分類器SVM和RF 中也發現了類似的結果.在SVM 中用步態SA 的數據進行訓練,用SI 數據進行預測(SA-SI:0.25)表現最差.RF 最差結果來自SA-SI(0.25).在NB中,SD-SA和T30-T60 表現最差,分別為0.40和0.35.

圖7 3 種分類器下步態識別準確率矩陣

4 結論與展望

本文采用一種藍牙無線多通道信號采集裝置來采集人體下肢的加速度、角速度、角度等信號.傳感器分別固定在下肢不同位置,4 名健康的志愿者進行實驗,模擬九種步態事件.提出了一種基于Tsfresh-RF 特征提取的人體步態識別算法模型.同時采用支持向量機和樸素貝葉斯進行比較.結果表明:(1)在兩個傳感器同時識別下,Tsfresh-RF 獲得了最佳分類效果,9 種步態平均準確率達到91%;(2)傳感器布置位置對步態識別的準確性有顯著影響,其中小腿的影響大于大腿且在一定范圍內傳感器布置越多準確率越高;(3)轉彎步態識別率T180＞T30＞T60＞T90,且RF 表現出較好識別率.可以得出結論:在人體不同傳感器位置和不同轉彎角度步態下,基于Tsfresh-RF 的步態識別算法模型魯棒性更好,可以實現更精確的人體步態識別.此外步態識別系統訓練在單一位置傳感采集是不夠的且動作幅度大小會影響識別準確率.在未來的研究中,應考慮步態識別系統與外骨骼系統的結合.此外,還需要研究實時步態的識別方法.